L'implementazione di Qwen3.8-Flash-Next su Apple Silicon ha raggiunto un nuovo traguardo grazie all'integrazione del supporto per MLX-serve. Una nuova ottimizzazione del motore permette al modello di gestire una finestra di contesto da 1 milione di token mantenendo elevate velocità di generazione e stabilità, specificamente calibrata per il chip M5 Max con 128GB di memoria unificata.
Performance e Quantizzazione
L'implementazione sfrutta una KV cache a 8 bit per gestire i massicci requisiti di memoria necessari per un contesto da un milione di token. Per bilanciare prestazioni e qualità, questa specifica quantizzazione utilizza 8 bit per i layer densi e 4 bit per i layer esperti.
Secondo gli sviluppatori, questa configurazione sostiene velocità di generazione di circa 40 tok/s per la prosa e fino a 75 tok/s per le attività di coding, anche operando in profondità all'interno della finestra di contesto. La stabilità del modello a lunghezze estreme è stata dimostrata attraverso uno snapshot a circa 760k token, durante il quale il modello ha costruito con successo un plugin MLX Serve Monitor.
Requisiti tecnici per l'esecuzione locale
Per eseguire il modello a questa scala su hardware Mac, è necessaria una configurazione specifica del sistema. Gli utenti devono impostare iogpu.wired_limit_mb=1200 per garantire che la GPU disponga di sufficiente memoria wired per l'operazione.
Questo aggiornamento amplia i precedenti sforzi per portare l'architettura MoE di Alibaba su hardware locale. Sebbene Qwen3.8-Flash-Next fosse già disponibile tramite pesi GGUF, l'integrazione con MLX-serve lo ottimizza specificamente per l'architettura di memoria unificata di Apple. L'operazione segue il trend di accelerazione dei modelli Qwen su Mac, come già visto con le precedenti ottimizzazioni basate su MLX che avevano incrementato significativamente il throughput dei token.
Ancora nessun commento. Puoi essere il primo!