Eagle ha rilasciato EAGLE-4, la nuova generazione della sua famiglia di drafter per accelerare l'inferenza dei modelli linguistici di grandi dimensioni. Il punto centrale è che un solo drafter adatta la sua strategia di speculative decoding alla dimensione del batch, all'hardware e al tipo di carico, mantenendo invariata la distribuzione dell'output del modello di partenza.
Il principio è quello della decodifica speculativa: un modello piccolo indovina più token in anticipo e il modello grande li verifica tutti in un solo passaggio. EAGLE-4 usa un layer di draft a finestra scorrevole, una testa di candidati a basso rango e una cache di draft in sola aggiunta. Sono implementate sia strutture dense sia strutture MoE latenti. La coppia misurata è Qwen3.8-27B con il proprio drafter EAGLE-4.
Immagine: blog.eagle.ai
Il repository, chiamato eagle-harness, è un pacchetto installabile con pip che porta i drafter su SGLang, vLLM e TokenSpeed tramite plugin. Il sistema dimensiona l'albero di speculazione a partire dai costi misurati di draft e verifica, e si aggancia agli hook che il motore espone senza modificarlo a runtime. I motori modificati arrivano come wheel fissate e immagini container, non come sorgenti in questo repository.
Sui numeri pubblicati dal progetto, con SGLang su quattro B300 e concorrenza 8, EAGLE-4 passa da 1.479 a 2.821 token al secondo, cioè 1,91 volte il modello senza speculazione. Con vLLM su quattro B300 a concorrenza 1 il guadagno sale a 2,99 volte. Su una singola MI355X di AMD, Qwen3.8-27B in BF16 arriva a circa 300 token al secondo per una richiesta, cioè 3,5 volte la decodifica standard e 1,6 volte il multi-token prediction integrato nel modello, secondo AMD.
Nel confronto diffuso dal progetto su X, con 512 richieste concorrenti, EAGLE-4 raggiunge 28.340 token aggregati al secondo, contro 16.641 di DFlash 2, 14.229 di DSpark e 21.203 del modello senza drafter. Il progetto riporta 1,34 volte il modello base, 1,70 volte DFlash 2 e 1,99 volte DSpark. Secondo il progetto, nel test su singola richiesta EAGLE-4 raggiunge 863,8 token al secondo.
Immagine: blog.eagle.ai
La sigla EAGLE-4 indica la quarta generazione di una famiglia di tecniche già in uso. Il confronto con DFlash 2 e DSpark, che usano il mascheramento a diffusione per proporre più token in parallelo, è quello che il progetto mette in primo piano. Il vantaggio dichiarato vale per i carichi testati su Qwen3.8-27B e con i motori indicati; non è stato verificato in modo indipendente.
Il codice è disponibile su GitHub, con la release v0.1.0 e i wheel dei motori, e il drafter per Qwen3.8-27B su Hugging Face.
Ancora nessun commento. Puoi essere il primo!