L'efficienza dell'inferenza locale sta superando la corsa ai parametri massivi, con il rilascio di LFM2.5-2.6B di Liquid AI che sposta l'attenzione verso agenti autonomi capaci di girare fluidamente su hardware consumer. Il modello, da 2,69 miliardi di parametri, è progettato specificamente per workflow agentici multi-step e supporta il tool calling con una finestra di contesto da 128K token.
Prestazioni on-device e ottimizzazione agentica
L'architettura di LFM2.5 punta a eliminare la dipendenza dalle API cloud per scenari edge. I dati di Liquid AI indicano una velocità di 30 tok/s su smartphone e picchi di 220 tok/s su M5 Max, mantenendo l'occupazione di memoria sotto i 2,5 GB. Il modello è già disponibile in formato GGUF (Q4_K_M) per l'integrazione con llama.cpp. Sorprendentemente, nei benchmark di ToolSandbox e IFBench, LFM2.5 supera Qwen3.5-9B, dimostrando che un post-training mirato su matematica e codice può compensare una dimensione ridotta.
La nuova frontiera dei pesi ternari e degli SLM
Mentre Liquid AI ottimizza i modelli standard, DeepGrove introduce Maple-Preview, un LLM da 20B basato su pesi ternari. Questa scelta tecnica permette di raggiungere i 218 tok/s su un Mac mini M4, superando in velocità modelli come Gemma 4 e Qwen3.5 di ben 16 volte. Maple-Preview si posiziona come un modello di ragionamento avanzato, capace di risolvere problemi di livello IMO (Olimpiadi Internazionali di Matematica).
Sul fronte degli Small Language Models (SLM), Axiomic Labs ha posizionato GPT-X2.5-135M al terzo posto della Open SLM Leaderboard di Hugging Face. Con soli 135 milioni di parametri, il modello sfida MobileLLM-R1 di Meta, raggiungendo un'efficienza di addestramento straordinaria: utilizza 27 volte meno token rispetto a SmolLM2-135M per ottenere prestazioni competitive.
Accelerazione hardware e kernel deterministici
L'ecosistema locale evolve anche a livello di runtime. Una nuova pull request per llama.cpp introduce il caching degli esperti "hot" in VRAM per i modelli MoE, portando le prestazioni di Qwen3.6-35B da 33 a 56 tok/s su GPU da 8GB. Parallelamente, Cursor Research ha open-sourciato Mixture-of-Kittens (MoK), un megakernel per l'addestramento MoE deterministico che aumenta il throughput di 2,37x, sebbene richieda hardware high-end come i rack NVIDIA Blackwell GB300 NVL72.
Questa convergenza tra modelli ultra-compatti, pesi ternari e runtime ottimizzati suggerisce che il futuro dell'AI non risiede solo nella scala, ma nella capacità di eseguire ragionamenti complessi in totale privacy e con latenza zero direttamente sul dispositivo dell'utente.
Ancora nessun commento. Puoi essere il primo!