OpenBMB ha pubblicato i dettagli tecnici di MiniCPM-V 4.7, un modello multimodale che porta sul telefono un'architettura Mixture-of-Experts da 35 miliardi di parametri. Il dato più sorprendente è che il modello non viene rimpicciolito né privato di alcuni esperti: il lavoro si concentra sul vero collo di bottiglia, cioè il tempo necessario a portare i pesi degli esperti dalla memoria flash al processore.
Come funziona la pianificazione anticipata
Il cuore della tecnica si chiama Lookahead Expert Scheduling (LES). Il sistema prevede quali esperti potrebbe servire lo strato successivo della rete, li precarica dalla memoria flash mentre il calcolo corrente è ancora in corso ed esegue per primi quelli già pronti. In questo modo il processore non resta fermo in attesa dei dati.
Immagine: GitHub
A questo approccio si aggiungono layout dei pesi ottimizzati, quantizzazione a precisione mista e lo speculative decoding DSpark, che insieme portano il modello a 20,5 token al secondo su un iPhone 18 Pro Max. Il dato è riportato da OpenBMB nel proprio approfondimento tecnico e non è ancora stato verificato in modo indipendente.
La stessa logica di lavoro con gli esperti MoE dalla memoria di massa è già stata esplorata da altri progetti. Turbo-fieldfare ha fatto girare Gemma 4 su Mac con appena 2 GB di RAM, streaming gli esperti dall'SSD, mentre Colibrì v1.8.0 tratta VRAM, RAM e storage come un'unica gerarchia di memoria. LES si distingue perché non cambia il routing del modello: gli stessi esperti vengono usati, solo nell'ordine che rende più rapido il calcolo.
Un modello pensato per il dispositivo
MiniCPM-V 4.7 esiste in due versioni: una da 1 miliardo di parametri e una MoE 35B-A3B, che attiva circa 3 miliardi di parametri per token. Secondo la scheda tecnica, la versione grande gira su iOS e Android con circa 3 GB di memoria, mentre quella piccola si colloca tra i modelli migliori della sua categoria in OCR, matematica e comprensione video. Il modello gestisce immagini singole, immagini multiple e video.
Immagine: GitHub
Sul piano pratico, OpenBMB mostra il modello alle prese con cartelli stradali, documenti complessi e pianificazione sotto vincoli, tutto eseguito sul telefono. Per chi sviluppa, i pesi sono disponibili su Hugging Face, anche in formato GGUF, e il modello è compatibile con Ollama.
Il lavoro di OpenBMB sposta il problema: non serve più un modello più piccolo per girare in locale, ma un modo più intelligente di muovere i dati. Se i numeri reggeranno anche fuori dal laboratorio, un assistente multimodale capace di ragionare sulle immagini potrebbe funzionare senza inviare nulla al cloud.
Ancora nessun commento. Puoi essere il primo!