Nvidia ha presentato Nemotron 3.5 Bolt 74B-A9B 24GB, un modello open multimodale che accetta testo e immagini e che è stato progettato per entrare in 24 GB di memoria mantenendo una velocità di generazione di almeno 80 token al secondo. Il dato che colpisce è il rapporto tra dimensioni e capacità: il modello ha 74 miliardi di parametri totali, ma per ogni token ne attiva circa 9 miliardi, e l'obiettivo dichiarato è far girare agenti AI direttamente sul computer dell'utente, senza dipendere dal cloud.
Il modello deriva dalla famiglia Nemotron 3.5 Super VL, che ha 120 miliardi di parametri totali e 12 miliardi attivi. La riduzione avviene con Star Elastic, un algoritmo di ricerca automatica dell'architettura guidato dal router, che Nvidia descrive come una tecnica di compressione end-to-end sviluppata internamente. A questo si aggiunge la quantizzazione a 2 bit con distillazione consapevole della quantizzazione, pensata proprio per i sistemi con memoria limitata.
Immagine: NVIDIA — https://research.nvidia.com/labs/nemotron/Nemotron-3.5-Bolt-24GB/
L'architettura è ibrida, con blocchi Mamba e Transformer. Nvidia dichiara che il modello è ottimizzato per ragionamento, uso di strumenti e interazioni con browser web e terminale, cioè i compiti tipici degli agenti. Per raggiungere la velocità obiettivo viene rilasciato anche un drafter per lo speculative decoding, chiamato LiLiCorr, pensato per accelerare la generazione senza cambiare il risultato finale.
Nvidia sostiene che il modello ottenga un'accuratezza superiore a quella dei modelli di riferimento con requisiti di memoria simili. Le cifre di confronto sono riportate nel rapporto tecnico dell'azienda, che però non è ancora stato verificato da test indipendenti.
La famiglia si completa con Nemotron Bolt E4B, un modello da 4 GB per assistenti vocali e robot locali, già presentato nei giorni scorsi. Tutti e tre i modelli sono a pesi aperti e vengono pubblicati su Hugging Face insieme alle ricette di addestramento e ai dataset. Il lavoro è descritto anche in un preprint su arXiv, depositato il 15 ottobre 2026.
Immagine: arXiv — https://arxiv.org/abs/2610.33039
Il rilascio rientra in una tendenza più ampia: i laboratori stanno comprimendo modelli grandi per farli girare su hardware di consumo, come già visto con Telperion su Qwen3.8-27B e con Meta e Muse Glimmer 30B. La differenza, in questo caso, è la scala del modello di partenza rispetto alla memoria richiesta.
Per capire se la promessa regge servirà vedere i benchmark indipendenti e i tempi reali su schede da 24 GB, dato che al momento le prestazioni sono quelle dichiarate dall'azienda.
Ancora nessun commento. Puoi essere il primo!