Nel giro di dieci giorni alcuni sviluppatori indipendenti hanno ridotto il peso dei pesi aperti di MiniMax M3.1 Flash da 252,4 GB a circa 93 GB, rendendo il modello eseguibile su macchine molto più modeste. A ringraziarli, con un post pubblicato il giorno precedente, è stata la stessa MiniMax, che ha citato i nomi dei builder che hanno quantizzato il modello.
M3.1 Flash è un modello a mixture-of-experts da circa 428 miliardi di parametri totali, con 23 miliardi attivi per ogni token. Supporta testo e immagini in ingresso, con una finestra di contesto fino a 1 milione di token, ed è pensato per coding, agenti IA e attività di uso del computer. I pesi sono stati pubblicati il 23 ottobre, dopo il lancio del servizio online avvenuto il 19 dello stesso mese, come riportato da TechNode e dalla model card ufficiale.
Tre versioni compresse a confronto
Immagine: MiniMax — https://www.minimax.io/blog/minimax-m31f
Le versioni quantizzate citate dalla community hanno dimensioni molto diverse. La più piccola è Maya-XS, di PeasantSmith, che pesa 93 GB e che, secondo il suo autore, è pensata per una macchina con 128 GB di RAM. Per i test sui tool call e sugli agenti, il suo autore riporta un'accuratezza top-1 dell'88,8%.
Una seconda versione, SAGE-EXL3 di ViC305, occupa 108,64 GiB e punta a girare su un singolo DGX Spark. Il suo autore dichiara il 96,89% di accuratezza top-1 su sequenze di controllo e una velocità di decodifica tra 24,37 e 29,72 token al secondo con un contesto di 48.000 token.
La terza, Unsloth UD-Q2_K_XL, pesa 143,9 GB e si rivolge a macchine con oltre 160 GB di memoria. Il suo autore riporta un'accuratezza top-1 pesata del 91,5% su sette categorie di test.
I tre dati arrivano dagli stessi autori, con set di valutazione diversi, e non sono quindi confrontabili tra loro. Sono stime delle versioni compresse rispetto al modello originale, non misure indipendenti.
Perché conta
Immagine: MiniMax — https://www.minimax.io/blog/minimax-m31f
La notizia non riguarda solo la dimensione dei file. Un modello che passa da oltre 250 GB a meno di 100 è alla portata di workstation domestiche e di piccoli laboratori, che possono così far girare in locale un modello di grandi dimensioni senza affidarsi a un servizio esterno. Per chi lavora con dati sensibili o con costi di inferenza elevati, questo cambia il calcolo.
Il ringraziamento pubblico di MiniMax segnala che il laboratorio riconosce il lavoro della community nella diffusione dei propri pesi aperti. Ad agosto MiniMax aveva già rilasciato i pesi di H3, primo modello open-weight a guidare le classifiche video AI.
Ancora nessun commento. Puoi essere il primo!