JetBrains ha pubblicato su Hugging Face Mellum2.1-12B-A2.5B-Thinking-MTP, la variante del suo modello di ragionamento con la testa di multi-token prediction (MTP) inclusa. I pesi sono identici a quelli di Mellum2.1 Thinking: cambia solo uno shard in più e una chiave di configurazione, che servono a usare il modello per la decodifica speculativa.
Mellum2.1 è un modello a mixture-of-experts da 12 miliardi di parametri totali, di cui 2,5 miliardi attivi per ogni token. L'architettura è la stessa della versione precedente, Mellum2. Il lavoro si è concentrato sul post-training, soprattutto sull'apprendimento per rinforzo (RL), che ora occupa la parte principale dell'addestramento e non più una fase finale breve. JetBrains ha combinato dataset aperti di RL con task costruiti internamente in matematica, programmazione competitiva, scienze, uso di strumenti e ingegneria del software, filtrando ogni fonte prima dell'addestramento.
Per il coding il modello si allena dentro repository reali, con una shell e strumenti di modifica dei file, e riceve un premio quando i test passano. Secondo JetBrains, dopo milioni di esecuzioni in ambienti sandbox il modello esplora una base di codice, modifica i file e verifica le proprie modifiche, con un salto netto rispetto a Mellum2.
Benchmark dichiarati da JetBrains
Nei dati pubblicati da JetBrains, Mellum2.1 Thinking ottiene 82,0 su LiveCodeBench v6, contro 69,4 di Mellum2 Thinking, e 83,3 su AIME 25/26, contro 60,1. Su SWE-bench Verified passa da 2,0 a 47,0. Qwen3.5 (9B) resta però avanti su diversi test, come SWE-bench Verified (50,0), e su GPQA Diamond ottiene 77,8 contro 64,6 di Mellum2.1. Tutti i valori sono autovalutazioni di JetBrains con la stessa pipeline in modalità di ragionamento.
Decodifica speculativa con la testa MTP
La testa MTP è un blocco transformer aggiuntivo, addestrato insieme al modello, che prevede il token successivo a quello appena campionato. Motori di inferenza come vLLM la usano come bozza: il modello verifica ogni token proposto, quindi l'output non cambia, mentre la decodifica va da 1,4 a 1,8 volte più veloce, con circa il 90% dei token bozza accettati. Secondo la scheda, la testa si trova nel file model-mtp.safetensors sotto il prefisso mtp..
Per usarla serve vLLM 0.33 o successivo con transformers 5.20 o successivo. Le versioni più vecchie non caricano i tensori extra: transformers prima della 5.20 li salta con un avviso, mentre vLLM fino alla 0.32 rifiuta il checkpoint. In questi casi JetBrains indica di usare il repository Mellum2.1 Thinking standard.
Immagine: blog.jetbrains.com — https://blog.jetbrains.com
La scheda specifica anche le modalità d'uso: con vLLM basta il flag --speculative-config con metodo mtp, con transformers si passa use_mtp=True a generate, con llama.cpp si usa il repository GGUF con --spec-type draft-mtp. Sul blog di JetBrains, la presentazione indica le build GGUF per llama.cpp, Ollama e LM Studio come in arrivo, mentre la versione con MTP è già disponibile su Hugging Face.
Il modello ha una finestra di contesto di 131.072 token, una finestra scorrevole di 1.024 token su tre livelli ogni quattro e licenza Apache 2.0.
Chi lo usa
JetBrains presenta Mellum2.1 per agenti di coding, sub-agenti e strumenti AI che girano su infrastruttura propria. Un progetto indipendente, WumboLabs, ha testato la variante precedente in quantizzazione Q4_K_M con llama.cpp, classificandola dietro la versione Instruct per il ruolo di backend agentico locale: il dato riguarda Mellum2 e non questa release.
Ancora nessun commento. Puoi essere il primo!