Chi ha messo a punto un proprio modello linguistico in formato BF16 fino a oggi non aveva un modo pubblico per convertirlo nel formato ternario di Prism ML. Ora c'è OpenBonsai, un framework open source con licenza Apache-2.0 che si occupa proprio di questa conversione, producendo file compatibili con il formato PTQ1_0 GGUF. Il progetto nasce da un'esigenza precisa: il suo autore lavora a WebBrain, un agente open source per il browser, e punta a far girare in locale quanta più intelligenza possibile, idealmente tramite WebGPU.
Il punto di partenza è Ternary Bonsai di Prism ML, che comprime un modello da 9 miliardi di parametri in circa 2 GB usando pesi ternari, cioè valori di -1, 0 e +1. Prism ha rilasciato i pesi e il runtime di inferenza, ma non la pipeline completa di compressione dal BF16 al ternario. Chi vuole mettere a punto i modelli già ternari può farlo, ma non esisteva un metodo pubblico per portare dentro quel formato un proprio fine-tune partito da un modello a piena precisione. OpenBonsai riempie questo spazio.
Secondo la documentazione del progetto su GitHub, il framework comprime un modello denso in pesi ternari nel formato PTQ1_0 GGUF, che viene eseguito nel fork di llama.cpp di Prism. Per Qwen3.5-9B l'output è un file di circa 2 GB, con la stessa struttura dei tensori di Ternary-Bonsai-2-9B. Il tipo di quantizzazione è post-training, quindi non richiede di riaddestrare il modello da zero.
Il contesto aiuta a capire il peso della novità. Già a settembre AlexTech aveva raccontato Ternary Bonsai 2 27B, che conserva il 98,2% delle prestazioni del Qwen3.8 27B di partenza in un ingombro di 5,9 GB. Il problema era che quei modelli si potevano usare, ma non ricreare a partire da una propria versione. Con OpenBonsai la compressione diventa un passaggio che chiunque può ripetere sul proprio fine-tune, anche se il progetto è ancora sperimentale, come indica la descrizione stessa del repository.
A beneficiarne sono soprattutto sviluppatori e ricercatori che lavorano su modelli personalizzati e vogliono distribuirli su dispositivi con poca memoria, dai portatili ai browser. Il framework non è ancora una soluzione chiavi in mano: la qualità del risultato dipende dal modello di partenza e dalla procedura applicata, e la documentazione non riporta confronti sistematici di prestazioni tra il modello originale e la versione compressa.
Il prossimo passo indicato dal progetto è l'estensione del framework ad altre architetture oltre a Qwen3.5, con il consolidamento della pipeline verso il formato di Prism. Per chi segue la corsa ai modelli leggeri in locale, OpenBonsai è un tassello che rende la compressione ternaria un processo aperto anziché un prodotto da usare soltanto così come viene rilasciato.
Ancora nessun commento. Puoi essere il primo!