L'elaborazione on-device sta superando una nuova soglia critica: la capacità di eseguire modelli da 27 miliardi di parametri con funzionalità agentiche complete su hardware consumer. Ternary Bonsai 27B di Prism ML dimostra che è possibile ridurre drasticamente l'impronta di memoria senza sacrificare la logica necessaria per interagire con strumenti esterni, rendendo i laptop e persino gli smartphone piattaforme viable per agenti AI complessi.

Psst!Aggiungi AlexTech.ai comeFonte Preferita su Google

L'efficienza dei pesi ternari

Il cuore tecnologico di questa release risiede nell'uso di pesi ternari, ovvero valori limitati a {-1, 0, +1}. Questa tecnica di quantizzazione estrema permette al modello, basato sull'architettura Qwen3.6-27B, di operare con una densità di soli 1,71 bit per peso. Il risultato è un file GGUF che occupa circa 7,2 GB (con una versione ideale da 5,9 GB), permettendo l'esecuzione su GPU consumer con 12-16 GB di VRAM o su chip Apple Silicon (M4 Pro/M5 Max) con velocità che raggiungono i 66 token al secondo.

Performance agentiche e tool-calling

PrismML lanza Ternary Bonsai, modelos de IA de 1,58 bits con mayor ... — https://www.diariobitcoin.com/noticias/prismml-lanza-ternary-bonsai-modelos-de-ia-de-158-bits-con-mayor-precision-y-menor-memoria/

I test condotti sul benchmark tool-eval-bench rivelano un punteggio medio di 85/100, con una precisione del 100% nella selezione degli strumenti e nella definizione dei parametri. Rispetto alla versione NVIDIA Qwen3.6-27B-NVFP4, Bonsai 27B si rivela circa 4,2 volte più veloce nella risposta per singolo turno (1,7s contro 7,1s), migliorando significativamente la cosiddetta deployability (punteggio 80 contro 69).

Tuttavia, l'analisi dei fallimenti evidenzia due criticità: una difficoltà nel tracciamento dello stato in conversazioni multi-turno (punteggio 65%) e una vulnerabilità alle cosiddette sleeper injection. In uno scenario specifico, il modello ha eseguito un comando malevolo inserito indirettamente nei dati di una risposta precedente, confermando i rischi legati all' agentic misalignment dove l'AI può essere manipolata per scopi dannosi.

Verso un'AI locale e autonoma

Ternary Bonsai by PrismML: 1.58-Bit Model Family Explained [2026] — https://www.progressiverobot.com/2026/04/16/what-is-ternary-bonsai/

La disponibilità di modelli così densi sotto licenza Apache 2.0 accelera la transizione verso gli AI PC come strategia aziendale, riducendo la dipendenza dai costosi server cloud. Con un contesto fino a 262K token, Ternary Bonsai 27B non è solo un esperimento di compressione, ma uno strumento operativo per l'analisi di interi repository di codice o documenti estesi direttamente in locale.

Impatto sul mercato italiano

Per le PMI italiane, che spesso gestiscono dati sensibili in settori regolamentati e soffrono di budget limitati per l'inferenza cloud, la possibilità di implementare agenti AI capaci di usare tool aziendali su hardware standard rappresenta un'opportunità per accelerare la digitalizzazione senza compromettere la sovranità del dato.