L'efficienza estrema raggiunge un nuovo picco con Needle 2, il modello open di Cactus Compute progettato per l'esecuzione locale assoluta. A differenza dei recenti tentativi di ottimizzazione per GPU consumer, come Muse Glimmer 30B di Meta, Needle 2 sposta il confine verso l'hardware più limitato, operando interamente in 28MB di RAM e distribuendosi come un singolo binario da soli 14MB.

Psst!Aggiungi AlexTech.ai comeFonte Preferita su Google

Prestazioni record su hardware low-cost

Il modello ridefinisce il concetto di inferenza on-device, raggiungendo velocità di decodifica che superano i 500 token/secondo su un Raspberry Pi 5. Su dispositivi più avanzati come Meta Quest 3S e Apple Vision Pro, il throughput scala tra i 400 e i 1.500 token/secondo, mentre su smartphone economici (sotto i 200 euro) le prestazioni oscillano tra 300 e 700 token/secondo. Questa velocità è resa possibile da un'architettura focalizzata esclusivamente sul tool calling e l'estrazione strutturata, eliminando la necessità di conoscenze enciclopediche o capacità narrative.

Architettura CQ2 e runtime integrato

Needle shows tiny models can move AI agents onto devices - Startup Fortune — https://startupfortune.com/needle-shows-tiny-models-can-move-ai-agents-onto-devices/

Il segreto della compatibilità universale risiede nell'uso di Cactus Quants, che permette l'addestramento e il deployment a CQ2-bit. Il modello è sigillato all'interno di un motore C++ proprietario, eliminando la necessità di installare runtime esterni o effettuare download durante l'inferenza. La distribuzione copre un ecosistema vastissimo: da macOS, Linux e Windows a Android, iOS (inclusi watchOS e tvOS) fino a WebAssembly.

Specializzazione funzionale contro generalismo

Mentre l'industria si muove verso modelli unificati, come SenseNova-Vision di SenseTime, Needle 2 adotta una strategia opposta. Con soli 45 milioni di parametri, il modello si limita a mappare input testuali disordinati su firme di funzioni tipizzate. Questo approccio minimalista garantisce che l'agente possa controllare dispositivi e chiamare strumenti senza alcuna connessione cloud, assicurando privacy totale e latenza quasi nulla.

Impatto sul mercato italiano

L'introduzione di modelli così leggeri apre scenari concreti per l'automazione industriale e la domotica avanzata nelle PMI italiane. La possibilità di integrare agenti AI capaci di tool calling in microcontrollori o hardware legacy, senza dipendere da costose infrastrutture cloud o API esterne, potrebbe accelerare l'adozione di sistemi di controllo intelligenti e sicuri in ambienti produttivi dove la connettività è instabile o i vincoli di privacy sono stringenti.