DwarfStar (DS4): la rivoluzione dell'inferenza locale è solo all'inizio

Ci sono progetti che nascono in sordina e progetti che esplodono in pochi giorni. DwarfStar, meglio noto come DS4 — il motore di inferenza locale per DeepSeek V4 scritto da Salvatore Sanfilippo (antirez), il leggendario creatore di Redis — appartiene decisamente alla seconda categoria. Lanciato a inizio maggio 2026, ha raccolto oltre 13.000 stelle GitHub in un mese, attirando l'attenzione persino di Georgi Gerganov (autore di llama.cpp) e dell'amministratore delegato di Y Combinator.

Ma cosa rende DS4 così speciale? E perché sta scatenando un dibattito che va ben oltre la cerchia degli appassionati di AI?

Non un semplice motore di inferenza

DS4 non è l'ennesimo wrapper attorno a llama.cpp. È un motore scritto completamente da zero in C, ottimizzato specificamente per DeepSeek V4 Flash (284 miliardi di parametri, di cui solo 11 miliardi attivi grazie all'architettura Mixture of Experts) e per DeepSeek V4 PRO. Supporta backend Metal (Mac), CUDA (NVIDIA) e ROCm (Strix Halo).

La differenza fondamentale, come spiega Sanfilippo stesso, è che DS4 è pensato come un prodotto finito, non come un progetto di ricerca. Significa che ogni componente — dal server API all'agente di coding, dal sistema di KV cache su disco agli strumenti di steering direzionale — è progettato per funzionare insieme in modo coerente, con l'obiettivo di rendere l'inferenza locale non solo possibile, ma piacevole da usare.

L'intuizione della KV cache su disco

Uno degli elementi che ha fatto la differenza è l'implementazione della KV cache su disco. I modelli con finestra di contesto enorme (DeepSeek V4 arriva a 1 milione di token) generano una cache di dimensioni ragguardevoli. Salvare e ripristinare questa cache su SSD permette di:

• Riprendere conversazioni senza dover ricalcolare l'intero contesto
• Preservare la cache tra sessioni del server, con hit immediati al riavvio
• Lavorare con system prompt enormi (es. 25.000 token di Cloud Code) pagandone il prefill una sola volta

Su dischi SSD moderni, la scrittura e lettura sequenziale della KV cache è sorprendentemente veloce, perché segue un pattern di accesso lineare che i controller SSD sanno gestire in modo estremamente efficiente.

Steering direzionale: controllare il comportamento del modello

Un'altra feature che ha catturato l'attenzione è il directional steering. Sanfilippo ha reimplementato in DS4 le scoperte di un paper del 2024 che dimostra come i vettori di rifiuto nei grandi modelli linguistici puntino sempre nella stessa direzione, indipendentemente dal tipo di richiesta bloccata.

Con DS4 è possibile caricare un tensore che rappresenta questa direzione e applicare una forza per annullarla, ottenendo un modello che non si rifiuta più di rispondere a determinate domande. Ma l'uso più interessante è probabilmente quello "creativo": si possono generare adapter per modificare il comportamento del modello in modi sottili — renderlo più o meno prolisso, cambiare il tono delle risposte, adattarlo a contesti specifici come la cybersicurezza.

Perché tutto questo clamore?

Sanfilippo si è detto sorpreso dall'enorme attenzione ricevuta. In un video recente, riflette sul fatto che i pezzi per l'inferenza locale esistevano già: llama.cpp, i GGUF quantizzati, Hugging Face pieno di modelli. Manca però, secondo lui, il prodotto — qualcosa che metta insieme tutti i pezzi in modo coerente, testato, e che funzioni davvero per l'uso quotidiano.

«La differenza», spiega, «la fa il prodotto. A parte alcuni dettagli tecnici — la KV cache su disco, l'intuizione che DeepSeek V4 Flash fosse il modello perfetto per i portatili grazie alla sua estrema sparsità, la quantizzazione simmetrica che stringe il modello alla metà senza perdere qualità — la vera innovazione è che tutto funziona insieme.»

E i risultati parlano da soli: con DS4 su un MacBook con 128 GB di RAM, DeepSeek V4 Flash genera codice, implementa Tetris in C con SDL, fa benchmarking, scrive intere applicazioni. Il prefill vola a 240 token al secondo, la generazione viaggia intorno ai 13-14 token al secondo. Non siamo ai livelli dei server di OpenAI, ma per un modello da 284 miliardi di parametri che gira interamente in locale è un risultato straordinario.

Lo streaming dall'SSD: la svolta per le macchine con 64 GB

La notizia più recente, e forse la più importante, riguarda il supporto per macchine con 64 GB di RAM (e potenzialmente anche 32 GB). L'idea, suggerita a Sanfilippo da un developer di nome Liu (coinvolto nel progetto Draw Things per macOS), è di fare inferenza streaming dall'SSD: i pesi del modello vengono caricati continuamente dal disco invece di risiedere interamente in RAM.

La sfida è tecnica e affascinante:

• Durante il prefill (quando il modello legge il prompt), si può fare la computazione di un layer mentre si carica il successivo in background, mascherando quasi completamente la latenza del disco. Il risultato è che il prefill passa da 400 a circa 250 token al secondo — un degrado accettabile.
• Durante il decoding (quando il modello genera testo), il problema è più complesso perché il modello è strettamente autoregressivo: ogni token richiede tutti i layer. La soluzione adottata è duplice: una tabella statica degli esperti più frequenti (generata a freddo con uno script) per precaricarli, e un algoritmo LRU per decidere quali esperti tenere in memoria.

I risultati preliminari su macchine con 64 GB di RAM mostrano che il 70-75% delle volte gli esperti necessari sono già in memoria, con performance di generazione intorno ai 13-14 token al secondo. Per confronto, Qwen 27B (un modello molto più piccolo) tutto in memoria fa 18-19 token al secondo, ma scala malissimo col contesto perché non ha l'attention compressa di DeepSeek.

Le implicazioni per la privacy e l'autonomia

Sanfilippo è esplicito sulle motivazioni profonde del progetto: «L'inferenza locale è liberatoria dei provider a pagamento che accentrano la loro forza di gravità, da cui non si riesce a sfuggire perché sono loro che decidono cosa possiamo usare, come possiamo usarlo, a che livello dobbiamo comunicare i nostri dati interni.»

I dati delle conversazioni sono interessanti per il reinforcement learning. Anche se il segnale è debole, chi ha LLM potenti può scremare le conversazioni che contano e usarle come base di training. C'è poi il problema della libertà: non si può fare una chat erotica, non si possono fare certe cose di sicurezza informatica, non si possono affrontare ambiti considerati "sensibili". È anche una limitazione della libertà di accesso all'intelligenza artificiale.

E c'è il rischio concreto del ban: «Se a un certo punto qualcuno decide che sono bannato dai server di OpenAI, mi devo fare un altro account. Se c'è un problema di fatturazione, se fanno il controllo con la carta di credito, posso essere tagliato fuori da una cosa che ormai è diventata fondamentale.»

Avere un modello quasi-frontiera che gira in locale significa non dover più scegliere tra privacy e potenza.

Il futuro: modelli specialistici e agenti locali

Sanfilippo guarda avanti con ottimismo. DeepSeek sembra pronta a rilasciare versioni specializzate del suo V4 Flash — un Flash Coder, un Flash Math e così via — sfruttando la tecnica di distillazione incrociata descritta nei paper. Il risultato sarebbero modelli da 284 miliardi di parametri specializzati per dominio, capaci di competere con i modelli di frontiera in specifici ambiti, e che girano su un MacBook di fascia alta.

«Se uno specializza Flash per l'ambito legale, per l'ambito medico, per il coding, ti becchi sostanzialmente dei modelli molto simili a quelli di frontiera.»

E il cambio di paradigma è dietro l'angolo: con un modello locale così potente, si può passare da un modello all'altro in base al task in pochi secondi. Il coding agent locale non è più un esperimento, ma una realtà quotidiana. Sanfilippo stesso ammette di usare DS4 per la maggior parte del suo lavoro di programmazione, ricorrendo ai servizi remoti solo in casi eccezionali.

Conclusioni

DS4 rappresenta molto più di un semplice progetto open source. È la dimostrazione che l'inferenza locale di qualità non è solo possibile, ma sta diventando pratica, conveniente e desiderabile. Con lo streaming dall'SSD, il sogno di far girare modelli quasi-frontiera su macchine con 64 GB di RAM — e forse un domani 32 GB — è sempre più vicino.

Per chiunque abbia a cuore la privacy, l'autonomia tecnologica e la libertà di usare l'AI senza restrizioni, DS4 non è solo un progetto interessante: è un punto di svolta.