L'inferenza locale per i Large Language Model (LLM) ha sempre sofferto di un collo di bottiglia strutturale: la natura autoregressiva, che costringe l'AI a generare un singolo token alla volta. Google DeepMind ha provato a scardinare questo paradigma con il rilascio di DiffusionGemma, un modello sperimentale open source che promette velocità di generazione fino a 4 volte superiori rispetto ai sistemi tradizionali.
Oltre la generazione lineare
A differenza della maggior parte degli LLM, che scrivono il testo da sinistra a destra in modo sequenziale, DiffusionGemma adotta un approccio ispirato ai modelli di generazione d'immagini. Invece di prevedere la parola successiva, il modello parte da un campo di token segnaposto e applica un processo di denoising iterativo per raffinare l'intero blocco di testo simultaneamente. Secondo quanto riportato da Ars Technica, questa capacità di produrre output in parallelo sposta il carico di lavoro dalla larghezza di banda della memoria alla potenza di calcolo pura.
Architettura e performance hardware
Il modello si basa sull'architettura Gemma 4 MoE (Mixture of Experts) con una dimensione di 26 miliardi di parametri. Grazie a questa struttura e all'ottimizzazione specifica per le GPU, DiffusionGemma è in grado di raggiungere velocità superiori ai 1000 token al secondo su hardware dedicato. Come evidenziato nel blog di Google, il sistema è progettato per massimizzare l'efficienza su schede video consumer e professionali, con benchmark che includono la Nvidia RTX 5090 e le H100.
Accessibilità per gli sviluppatori
Rilasciato sotto licenza Apache 2.0, DiffusionGemma si posiziona come uno strumento flessibile per chi desidera implementare workflow AI ad alto throughput localmente. Il modello supporta un contesto fino a 256K token e, come indicato dalla documentazione di Unsloth, può essere eseguito con soli 18GB di RAM, rendendolo accessibile a una vasta gamma di workstation professionali. L'integrazione con l'ecosistema NVIDIA permette inoltre un'ulteriore accelerazione delle prestazioni, facilitando la creazione di applicazioni che richiedono risposte quasi istantanee senza dipendere dal cloud.
L'esperimento di DeepMind segna un passo avanti significativo verso una generazione testuale non lineare, aprendo la strada a nuove modalità di interazione uomo-macchina dove la latenza dell'inferenza non è più il limite principale.
Ancora nessun commento. Puoi essere il primo!