Groq, la startup acquisita da Nvidia, starebbe preparando la prossima generazione delle sue LPU con memoria DRAM impilata in verticale in tecnologia 3D, abbandonando la SRAM che ha caratterizzato i chip attuali. Secondo un insider del settore, l'azienda introdurrà il packaging 3D sui chip di nuova generazione, impilando DRAM al posto della SRAM.
La scelta è un compromesso deliberato. La SRAM è molto veloce ma ha una capacità limitata, mentre la DRAM è più lenta ma permette di ottenere capacità molto più grandi. Con lo stacking 3D, più strati di DRAM vengono collegati in verticale tramite TSV (through-silicon via), in modo simile a come oggi sono costruite le HBM. Lo stacking riduce l'area occupata e migliora l'efficienza energetica rispetto ai tradizionali package DRAM.
Inside the LPU: Deconstructing Groq’s Speed | Groq is fast inference...
L'attenzione di Groq sembra quindi spostarsi sulla capacità di memoria, pur conservando parte dell'elevata banda che caratterizzava i chip basati solo su SRAM. Il ragionamento è legato alla crescita dei modelli: più i modelli diventano grandi, più conta quanta memoria può contenerli su un singolo chip. Alcuni indizi suggeriscono inoltre che Groq manterrà separati i chip DRAM e quelli SRAM, lasciando al settore la scelta della soluzione più adatta.
Il contesto delle LPX di Nvidia
Le attuali LPU di Groq integrano 500 MB di SRAM con una banda di 150 TB/s; un rack da 256 chip arriva a 128 GB di SRAM e 640 TB/s di banda di scale-up, con 1,20 PFLOPs FP8 per singolo chip. Nvidia ha presentato le sue Groq 3 LPX come parte dell'ecosistema Vera Rubin per migliorare le prestazioni di inferenza, e il rack LPX è entrato in piena produzione, segnando la commercializzazione della tecnologia dall'acquisizione più grande della sua storia. Nvidia dichiara che l'insieme di Rubin GPU e LPU può offrire fino a 35 volte più throughput di inferenza per megawatt per modelli da migliaia di miliardi di parametri. Nel dicembre 2025 la cifra dell'operazione era stata riportata intorno ai 20 miliardi di dollari.
La scelta di Groq si inserisce in una corsa più ampia alla memoria per l'AI, dove la capacità è diventata il vincolo principale. Come già raccontato, d-Matrix ha presentato Raptor, un acceleratore che impila la logica su DRAM per raggiungere oltre 100 TB/s con 32 GB, mentre Sandisk e SK Hynix lavorano alla High-Bandwidth Flash per portare la memoria delle GPU a diversi terabyte. Il percorso scelto da Groq va in direzione opposta alla SRAM, più piccola ma più rapida.
Ancora nessun commento. Puoi essere il primo!