Sandisk ha raggiunto un traguardo critico nello sviluppo della tecnologia High Bandwidth Flash (HBF), completando il primo tapeout dei suoi die di memoria. L'azienda punta ora al 2027 per la spedizione dei campioni di prodotto destinati ai motori di inferenza AI, superando la fase concettuale precedentemente analizzata su AlexTech.ai.
L'architettura HBF mira a superare il "muro della memoria" nei sistemi AI su larga scala sostituendo la DRAM con NAND flash impilata, ricalcando la struttura della HBM ma offrendo una densità significativamente superiore. Secondo i dati presentati al "Sandisk Investor Day in Focus 2026" e al FMS 2026, la prima generazione di HBF punta a 512GB per stack (composti da sedici die da 256Gb) con una larghezza di banda in lettura di 1,6TB/s. Ciò consente una capacità da 8 a 16 volte superiore rispetto alla HBM, mantenendo un profilo di consumo e ingombro simile, poiché la NAND è non volatile e non richiede energia per il refresh.
Dimezzare le GPU necessarie per l'inferenza
I risultati delle emulazioni di Sandisk, condotte utilizzando il modello Alibaba Qwen3-480B-A35B, mostrano un drastico cambiamento nell'efficienza hardware. In simulazioni di carichi di lavoro per AI agentica, un sistema equipaggiato con 4 GPU potenziate da HBF ha raggiunto prestazioni di output (token al secondo) quasi identiche a un sistema basato su 8 GPU con HBM. Questo suggerisce che, portando la capacità di memoria per singola GPU a 4TB, il numero di acceleratori necessari per l'inferenza ad alte prestazioni potrebbe essere dimezzato.
Il guadagno di efficienza deriva dalle diverse esigenze delle fasi di inferenza AI. Mentre lo stadio di "Prefill" si affida alla pura potenza di calcolo, lo stadio di "Decode" è limitato dalla latenza e dalla banda di memoria per la lettura di enormi KV cache. Sandisk propone una strategia di "Prefill-Decode Disaggregation" (PD Disaggregation), in cui la GDDR SDRAM gestisce il prefill e l'HBF si occupa delle KV cache massive e dei pesi del modello durante la decodifica.
Standardizzazione e roadmap
Per garantire l'adozione industriale, Sandisk ha co-fondato l'HBF Technology Consortium insieme a SK hynix, Google e Tenstorrent. Lo sviluppo procede sotto l'egida dell' Open Compute Project (OCP), con l'ingresso recente di Meta nel gruppo. Il 3 agosto è stata rilasciata la specifica del base die (versione 0.7), che definisce l'interfaccia tra lo stack NAND e l'acceleratore AI tramite UCIe.
La specifica prevede tre gradi di velocità: G1 (0,384TB/s), G2 (1,536TB/s) e G3 (3,072TB/s). La larghezza del bus è fissata a 1.024 bit, mantenendo la compatibilità con gli standard HBM3e. Sebbene la durata in scrittura della NAND la renda inadatta per l'addestramento, l'elevata velocità di lettura e la non volatilità la rendono un candidato ideale per i pesi statici dei modelli pre-addestrati in ambienti focalizzati sull'inferenza.
Ancora nessun commento. Puoi essere il primo!