Intel presenta l’acceleratore IA GPU D-series con 480 GB di memoria
Intel ha annunciato l’acceleratore per server GPU D-series, sviluppato in precedenza con il nome in codice Crescent Island. La capacità della sua memoria raggiunge i 480 GB. Il dispositivo è stato mostrato al summit globale dell’Open Compute Project.
L’acceleratore è destinato ai sistemi server che elaborano richieste verso modelli di intelligenza artificiale. Secondo il produttore, una singola scheda è in grado di gestire modelli con un massimo di 300 miliardi di parametri. Una configurazione di otto acceleratori è pensata per modelli con più di mille miliardi di parametri.
Come memoria Intel ha scelto la LPDDR5X, anziché la HBM ad alta velocità o la GDDR7 per la grafica. Questo tipo di memoria viene usato di solito nei portatili e in altri dispositivi in cui la priorità è il basso consumo energetico. La scelta risponde alle esigenze dell’inferenza, cioè dell’esecuzione di modelli già addestrati, ad esempio per generare le risposte dei chatbot. In questi compiti è importante mantenere grandi quantità di pesi della rete neurale e di dati correlati direttamente nella memoria disponibile, senza impiegare risorse per ricaricarli di continuo.
In base alle caratteristiche dichiarate, le prestazioni dell’acceleratore sono pari a 1,3 petaflop nei calcoli FP8, un formato numerico a precisione ridotta che accelera molte operazioni di IA. La larghezza di banda della memoria è di 1,5 TB/s, mentre il limite di consumo energetico è fissato a 350 W.
L’acceleratore adotta il formato standard PCIe ed è dotato di raffreddamento ad aria. Nelle intenzioni dello sviluppatore, ciò ne faciliterà l’installazione nei server già in uso. È inoltre prevista la collaborazione con i processori Xeon, che distribuiranno i compiti e gestiranno il trasferimento dei dati.
Va tenuto presente che la velocità di elaborazione delle richieste non dipende soltanto dalla quantità di memoria. Essa dipende anche dalle unità di calcolo, dalla larghezza di banda della memoria, dal software e dal tipo di carico di lavoro.
Il prezzo al dettaglio della GPU D-series e la data esatta di arrivo sul mercato non sono ancora stati comunicati. Intel propone la novità come soluzione per l’impiego di grandi modelli di IA nei sistemi aziendali, compresa l’elaborazione simultanea di numerose richieste e il lavoro con contesti lunghi.