Intel dévoile l'accélérateur d'IA GPU D-series doté de 480 Go de mémoire
Intel a annoncé l’accélérateur pour serveurs GPU D-series, développé auparavant sous le nom de code Crescent Island. Sa capacité mémoire atteint 480 Go. Le dispositif a été présenté lors du sommet mondial de l’Open Compute Project.
L’accélérateur est destiné aux systèmes serveurs qui traitent les requêtes adressées à des modèles d’intelligence artificielle. Selon le fabricant, une seule carte peut prendre en charge des modèles comptant jusqu’à 300 milliards de paramètres. Une configuration de huit accélérateurs est conçue pour des modèles dépassant mille milliards de paramètres.
Comme mémoire, Intel a retenu la LPDDR5X plutôt que la HBM à haut débit ou la mémoire graphique GDDR7. Ce type de mémoire est généralement utilisé dans les ordinateurs portables et d’autres appareils où la faible consommation d’énergie est prioritaire. Ce choix répond aux besoins de l’inférence, c’est-à-dire de l’exécution de modèles déjà entraînés, par exemple pour générer les réponses d’un agent conversationnel. Dans ce type de tâches, il importe de conserver de grands volumes de poids du réseau de neurones et de données associées directement dans la mémoire disponible, sans mobiliser de ressources pour les recharger en permanence.
D’après les caractéristiques annoncées, la performance de l’accélérateur atteint 1,3 pétaflop en calculs FP8, un format numérique de précision réduite qui accélère de nombreuses opérations d’IA. La bande passante mémoire est de 1,5 To/s, et la limite de consommation électrique est fixée à 350 W.
L’accélérateur adopte le format standard PCIe et dispose d’un refroidissement à air. Selon le concepteur, cela devrait faciliter son installation dans les serveurs existants. Il est en outre prévu qu’il fonctionne avec les processeurs Xeon, chargés de répartir les tâches et de gérer le transfert des données.
Il convient de noter que la vitesse de traitement des requêtes ne dépend pas uniquement de la quantité de mémoire. Elle dépend aussi des unités de calcul, de la bande passante mémoire, des logiciels et de la nature de la charge de travail.
Le prix de vente du GPU D-series et sa date de mise sur le marché n’ont pas encore été annoncés. Intel présente cette nouveauté comme une solution pour déployer de grands modèles d’IA dans les systèmes d’entreprise, y compris pour le traitement simultané de nombreuses requêtes et le travail avec des contextes longs.