Blackwell de NVIDIA présente le développement pour DAC, LACC et 1.6T OSFP-XD

Plateforme Blackwell nouvelle génération

Le 19 mars 2024, NVIDIA a dévoilé une nouvelle génération de la plateforme d'architecture Blackwell au GTC.

Cette nouvelle plate-forme comprend la nouvelle puce IA GB200, le moteur Transformer de deuxième génération (utilisant la technologie de base exclusive Blackwell Tensor pour doubler les capacités d'inférence de l'IA et la taille des modèles), la solution NVLink de cinquième génération (conçue pour accélérer des milliards de paramètres et des modèles d'IA complexes). , capable d'interconnecter jusqu'à 576 GPU, offrant une multiplication par 9 du débit GPU), Le moteur RAS (Fiabilité, Disponibilité et Serviceabilité) (identification précoce des pannes potentielles, réduction des temps d'arrêt, amélioration des capacités intelligentes de récupération et de maintenance), Services de sécurité intelligents ( protégeant les modèles d'IA et les données des clients sans compromettre les performances globales, en prenant en charge les protocoles de chiffrement d'interface natifs de nouvelle génération adaptés aux secteurs ayant des exigences élevées en matière de confidentialité des données, tels que la santé et la finance).

Figure 1 : NVIDIA dévoile la plate-forme Blackwell de nouvelle génération

Analyse de l'architecture réseau de nouvelle génération NVLink de NVIDIA

Le NVLink de cinquième génération de NVIDIA améliore considérablement l'évolutivité des grands clusters multi-GPU, avec une bande passante totale de 1.8 To/s par GPU Blackwell monocœur. Chaque GPU Blackwell Tensor Core peut prendre en charge jusqu'à 18 connexions NVLink 100 Go/s, offrant une bande passante totale allant jusqu'à 1.8 To/s. Ces performances de bande passante sont deux fois supérieures à celles du produit H200 de génération précédente de NVIDIA et 14 fois supérieures à celles de la technologie PCIe 5.0. La plate-forme serveur GB200 NVL72 exploite la dernière technologie NVLink de NVIDIA pour offIl existe une plus grande évolutivité pour les grands modèles d'IA les plus complexes au monde.

Figure 2 : Performances de l'architecture réseau NVLink de 5e génération de NVIDIA

La nouvelle plate-forme de commutation IB Quantum-X800 de NVIDIA prend en charge les clusters de milliers de cartes

NVIDIA a présenté le premier système de bout en bout au monde InfiniBand 800G plate-forme de commutation réseau, Quantum-X800, conçue pour les grands modèles d'IA à l'échelle de plusieurs milliards de paramètres. La nouvelle plate-forme de commutation NVIDIA IB prend en charge la technologie informatique en réseau basée sur le matériel, le protocole évolutif de réduction de l'agrégation hiérarchique SHARP v4, le routage adaptatif et le contrôle de la congestion du réseau basé sur la surveillance à distance. Il se compose de trois éléments principaux :

Commutateur NVIDIA Quantum-X800 Q3400-RA 4U InfiniBand : le premier commutateur au monde utilisant la technologie monocanal 200 Gb/s améliorant considérablement les performances du réseau et la vitesse de transmission. Ce commutateur fournit 144 ports avec des vitesses de 800 Go/s chacun, facilités par 72 modules optiques OSFP-XD 1.6T (connectés via le gestionnaire de structure unifié UFM de NVIDIA). Tirant parti des hautes performances du nouveau commutateur Quantum-X800 Q3400, sa topologie réseau Fat Tree à deux couches peut connecter jusqu'à 10,368 3400 cartes d'interface réseau (NIC) avec une latence extrêmement faible tout en conservant une localité réseau maximale. Le commutateur Q19 utilise un refroidissement par air et est compatible avec les racks standard de XNUMX pouces ; NVIDIA également offUtilise le mode de refroidissement liquide parallèle Q3400-LD adapté aux racks 21 pouces Open Compute Project (OCP).

Figure 3 : Plateforme de commutation IB nouvelle génération Quantum-X800 de NVIDIA

Carte d'interface réseau NVIDIA ConnectX-8 SuperNIC : utilisant l'architecture d'adaptateur réseau de dernière génération de NVIDIA, elle offIl offre un réseau de bout en bout à 800 Gb/s et une isolation des performances, spécialement conçu pour gérer efficacement les cloud d'IA génératifs multi-locataires. Le ConnectX-8 SuperNIC fournit un débit de données de 800 Gb/s via PCIe 6.0, offJusqu'à 48 canaux de transmission pour diverses applications, y compris la commutation PCIe interne du système GPU NVIDIA. De plus, la nouvelle SuperNIC prend en charge la dernière technologie informatique en réseau de NVIDIA, MPI_Alltoall et les moteurs matériels de correspondance de balises MPI, ainsi que des améliorations structurelles telles qu'un service de haute qualité et un contrôle de la congestion du réseau. Le ConnectX-8 SuperNIC prend en charge les connecteurs OSFP224 à port unique et QSFP112 à double port, compatibles avec divers facteurs de forme, notamment OCP3.0 et CEM PCIe x16. Il prend également en charge l'extension auxiliaire NVIDIA Socket Direct à 16 canaux.

Figure 4 : Nouvelle carte d'interface réseau IB NVIDIA ConnectX-8 SuperNIC

Câbles et émetteurs-récepteurs LinkX : la gamme de produits d'interconnexion de la plate-forme Quantum-X800 de NVIDIA comprend des émetteurs-récepteurs de connexion avec des câbles à connexion directe (DAC) passifs et des câbles en cuivre actifs linéaires (LACC), offrant une plus grande flexibilité pour créer des topologies de réseau préférées. Cette solution d'interconnexion comprend spécifiquement des émetteurs-récepteurs de connexion 2xDR4/2xFR4 monomodes à double port, des câbles DAC passifs et des câbles en cuivre actifs linéaires LACC.

Figure 5 : câbles et émetteurs-récepteurs NVIDIA LinkX

Solution NVIDIA GB200 NVL72

La solution NVIDIA GB200NBL72 offIl s'agit d'une vitesse d'inférence multipliée par 30, d'une vitesse d'entraînement multipliée par 4, d'une efficacité énergétique multipliée par 25 et d'une amélioration par 18 des performances de traitement des données pour les modèles d'IA comportant des milliards de paramètres.

Figure 6 : NVIDIA lance la solution GB200 NVL72

1. En termes de performances d'inférence, la solution GB200 NVL72 utilise le moteur Transformer de dernière génération prenant en charge l'IA FP4 et emploie le NVLink de cinquième génération pour fournir une amélioration de 30 fois des performances d'inférence du Large Language Model (LLM) pour les grands modèles comportant des milliards de paramètres. Il atteint une précision et un débit plus élevés grâce au nouveau microformat Tensor Core et implémente un grand cluster GPU de 72 GPU dans une seule armoire grâce à un refroidissement liquide.
2. Pour les performances de formation, le moteur Transformer de deuxième génération avec la précision FP8 accélère de 4 fois les grands modèles de langage et les vitesses de formation à grande échelle. Il fournit une vitesse d'interconnexion GPU à GPU de 1.8 To/s via le NVLink de cinquième génération utilisant les réseaux de commutation InfiniBand et le logiciel NVIDIA Magnum IO.
3. En ce qui concerne l'efficacité énergétique, le GB200 NVL72 refroidi par liquide réduit considérablement la consommation d'énergie du centre de données. La technologie de refroidissement liquide améliore la densité de calcul tout en réduisant l'encombrement du rack de serveur, permettant ainsi une communication GPU à large bande passante et à faible latence au sein de grandes architectures de domaine NVLink. Par rapport à l'armoire refroidie par air NVIDIA H100 de génération précédente, l'armoire refroidie par liquide GB200 offre une amélioration des performances 25 fois supérieure pour la même consommation d'énergie tout en réduisant efficacement la consommation d'eau.
4. En termes de performances de traitement des données, tirant parti des performances de mémoire à large bande passante de l'architecture NVIDIA Blackwell, de la technologie NVLink-C2C et des moteurs de décompression dédiés, le GB200 multiplie par 18 les vitesses de requêtes critiques des bases de données par rapport aux processeurs tout en réduisant les coûts TCO de 5 fois.

Figure 7 : Solution GB200 NVL72 de NVIDIA avec des performances d'inférence 30 fois supérieures, des performances d'entraînement 4 fois supérieures et une efficacité énergétique 25 fois supérieure

L'armoire unique GB200 NVL72 de NVIDIA comprend 9 commutateurs NV Switch L1 et 18 nœuds de calcul. Chaque nœud de calcul se compose d'un plateau GPU monocouche dans l'armoire, chaque plateau contenant 2 modules. Chaque unité comprend 2 GPU Blackwell et 1 CPU Grace, totalisant 4 GPU par plateau. L'armoire abrite 18 nœuds de calcul (10 dans la moitié supérieure et 9 dans la moitié inférieure), totalisant 72 GPU Blackwell et 36 processeurs Grace. Les performances de calcul atteignent 1440PFLOPS (FP4)/720PFLOPS (FP8/FP6)/720PFLOPS (INT8), avec une mémoire GPU maximale de 13.5 To (HBM3e). Les paramètres d'interconnexion incluent 72 VPI ConnectX-7 OSFP à port unique (InfiniBand 400G), avec des paramètres de performances pour la carte réseau ConnectX-8 qui n'ont pas encore été mis à jour. Les performances de la puce GB200 AI peuvent atteindre 40PFLOPS (FP4)/20PFLOPS (FP8/FP6)/10PFLOPS (INT8), avec une mémoire GPU maximale de 384 Go (HBM3e).

Figure 8 : NVIDIA annonce la puce IA Superchip GB200

NVIDIA lance la puce IA GB200 Superchip

Paramètres de performances détaillés des puces NVIDIA GB200 NVL72 et GB200 AI

Analyse des exigences de l'architecture réseau GB200 de nouvelle génération de NVIDIA pour la connectivité cuivre et les modules optiques

La connectivité en cuivre présente des avantages rentables à l'ère des commutateurs de 224 Go

La connectivité en cuivre présente des avantages en termes de prix/performances et de consommation d'énergie dans la tendance du clustering haute densité de commutateurs et de serveurs, et la connectivité par câble en cuivre devrait être la meilleure solution pour l'ère des commutateurs 224 Gb/s, étape par étape. Un changement important dans la solution GB200 de NVIDIA réside dans l'interconnexion entre les commutateurs et les nœuds de calcul dans une seule armoire, et dans la connexion interne des commutateurs par connexion par câble en cuivre au lieu de la connexion précédente par câble PCB-module optique. Les interconnexions GB200 sont divisées en trois catégories principales :

(1) Connexion inter-armoire GB200 NVL72 (câble externe) : les grands centres de données nécessitent souvent un grand nombre d'armoires pour l'informatique parallèle ; si les armoires doivent être mises en réseau en externe, elles sont connectées via le commutateur TOR avec un câble DAC/AOC (comme illustré dans la figure 10). Pour un grand nombre d'armoires, l'interconnexion externe doit être installée dans l'armoire au-dessus de l'équipement de câblage pour une connexion ordonnée, la longueur du câble est souvent longue, le câble en cuivre mesure plus de 2 à 4 mètres après que les exigences de connexion ne peuvent pas être satisfaites, de sorte que l'interconnexion longue distance de l'utilisation principale des câbles à fibres optiques pour se connecter, les câbles en cuivre dans ce lien ne peuvent pas complètement remplacer les câbles à fibres optiques.

Figure 9 : Schéma d'interconnexion NVIDIA GB200 NVL72 entre les armoires

(2) Connexion à une seule armoire GB200 NVL72 (câbles internes à l'armoire) – le tout remplacé par des câbles en cuivre : Dans la figure 10, huit nœuds informatiques et neuf commutateurs sont connectés en interne via les câbles en cuivre dans la zone jaune de la figure 10, et le Le fond de panier en câble de cuivre remplace l'utilisation précédente des commutateurs TOR et des nœuds informatiques via la connexion fond de panier PCB-module optique-câble. Pour la nouvelle génération de commutateurs avec un seul canal de 224 Go/s, la consommation électrique des modules optiques 800G/1.6T est généralement supérieure à 16 W, et si le schéma de connexion du GB200 NVL72 est basé sur la connexion précédente des modules optiques, il entraînera des problèmes de consommation d’énergie élevés. Les connexions en cuivre consomment moins d'énergie et sont plus économiques que les modules optiques. Le PDG de Broadcom a également récemment manifesté son soutien à l'attitude en faveur des connexions en cuivre : « Les dispositifs optiques dans le réseau de communication consommeront beaucoup d'énergie et de coûts, donc dans la nouvelle génération de développement de commutateurs de Broadcom pour éviter l'utilisation de dispositifs optiques, mais dans la mesure du possible pour utiliser un programme de connexion en cuivre. Les dispositifs optiques ne seront utilisés que lorsque la transmission en cuivre ne peut pas répondre à la demande ».

Figure 10 : Diagramme schématique des connexions du commutateur et du nœud de calcul à l'intérieur du châssis unique NVIDIA GB200 NVL72

Figure 11 : Schéma du fond de panier du câble en cuivre NVIDIA GB200 NVL72 et du connecteur du fond de panier

3) Commutateur NV interne – utilisant un câble en cuivre pour réaliser la connexion du connecteur du fond de panier à la puce du commutateur : pour un commutateur monocanal 224 Gb/s, comme le montre la partie jaune de la figure 13, la zone de la carte PCB est également limitée, pas assez pour couvrir toute la zone, il n'est donc pas possible de réaliser la connexion de liaison sur une plus longue distance, et le cavalier en cuivre peut réaliser la connexion du fond de panier à la puce de commutation.

Figure 12 : Schéma de principe de la solution de connexion interne en cuivre du commutateur NVIDIA GB200 NVL72

Module optique 1.6T devrait ouvrir la voie à des opportunités de volume accélérées grâce aux solutions GB200.

La plate-forme Blackwell de nouvelle génération de NVIDIA stimulera la demande de modules optiques 1.6T avec des taux de transmission plus élevés. Selon les performances du nouveau commutateur Quantum-X800 Q3400-RA 4U InfiniBand de NVIDIA, le premier commutateur au monde doté d'une technologie monocanal de 200 Go/s, fournissant 144 ports avec des vitesses de connexion de 800 Go/s, réalisé par 72 OSFP de 1.6 T. modules optiques. Par conséquent, on s’attend à ce que l’application progressive de la nouvelle génération de commutateurs dans les solutions GB200 fasse augmenter la demande de modules optiques 1.6T.

La plate-forme Blackwell dans les scénarios d'application de cluster GPU à grande échelle a toujours besoin de modules optiques pour réaliser l'interconnexion inter-armoires, la demande de modules optiques 800G sera maintenue.

(1) Armoire unique GB200 (correspondant à 72 GPU) : la nouvelle génération de programme d'armoire unique GB200 ne nécessitera plus de modules optiques pour réaliser l'interconnexion.

(2) Entre 1 et 8 clusters NVL200 Go72 (correspondant à 72-576 GPU), certains modules optiques 800G sont encore nécessaires pour réaliser l'interconnexion entre les armoires. Si 20 % des données doivent être transmises à travers les armoires, la bande passante de transmission totale unidirectionnelle NVLink de 7200 800 Go correspond à un seul GPU et un rapport de demande de module optique 1G de 2:XNUMX.

(3) Plus de 8 clusters GB200 NVL72 à grande échelle (correspondant à plus de 576 GPU), il est prévu de configurer le réseau InfiniBand Layer 3, en fonction du ratio de demande de GPU et de modules optiques 800G 1:2.5, et le deuxième couche 1:2, on s'attend à ce que le ratio de demande global du GB200 soit de 1:4.5.