Analyse du dernier matériel NVIDIA : B100/B200/GH200/NVL72/SuperPod

Vue d’ensemble

Nous avons déjà brièvement présenté le dernier GPU Blackwell de NVIDIA, mais une partie du contenu peut facilement être mal comprise, comme l'ambiguïté ou les concepts vagues du GPU Blackwell de NVIDIA. offintroduction icielle. De plus, nous avons constaté certains malentendus sur les capacités de la nouvelle génération de GPU, comme la croyance selon laquelle leurs performances seraient des dizaines de fois supérieures. Nous avons donc décidé de synthétiser de manière exhaustive les différentes données pour permettre à chacun de faire une comparaison plus complète et plus juste.

Dans cet article, nous avons collecté de manière exhaustive des informations matérielles sur les GPU Blackwell de NVIDIA, notamment les B100, B200, GH200 et NVL72, ainsi que le SuperPod-576 et les cartes réseau ConnectX-800G correspondantes, les commutateurs Quantum-X800 IB et Spectrum. -Commutateurs Ethernet X800, et nous les avons comparés avec la série précédente. Il convient de noter qu'une partie du contenu de l'article est constituée de données que nous avons déduites sur la base de diverses informations, telles que les parties rouges dans certains tableaux, et les données finales seront soumises au offlivre blanc officiel (qui n'a pas encore été vu). De plus, cela n’inclut pas le contenu lié à l’écosystème logiciel.

par étape

NVIDIA a publié les derniers GPU à architecture Blackwell le 19 mars 2024, les principaux étant les GPU B200, B100 et GB200, ainsi que les GB200-NVL72 et GB200-SuperPod correspondants. La relation entre les différents GPU est illustrée dans la figure ci-dessous.

GPU unique

Le tableau ci-dessous présente les GPU les plus puissants des séries Ampere, Hopper et Blackwell. On constate que la mémoire, la puissance de calcul et NVLink sont progressivement renforcés. (Remarque : NVIDIA a également publié une solution spéciale dans laquelle deux versions H100 PCIe sont connectées via NVBridge, appelée H100 NVL, mais comme il s'agit toujours de deux GPU, les détails ne seront pas abordés ici.)

A100 -> H100 : la puissance de calcul dense du FP16 a été multipliée par plus de 3, tandis que la consommation électrique n'a augmenté que de 400 W à 700 W.

H200 -> B200 : la puissance de calcul dense du FP16 a été multipliée par plus de 2, tandis que la consommation électrique n'a augmenté que de 700 W à 1000 XNUMX W.

La puissance de calcul dense du B200 FP16 est environ 7 fois supérieure à celle de l'A100, tandis que la consommation électrique n'est que 2.5 fois supérieure.

Les GPU Blackwell prennent en charge la précision FP4, avec une puissance de calcul deux fois supérieure à celle du FP8. Certaines données des rapports de NVIDIA comparent la puissance de calcul FP4 à la puissance de calcul FP8 de l'architecture Hopper, de sorte que le taux d'accélération sera plus exagéré.

Il convient de noter que:

Le GB200 utilise la puce B200 complète, tandis que le B100 et le B200 sont les versions allégées correspondantes.

Serveurs HGX

HGX est un serveur hautes performances de NVIDIA, contenant généralement 8 ou 4 GPU, généralement associés à des processeurs Intel ou AMD, et utilisant NVLink et NVSwitch pour obtenir une interconnexion complète (8 GPU constituent généralement la limite supérieure de l'interconnexion complète NVLink, à l'exception de NVL. et SuperPod).

Du HGX A100 -> HGX H100 et HGX H200, la puissance de calcul dense du FP16 a augmenté de 3.3 fois, tandis que la consommation électrique est inférieure à 2 fois.

De HGX H100 et HGX H200 -> HGX B100 et HGX B200, la puissance de calcul dense du FP16 a augmenté d'environ 2 fois, tandis que la consommation d'énergie est similaire, au maximum ne dépassant pas 50 %.

Il convient de noter que:

Le réseau des HGX B100 et HGX B200 n'a pas été mis à niveau et la carte réseau IB est toujours à 8x400 Gb/s.

NVL et SuperPod

En plus des serveurs GPU de la série HGX, NVIDIA propose également des solutions pour armoires complètes et clusters, toutes utilisant la dernière solution Grace CPU + GPU, et correspondant aux systèmes de refroidissement liquide. Le tableau ci-dessous présente les armoires NVL et SuperPod correspondants pour l'architecture Hopper et l'architecture Blackwell.

NVL32 -> NVL72 : le nombre de GPU est passé de 32 à 72, et la puissance de calcul dense du FP16 est passée de 32P à 180P, soit près de 6 fois, tandis que la consommation électrique a également augmenté de 40 kW (aucun chiffre spécifique vu, données estimées) à 120 kW. , près de 3 fois.

GH200 SuperPod -> GB200 SuperPod : Le nombre de GPU est passé de 256 à 576, et la puissance de calcul dense FP16 est passée de 256P à 1440P, près de 6 fois, et la consommation d'énergie correspondante n'a pas été trouvée.

Les dernières cartes réseau ConnectX-8 IB avec une bande passante de 800 Gb/s sont utilisées dans les SuperPod NVL72 et GB200, tandis que HGX B100 et HGX B200 utilisent toujours des cartes réseau ConnectX-7 IB avec une bande passante de 400 Gb/s.

Il convient de noter que:

NVIDIA a annoncé que le SuperPod GB200 est composé de 8 NVL72, tandis que le SuperPod GH200 n'est pas composé de 8 NVL32.

Le nombre de plateaux NVSwitch L1 et de plateaux NVSwitch L2 dans le GB200 SuperPod n'a pas été vu et constitue une estimation.

GPU Blackwell

Le GPU Blackwell et le GPU H100 utilisent tous deux la technologie de processus 4N de TSMC. Le H100 contient 80 milliards de transistors, tandis que le GPU Blackwell contient 208 milliards de transistors. Cependant, le H100 est un boîtier à puce unique (une seule unité semi-conductrice complète), tandis que le GPU Blackwell est un boîtier multi-puces avec 2 puces.

Chaque puce GPU Blackwell a environ 1.25 fois la puissance de calcul du H100, et les deux puces ensemble ont environ 2.5 fois la puissance de calcul du H100. Cela se voit également au nombre de transistors.

La bande passante de communication entre les deux puces est de 10 To/s.

La mémoire utilise HBM3e, chaque puce ayant une taille de 24 Go et une limite de bande passante théorique de 1.2 To/s, avec une bande passante réelle de 1 To/s. L’ensemble du GPU Blackwell possède 8 de ces puces mémoire.

En résumé, les principales spécifications d’un GPU Blackwell complet sont :

Puissance de calcul faible (puissance de calcul dense * 2) :

FP16 : flops 5P (2 * 2.5P)

FP8/FP6/INT8 : 10P FLOPS (2*5P)

FP4 : flops 20P (2 * 10P)

Mémoire:

Taille: 192 Go (8 * 24 Go)

Bande passante : 8 To/s (8 * 1 To/s)

GH200 et GB200

GH200

Le GH200 est la combinaison par NVIDIA du GPU H200 sorti l'année dernière et du CPU Grace. Chaque processeur Grace est associé à un GPU H200, et le GPU H200 peut avoir jusqu'à 96 Go ou 144 Go de mémoire. Le CPU Grace et le GPU Hopper sont interconnectés via NVLink-C2C avec une bande passante de 900 Go/s. En plus du HBM3e, le processeur Grace dispose également de 480 Go de mémoire externe LPDDR5X, bien que la bande passante correspondante soit inférieure à 500 Go/s.

GB200

Contrairement au GH200, chaque GB200 se compose d'un processeur Grace et de deux GPU Blackwell, doublant ainsi la puissance de calcul et la mémoire du GPU. Le CPU et les GPU sont toujours interconnectés à 1 Go/s via NVLink-C2C. La consommation électrique correspondante est de 900W.

Le GB200 comprend 384 Go de mémoire HBM3e et les mêmes 480 Go de LPDDR5X, pour un total de 864 Go de mémoire rapide.

HGX H100/H200 et HGX B100/B200

HGX H100 et HGX H200

Comme indiqué, le H200 possède la même puissance de calcul que le H100, mais avec une mémoire plus grande. La mémoire maximale pour 8 GPU passe de 640 Go à 1.1 To. La puissance de calcul clairsemée du FP16 pour 8 GPU est de 16P et celle du FP8 clairsemé est de 32P. La bande passante de communication GPU à GPU est de 900 Go/s pour les deux.

HGX B100 et HGX B200

Les B100 et B200 correspondent respectivement aux précédents H100 et H200, mais sans le processeur Grace, ils peuvent donc être utilisés avec des processeurs Intel ou AMD.

La mémoire des B100 et B200 est plus grande que celle des H100 et H200. La mémoire maximale pour 8 GPU est de 1.5 To (Remarque : le site Web de NVIDIA indiquait initialement 1.4 To, ce qui ne correspond pas à 192 Go*8, et a ensuite été corrigé à 1.5 To, tandis que la fiche technique du DGX B200 indique clairement 1440 180 Go, soit XNUMX Go par GPU).

La puissance de calcul du B100 est d’environ 3/4 de celle du B200. La faible puissance de calcul FP16 pour 8xB100 est de 28P et pour 8xB200 est de 36P, donc 8xB200 est 2.25 fois celle de 8xH100/H200. Cela signifie que la faible puissance de calcul FP16 d’un seul B200 est de 4.5P. Il convient de noter que la puissance de calcul réelle du B200 représente 90 % de celle du B200 complet (dans le GB200).

L'image montre les données de la fiche technique du DGX B200.

Les cœurs Tensor de Blackwell prennent désormais en charge FP6 et FP4, et la puissance de calcul du FP4 est 2 fois supérieure à la puissance FP8 et 4 fois supérieure à la puissance FP16. Les cœurs CUDA de Blackwell ne prennent plus en charge INT8 et, à partir de Hopper, ils ne prennent plus en charge INT4.

Les cœurs Tensor de Blackwell ont ajouté la prise en charge du format de données Microscaling, ce qui pourrait expliquer pourquoi ils prennent en charge FP8, FP6, FP4 et INT8.

NVLink et NVSwitch

NVSwitch de troisième génération

Le NVSwitch de troisième génération dispose de 64 ports NVLink, chacun avec 2 voies. La limite de bande passante est de 64*50 Go/s=3.2 To/s.

NVSwitch de quatrième génération

La puce NVSwitch dispose de 72 ports NVLink, chacun avec 2 voies, avec une bande passante bidirectionnelle de 2 x 2 x 200 Gb/s = 100 Go/s, pour un total de 7.2 To/s. Les NVLinks 1.8 To/s dans l'image correspondent à 18 ports.

Les B100 et B200 utilisent le NVLink de cinquième génération et le NVSwitch de quatrième génération. Chaque GPU des B100 et B200 dispose toujours de 18 NVLinks, mais la bande passante par lien a été améliorée de 50 Go/s sur le NVLink de quatrième génération (H100) à 100 Go/s. Ainsi, la bande passante GPU à GPU maximale pour les B100 et B200 est de 1.8 To/s.

Le NVSwitch de quatrième génération double également la bande passante GPU à GPU à 1.8 To/s. Il peut prendre en charge jusqu'à 576 GPU, pour une limite de bande passante totale de 576*1.8 To/s=1 Po/s.

Cartes réseau et commutateurs réseau

Carte réseau ConnectX-8 InfiniBand

NVIDIA a également lancé une nouvelle génération de InfiniBand cartes réseau, le ConnectX-8 (ConnectX-800G), avec une bande passante de communication correspondante de 800 Gb/s. Les précédents H100 et H200 utilisaient la carte réseau ConnectX-7, avec une bande passante de communication de 400 Gb/s, tandis que l'A100 utilisait la carte réseau ConnectX-6 avec une bande passante de 200 Gb/s.

Cependant, NVIDIA n'a pas utilisé la nouvelle carte réseau ConnectX-800G dans le HGX B100/B200, et a plutôt continué à utiliser la génération précédente ConnectX-7, comme le montrent les images (NVIDIA lance le SuperPOD DGX alimenté par Blackwell pour le supercalcul IA génératif à L'échelle de paramètres d'un billion et la plate-forme NVIDIA Blackwell arrivent pour alimenter une nouvelle ère informatique).

BlueField-3 DPU/SuperNIC

BlueField-3 prend en charge les connexions Ethernet et IB à des vitesses allant jusqu'à 400 Gb/s et peut être combiné avec des accélérateurs matériels de réseau et de stockage, programmés à l'aide de NVIDIA DOCA. Avec BlueField-3, il existe des BlueField-3 DPU et BlueField-3 SuperNIC correspondants. Le BlueField-3 SuperNIC peut fournir un accès direct à la mémoire à distance Ethernet (RoCE) entre les serveurs GPU à des vitesses allant jusqu'à 400 Gb/s, prenant en charge un port unique de 400 Gb/s ou un double port de 200 Gb/s. La génération précédente BlueField-2 SuperNIC ne prenait en charge que 200 Gb/s à port unique ou 100 Gb/s à double port.

Commutateur Quantum-X800 IB

Le Quantum-X800 est la nouvelle génération de commutateur NVIDIA Quantum IB, capable d'atteindre 800Gb / s connexions de bout en bout avec une latence ultra-faible, prenant principalement en charge la carte réseau NVIDIA ConnectX-8. Le commutateur Quantum-X800 Q3400-RA correspondant (4U) peut fournir 144 ports 800 Gb/s, comme le montre l'image, utilisant le refroidissement par air mais prenant également en charge le refroidissement liquide.

Commutateur Ethernet Spectrum-X800

Le Spectrum-X800 est la nouvelle génération de commutateurs Ethernet NVIDIA Spectrum, comprenant deux types : SN5600 et SN5400, tous deux utilisant une conception 2U.

Comme le montre le tableau, le SN5600 peut prendre en charge jusqu'à 800 Gb/s par port, avec 64 ports et une bande passante totale de 51.2 Tb/s, tandis que le SN5400 peut prendre en charge jusqu'à 400 Gb/s par port, avec 64 ports et un total de 25.6 Tb/s. bande passante de XNUMX To/s.

GH200 NVL32 et GH200-SuperPod

Plateau de calcul GH200

Le plateau de calcul GH200 est basé sur la conception NVIDIA MGX (taille 1U), avec 2 unités GH200 par plateau de calcul, soit 2 processeurs Grace et 2 GPU H200.

Plateau NVSwitch

Le plateau NVSwitch de première génération contient 2 puces NVSwitch de troisième génération, avec un total de 128 ports NVLink et une bande passante de communication maximale de 6.4 To/s.

GH200 NVL32

Chaque armoire contient 16 plateaux de calcul GH200 et 9 plateaux NVSwitch, soit un total de 32 GPU GH200 et 18 NVSwitches. Les 32 GPU GH200 ont 32 × 18 = 576 NVLinks, et théoriquement, seuls 576/64 = 9 NVSwitches seraient nécessaires pour réaliser une interconnexion complète, mais cette conception comprend 18 NVSwitches.

SuperPod GH200

Le GH200 SuperPod est composé de 256 GPU GH200 dans une configuration entièrement interconnectée, mais il n'est pas composé de 8 unités NVL32. Au lieu de cela, il est composé de 32 superchips 8-Grace Hopper.

Comme le montre la figure 7, chaque superpuce 8-Grace Hopper comprend :

8 * plateaux de calcul Hopper (8U), chacun contenant :

1 * GPU GH200

1 * carte réseau ConnectX-7 IB, 400Gb / s

Carte Ethernet 1*200 Gb/s

3 * plateaux NVSwitch (3U), avec un total de 6 * NVSwitches

Les connexions NVLink sont telles qu'indiquées dans la figure 6, chaque GH200 et chaque NVSwitch ayant 3 connexions NVLink. Cela utilise 24 ports par NVSwitch dans cette direction. De plus, chaque NVSwitch dispose de 24 ports connectés au NVSwitch L2, pour un total de 48 ports utilisés par NVSwitch. (Remarque : certains ports NVSwitch sont redondants et, en théorie, seuls 4.5 NVSwitches seraient nécessaires, c'est pourquoi 3 plateaux NVSwitch ont été choisis.)

Comme le montre la figure 8, le SuperPod GH200 est composé de 32 superpuces 8-Grace Hopper. Le niveau L1 contient 32 x 3 = 96 plateaux NVSwitch (192 NVSwitches) et le niveau L2 contient 36 plateaux NVSwitch (64 NVSwitches). Chaque plateau NVSwitch L1 dispose de 24 x 2 = 48 ports connectés aux plateaux NVSwitch L2, donc 36 plateaux NVSwitch L2 sont nécessaires.

Comme le montre la figure 12, les 256 GPU GH200 sont également interconnectés via un commutateur IB à deux niveaux.

La connectivité complète du GH200 SuperPod est illustrée à la figure 5.

GB200 NVL72 et GB200 SuperPod

Plateau de calcul GB200

Le plateau de calcul GB200 est également basé sur la conception NVIDIA MGX (taille 1U), chaque plateau de calcul contenant 2 unités GB200, soit 2 processeurs Grace et 4 GPU Blackwell, comme indiqué dans l'image.

Chaque plateau de calcul GB200 prend en charge 1.7 To de mémoire rapide (Remarque : le « HBM3e » dans l'image est probablement une faute de frappe, il devrait s'agir de « Fast Memory » et non de « HMB3e »). S'il s'agit de la mémoire par GPU Blackwell, elle devrait être de 192 Go x 4 = 768 Go. Les 1.7 To incluent probablement les 480 Go supplémentaires de LPDDR5X par Go200, pour un total de 768 Go + 480 Go x 2 = 1728 XNUMX Go.

Plateau NVSwitch

Comme le montre l'image, le plateau NVSwitch de nouvelle génération contient également 2 puces NVSwitch (taille 1U), avec un total de 144 ports NVLink (72 ports NVLink par puce NVSwitch). Chaque port dispose d'une bande passante de 100 Go/s, prenant en charge une limite de bande passante totale de 14.4 To/s. Le système NVSwitch de quatrième génération peut prendre en charge jusqu'à 576 GPU, de sorte que la limite totale de bande passante peut atteindre 576 * 1.8 To/s = 1 Po/s. (Remarque : les 8 ports de l'image ne sont pas des ports NVLink, chacun correspond à 18 NVLinks.)

Le système NVSwitch utilisé dans le NVL72 est illustré ci-dessous, contenant 9 plateaux NVSwitch. Les 72 ports de l'image correspondent aux ports de l'image précédente, et non aux ports NVLink, avec une bande passante de 1.8 To/s (18 x 100 Go/s NVLinks).

GB200 NVL72

Un GB200 NVL72 contient 18 plateaux de calcul GB200, il dispose donc de 36 processeurs Grace et 72 GPU. La mémoire totale du GPU est de 72 * 192 Go = 13.8 To, et la mémoire rapide LPDDR5X du processeur est de 480 Go x 36 = 17 To, donc la mémoire rapide totale est de 30 To. Il comprend également 9 plateaux NVSwitch.

Nvidia aussi offIl s'agit d'une configuration NVL36, qui dispose toujours de 18 plateaux de calcul GB200, mais chaque plateau de calcul ne dispose que d'un seul Go200, soit un total de 18 processeurs Grace et 36 GPU B200. La puissance de calcul correspondante est indiquée dans l'image. Ainsi, les 30 To mentionnés sont probablement 13.5 To HBM3e + 17 To LPDDR5X.

La puissance de calcul correspondante est indiquée dans la figure ci-dessous :

Ainsi, le HBM30e de 3 To ici devrait également être un HBM13.5e de 3 To + un LPDDR17X de 5 To :

SuperPod GB200

Le GB200 SuperPod est composé de 8 unités NVL72, totalisant 576 GPU Blackwell. Pour obtenir une interconnectivité complète, similaire aux 256 GPU GH200 précédents, il nécessite un système NVSwitch Tray à deux niveaux (limite de bande passante théorique de 576 * 1.8 To/s = 1 Po/s) :

Le NVSwitch Tray de premier niveau a la moitié de ses ports connectés aux 576 GPU Blackwell, donc 576 * 18 / (144/2) = 144 NVSwitch Trays sont nécessaires (les 144 * 72 ports restants).

Les plateaux NVSwitch de deuxième niveau ont tous leurs ports connectés aux ports NVSwitch restants de premier niveau, donc 144 * 72 / 144 = 72 plateaux NVSwitch sont nécessaires. Chaque plateau NVSwitch de deuxième niveau est connecté à tous les plateaux NVSwitch de premier niveau (2 ports par connexion).

Analyse des données de performances

Performances du DGX GB200

NVIDIA affirme que le DGX B200 (correspondant au HGX B200) présente une amélioration de 3 fois les performances d'entraînement et une amélioration de 15 fois des performances d'inférence par rapport à la génération précédente DGX H100 (HGX H100). Cependant, cela est soumis à certaines conditions préalables. En regardant uniquement la puissance de calcul FP16 ou FP8 du HGX H100 au HGX B200, la puissance de calcul a augmenté de 2.25x. Mais la taille de la mémoire est plus grande, la bande passante mémoire est environ 2.3 fois plus élevée et la bande passante NVLink a également doublé. Ainsi, l’amélioration globale de la vitesse d’entraînement par 3 est conforme aux attentes.

Comme le montre l'image, la vitesse d'entraînement 3x a été mesurée sur les systèmes 4096 HGX B200 par rapport aux systèmes 4096 HGX H100, entraînant le modèle GPT-MoE-1.8T.

Comme le montre l'image, la vitesse d'inférence 15x a été mesurée sur 8 systèmes HGX B200 par rapport à 8 systèmes HGX H100, en utilisant le modèle GPT-MoE-1.8T pour l'inférence (l'inférence du modèle GPT est généralement liée aux E/S, la bande passante mémoire est donc cruciale. ; pour prendre en charge une concurrence plus élevée, une grande taille de mémoire est également importante ; et comme le modèle est volumineux, des stratégies telles que Tensor Parallel sont souvent utilisées, la bande passante NVLink est donc également cruciale). Ils ont atteint respectivement 3.5 Tokens/s et 58 Tokens/s. Les facteurs affectant l'inférence GPT sont nombreux, et pour ces deux systèmes, les améliorations sont déterminées par :

• Bande passante VRAM (8×3.35 To/s -> 8x8 To/s)
• Taille de la VRAM (8x141 Go -> 8x192 Go)
• Bande passante NVLink (7.2 To/s -> 14.4 To/s)
• Puissance de calcul doublée (16P -> 36P)
• FP8 -> FP4 (x2)

Comme le montre la dernière image, Jensen Huang a fourni une comparaison plus détaillée dans son discours d'ouverture GTC, montrant que l'amélioration n'est que d'environ 3 fois en comparant le B200 FP8 et le H200 FP8 (avec TP, EP, DP, PP représentant Tensor Parallel, Expert Parallel, Données parallèles et pipeline parallèle). L'amélioration utilisant le GB200 dans FP4 est très significative (probablement en raison de l'interconnexion NVLink complète dans le NVL72).

Consommation électrique de la formation GPT-MoE-1.8T

Dans son discours d'ouverture sur GTC, Jensen Huang a également discuté de la consommation d'énergie pour la formation du modèle GPT-MoE-1.8T, en comparant les GPU Hopper et Blackwell :

• Une seule armoire NVL32 fait 40 kW, donc 8000 10 GPU représenteraient environ 15 MW, plus une autre consommation d'énergie, probablement autour de XNUMX MW.
• Une seule armoire NVL72 fait 120 kW, donc 2000 3.3 GPU représenteraient environ 4 MW, plus d'autres consommations d'énergie comme les commutateurs réseau, totalisant environ XNUMX MW.