Comment NVIDIA GB200 utilise le DAC/ACC 800G/1.6T

NVIDIA a lancé les derniers systèmes de calcul de la série GB200, avec des performances considérablement améliorées. Ces systèmes utilisent à la fois des interconnexions en cuivre et en optique, ce qui suscite de nombreuses discussions sur le marché concernant l'évolution des technologies « cuivre » et « optique ».

Situation actuelle: La série GB200 (y compris le précédent GH200) est le système « superchip » de NVIDIA. Par rapport aux serveurs traditionnels, le système a une plus grande granularité, avec 36 ou 72 GPU connectés principalement à l'aide de signaux électriques au sein de l'armoire. En externe, ils utilisent à la fois les réseaux NVLink et InfiniBand.

Le choix entre le cuivre et l'optique est essentiellement un métieroff entre distance et vitesse.

Le GB200 réduit-il l’importance de la communication optique ?

Basé sur le GH200, le scénario cible du système GB200 NVL72 est davantage orienté vers les grands clusters, les cloud et les clients de type plate-forme – ce que NVIDIA définit comme « AI Cloud/AI Factory ». La forme attendue est un cluster multi-cabinet, où des réseaux inter-cabinet de 800G ou plus entraîneraient des pertes électriques massives, rendant la communication optique une nécessité.

Cependant, pour les clients de petite et moyenne taille qui ne peuvent adopter qu'un seul système GB200, la faisabilité est discutable, et les serveurs traditionnels ou les solutions basées sur le cloud peuvent être de meilleures options (ce qui fait également partie de la stratégie de différenciation de NVIDIA).

L'objectif de conception du GB200 est: une seule armoire peut gérer l'inférence de l'IA, ce qui est bénéfique pour le déploiement de la virtualisation cloud.

L'unité minimale du système GB200 est une armoire, et les performances d'inférence ont été considérablement améliorées, ce qui permet de mieux gérer des paramètres massifs, des jetons massifs multimodaux et des scénarios d'inférence multi-simultanés, évitant ainsi les systèmes distribués à grande échelle à GPU unique. . Dans le scénario cloud IDC, il peut mieux faire face à la future demande massive d’inférence (en référence aux évaluations d’AWS et MSFT).

La compréhension qu'a le marché de l'augmentation des interconnexions en cuivre est due à :

Auparavant, les clusters de la série H100 n'avaient pas d'interconnexions intra-armoire, mais plutôt une armoire réseau séparée, et le débit de puces était relativement élevé, il n'y avait donc presque pas de fil de cuivre à courte distance.

Alors que pour la série GB200, bien qu'il y ait de nombreux fils de cuivre dans l'armoire, la demande d'interconnexions optiques dans les grands clusters, tels que le domaine NVLink et l'expansion des interconnexions optiques d'IB, est très importante, et l'avenir de la photonique sur silicium et Les E/S optiques puce à puce sont déjà très claires.

Q : En quoi le lancement du produit NVIDIA lors de la conférence GTC diffère-t-il des attentes ?

R : Lors de cette conférence GTC, le GB200 est devenu le produit principal, tandis que les produits B100 et B200 initialement attendus n'ont pas été lancés comme prévu. La puce GB200 contient 2 GPU et 1 CPU, et le principal produit présenté est une armoire unique composée de 36 puces GB200, destinée à une utilisation serveur. Comparé au GB200 sorti l'année dernière, ce GB200 ne présentait pas de produit cluster standard, mais seulement un seul produit d'armoire de 36 cartes.

Q : Quel est le rôle de l'architecture IP dans la série GB200 ?

R : Pour certains grands clients qui ont besoin de connexions entre armoires, l'architecture IP est utilisée pour les connexions externes. Cependant, la différence entre le GB200 et le GB200 réside dans les connexions internes. Le GB200 utilise des connexions électriques m link (c'est-à-dire des interconnexions en cuivre entre le GPU et le commutateur), plutôt que la méthode de connexion du fond de panier de l'année dernière. Huang a particulièrement souligné les avantages des interconnexions en cuivre en termes de réduction des coûts et de démonstration des performances lors de la conférence.

Q : Lors de la conférence GTC, Jensen Huang a donné une explication particulière de la solution d'interconnexion en cuivre. Quels sont ses avantages ?

R : C'est la première fois que la solution d'interconnexion en cuivre est spécifiquement expliquée lors d'une conférence aussi importante, ce qui est également un sujet de grande préoccupation pour tout le monde. Les GPU sont connectés via mlink, confirmant l'utilisation d'interconnexions en cuivre, et leur solution produit peut être similaire à la méthode de connexion du fond de panier de l'année dernière. Huang a souligné les avantages des interconnexions en cuivre en termes de réduction des coûts et de démonstration des performances.

Q : Quel est l'impact du lancement de la série GB200 sur le marché ?

R : En tant que nouvelle génération de puces GPU au niveau serveur de NVIDIA, les améliorations en termes de performances et d'efficacité de la série GB200 auront un impact significatif sur le marché. En particulier, l'adoption de la solution d'interconnexion en cuivre pourrait modifier la méthode de connexion interne des clusters GPU, réduisant ainsi les coûts et améliorant les performances. En outre, le GB200 pourrait modifier la conception et le déploiement des centres de données, favorisant ainsi le développement de l'intelligence artificielle et du cloud computing.

Q : Quels sont les avantages de l'interconnexion en cuivre GB200 ?

R : Points forts du lancement du GB200 : La puce unique GB200 contient 2 GPU et 1 CPU, et le produit principal lancé est un produit à armoire unique composé de 36 puces GB200. Cela montre que NVIDIA se concentre sur les interconnexions électriques (mlink) plutôt que sur la technologie d'interconnexion optique. Promotion et attentes du marché : le GB200 sera largement appliqué, contrairement au GH200 qui n'a pas été largement adopté. Selon le discours de Huang lors de la conférence, plusieurs clients majeurs potentiels suggèrent que le GB200 a des attentes de volume élevées. Le marché estime généralement que la promotion du GB200 pourrait conduire à une augmentation progressive du rapport modules optiques/GPU de 1:2.5 à 1:9, et que le volume des ventes du GB200 l'année prochaine pourrait avoir un grand potentiel de croissance.

Q : Quelle est la tendance du secteur en matière de connecteurs de fond de panier ?

R : L'utilisation de connecteurs de fond de panier augmente progressivement dans les serveurs IA, les grands commutateurs et les routeurs. La technologie évolue également vers les modes orthogonaux sans fond de panier et avec câble-fond de panier. Les câbles de fond de panier présentent les avantages d’une distance de transmission plus longue et d’un câblage plus flexible, mais leur coût est relativement plus élevé.

Q : Quelles sont les tendances de la demande et des prix pour les connecteurs de fond de panier ?

R : La demande croissante de serveurs IA entraîne celle de connecteurs de fond de panier. Le passage au mode câble-fond de panier a également augmenté la valeur, la valeur totale représentant 3 à 5 % du coût d'un seul serveur. Par conséquent, l’industrie affiche une tendance à la fois à la croissance des volumes et des prix.

Q : Quel est l'impact du lancement du GB200 sur l'industrie des modules optiques ?

R : Le lancement du GB200 est positif pour l'industrie des modules optiques, car il répond à la demande de connexions entre armoires, qui existe pour la plupart des clients. Le GB200 actuel a une bande passante bidirectionnelle de 1800 1.6 G et, sur la base d'un rapport de configuration de 1 T, le rapport aux modules optiques est d'environ 9:800. Si vous utilisez la solution 1G, le ratio pourrait atteindre 18:XNUMX. La différence de valeur n'est pas significative, mais comme Modules optiques OSFP-XD 1.6T devraient être produits en série au quatrième trimestre, les clients sont plus enclins à utiliser la solution 4T, plus rentable. Par conséquent, les modules optiques seront mis à niveau, faisant passer la tendance du 1.6:1 actuel au 2.5:1.

Q : Quelles sont les principales différences entre le GB200 et le GH200 ?

R : La principale différence est que la série GH n'est pas un produit à grand volume, tandis que le GB200 compte un large éventail de clients potentiels, notamment Google, Meta, OpenAI, Microsoft, Oracle et Tesla. Cela signifie que le GB200 connaîtra une application généralisée et une adoption à grand volume.

Q : Quelles sont les attentes du marché concernant la demande de modules optiques OSFP-XD 1.6T l'année prochaine ?

R : Les attentes du marché concernant la demande de modules optiques OSFP-XD 1.6T l'année prochaine se situent entre 2 et 3 millions d'unités, notre modèle prévoyant 2.5 millions. Cela ne prend pas encore en compte la demande supplémentaire provenant des séries autonomes B100 ou B200.

Q : Quel type de solution d'interconnexion le GB200 a-t-il adopté ?

R : GB200 a adopté une solution d'interconnexion en cuivre, ce qui réduit les coûts. Surtout avec l’adoption massive du GB200, cela deviendra un facteur important de l’augmentation de la demande de modules optiques.

Q : Quelle tendance du secteur la présentation de Huang lors de la conférence reflète-t-elle ?

R : Sa présentation à la conférence peut être considérée comme le reflet d'une tendance du secteur, et pas seulement comme un sujet d'actualité à court terme. Au fil du temps, l’industrie observera les performances des entreprises concernées. Le marché avait déjà eu des débats sur les solutions d'interconnexion en cuivre par rapport aux solutions d'interconnexion optique, mais il a maintenant été confirmé que le GB200 a adopté la solution d'interconnexion en cuivre.

Q : Quels sont les principaux objectifs d’investissement dans l’industrie des modules optiques ?

R : Avec l'adoption en grand volume du GB200 et la demande croissante de modules optiques OSFP-XD 1.6T, FiberMall recevra davantage d'attention.

Q : Quelles sont les perspectives de marché pour la solution d’interconnexion en cuivre ?

R : L'attitude du marché à l'égard de la solution d'interconnexion en cuivre est en train de changer. Le fait que GB200 ait adopté la solution d'interconnexion en cuivre indique que cette solution pourrait voir une application plus large à l'avenir. Avec les performances des entreprises concernées, les perspectives de marché de la solution d'interconnexion en cuivre méritent d'être attendues.

Q : Quelles sont les principales différences de conception et d’application entre le GB200 et le GH200 ?

R : La conception du GB200 intègre le commutateur, le serveur et le GPU dans la même armoire, en utilisant une méthode de connexion de type serveur lame. Les interfaces d'E/S du commutateur sont visibles à l'avant, tandis que la connexion entre le commutateur et le GPU se fait probablement via un câble de fond de panier en cuivre. En comparaison, le GH200 utilise une conception de connexion distincte avec DAC (Direct Attach Cable).

Q : Quel rôle le câble de fond de panier en cuivre joue-t-il dans la conception du GB200 ?

R : Le câble de fond de panier en cuivre joue un rôle essentiel dans la conception du GB200, connectant les connecteurs du fond de panier et prenant en charge l'interconnexion entre le commutateur et les cartes GPU. Cette conception rend la transmission du signal entre le serveur et le commutateur plus pratique.

Q : Quels sont les principaux domaines d'application des connecteurs de fond de panier ?

R : Les connecteurs de fond de panier sont principalement utilisés dans les grands commutateurs, routeurs et serveurs IA. Cette architecture de sous-carte et de fond de panier sera plus courante, en particulier dans les serveurs de conception modulaire et les grands commutateurs/routeurs.

Q : Quelle est la tendance de développement de l’industrie des connecteurs de fond de panier ?

R : Avec les progrès réalisés dans la conception des serveurs et des commutateurs, la demande de connecteurs de fond de panier devrait continuer de croître. Les perspectives d'application de ces connecteurs sont larges, notamment dans le domaine des grands commutateurs, routeurs et serveurs IA.

Q : Quel est le paysage concurrentiel du côté de l’offre ?

R : Le paysage concurrentiel du côté de l’offre de connecteurs de fond de panier est relativement stable. FiberMall, avec sa riche expérience de production et ses solides capacités de gestion de la chaîne d'approvisionnement, fournit au marché des produits de connecteurs de fond de panier stables et de haute qualité.

Q : Quel est l'impact de la conception du GB200 sur la demande de connecteurs de fond de panier ?

R : La conception du GB200 a stimulé la croissance de la demande de serveurs IA et de grands commutateurs/routeurs, ce qui a à son tour stimulé la demande de connecteurs de fond de panier. Dans ce paradigme de conception de serveurs et de commutateurs, la demande de connecteurs de fond de panier connaîtra une augmentation significative.

Q : Comment les connecteurs de fond de panier évoluent-ils dans leur développement technologique ?

R : Les connecteurs de fond de panier évoluent dans deux directions : l'une est un fond de panier zéro orthogonal et l'autre est un fond de panier à câble. Le GB200 adopte le mode câble-fond de panier, dont les avantages incluent une meilleure dissipation thermique, une perte de transmission plus faible, une distance de transmission plus longue et un câblage plus flexible. Mais l’inconvénient est un coût plus élevé.

Q : Quelle est la logique côté demande pour les connecteurs de fond de panier ?

R : La demande de connecteurs de fond de panier est principalement motivée par les serveurs IA, et le mode câble-fond de panier a une valeur nettement plus élevée que le mode PCB de fond de panier traditionnel. Actuellement, la valeur des connecteurs de fond de panier représente environ 3 à 5 % du coût d'un seul serveur.

Q : Quelles sont les perspectives futures du marché des connecteurs de fond de panier ?

R : Avec le développement rapide de technologies telles que l'intelligence artificielle et le Big Data, la demande du marché en connecteurs de fond de panier va continuer de croître. À l'avenir, le marché des connecteurs de fond de panier sera confronté à davantage d'opportunités et de défis, et les entreprises nationales et étrangères devront continuellement renforcer leur R&D technologique et leur innovation de produits pour répondre à la demande du marché et conserver un avantage concurrentiel.

Q : Le mode câble-fond de panier utilisé dans les serveurs IA deviendra-t-il une tendance dominante ?

R : Oui, le mode câble-fond de panier utilisé dans les serveurs IA devrait devenir une tendance dominante.