L’accélération du secteur de l’IA stimule la demande d’OSFP-XD 1.6T

La demande de matériel d’IA est en plein essor et la livraison de puces informatiques devrait s’accélérer. Sur la base des recherches de FiberMall sur la chaîne industrielle de l'énergie de calcul, FiberMall prévoit que les expéditions de puces NVIDIA des séries H et B atteindront respectivement 3.56 millions et 350,000 2024 unités en 2025. En 200, avec la nouvelle livraison du GB2.5, le total les expéditions de GPU de la série B devraient atteindre 300 millions d'unités. De plus, FiberMall s'attend à ce que le déploiement du TPU de Google et du MI800 d'AMD se poursuive également, ce qui entraînera la montée en puissance synchronisée des modules optiques OSFP 1.6G et OSFP-XD XNUMXT au niveau du réseau.

Avec des évolutions positives dans la chaîne industrielle, la demande pour le 1.6T devrait dépasser les attentes. À l'OFC 2024, plusieurs exposants ont présenté les derniers produits de modules optiques OSFP-XD 1.6T. Auparavant, la nouvelle puce Blackwell AI de NVIDIA annoncée lors de la conférence GTC avait soulevé des exigences plus élevées en matière d'interconnectivité, et les commutateurs de la série X800 permettaient la construction de réseaux 1.6T. Pendant ce temps, la chaîne industrielle des modules optiques en amont se met également progressivement en place, Marvell s'attendant à ce que son DSP 1.6T avec un seul canal de 200G soit déployé d'ici la fin de 2024, et Broadcom déclarant que l'EML 200G est prêt pour la production de masse. FiberMall estime que la chaîne industrielle 1.6T, tant en amont qu'en aval, accélère sa maturité. En termes de déploiement, FiberMall s'attend à ce qu'au cours du second semestre 2024, les modules optiques OSFP-XD 1.6 T soient probablement déployés en coordination avec la production de masse des puces de la série B de NVIDIA, réalisant dans un premier temps une montée en puissance à petite échelle, puis voir un déploiement à grande échelle en 2025. Sur le plan technologique, FiberMall estime que le monomode EML sera toujours le courant dominant à l'ère 1.6T, tout en étant également optimiste quant à la croissance rapide du taux de pénétration des nouvelles solutions technologiques telles que la photonique sur silicium et le linéaire. -lecteur optique enfichable (LPO).

En termes de demande, FiberMall prévoit qu’en 2025 :

1) La demande des 1 à 2 principaux clients étrangers migrera rapidement du 800G OSFP au 1.6T, conduisant à une montée en puissance rapide des modules optiques 1.6T OSFP-XD ;

2) Alors que la demande de certains clients en OSFP 800G peut diminuer en raison de la migration vers des vitesses plus élevées, la demande d'un autre groupe de clients passera de l'OSFP 400G à l'OSFP 800G, offrant ainsi une certaine prise en charge de la demande globale de l'OSFP 800G.

L'analyse de scénario de FiberMall sur l'expédition totale de 1.6 T en 2025 est basée sur deux variables principales : 1) la prospérité globale de l'approvisionnement en matériel d'IA (expédition de GPU de série B de 2 à 3 millions d'unités) ; 2) Le calendrier de maturité du réseau 1.6T (la proportion de GPU de série B associés à des solutions réseau 1.6T entre 70 % et 90 %). L'analyse indique que l'expédition totale de 1.6T OSFP-XD les modules optiques en 2025 seront de 3.6 à 5.95 millions d'unités, avec un scénario neutre de 4.7 millions d'unités, ce qui est supérieur aux attentes actuelles du marché.

Analyse de scénarios sur la demande de modules optiques OSFP-XD 1.6T

FiberMall a mené une analyse complète, prenant en compte l'expédition prévue de puces IA telles que NVIDIA, TPU et MI300, la corrélation entre les modules optiques et les puces IA, ainsi que le choix des configurations de vitesse des modules optiques. L'analyse indique que la demande de modules optiques 800G OSFP et 1.6T OSFP-XD en 2025 pourrait atteindre 7.91 millions et 4.7 millions d'unités, respectivement. Les hypothèses clés sont les suivantes :

• Prévisions d'expédition de puces IA : lors de la conférence GTC 2024, NVIDIA a annoncé ses GPU cloud de première génération de la série B basés sur l'architecture Blackwell, ainsi que la nouvelle superpuce d'architecture CPU+GPU GB200 et l'unité de calcul GB200 NVL72 correspondante, qui peut fournissent des performances de niveau 1E Flops de supercalcul dans une seule armoire, permettant ainsi une mise à niveau des performances de la puce au système. En plus des GPU à usage général, FiberMall s'attend à ce que le déploiement du TPU de Google et du MI300 d'AMD se poursuive également, stimulant ainsi la demande de configurations de modules optiques 800G OSFP/1.6T OSFP-XD.
• Estimation de la corrélation entre les modules optiques et les puces IA : dans le cadre de l'architecture de réseau InfiniBand Fat Tree, en raison des caractéristiques non convergentes du réseau, la bande passante totale à chaque couche du réseau est cohérente. En partant de l'hypothèse que le rapport entre les cartes d'accélération IA et les cartes réseau est de 1:1, FiberMall calcule que le rapport entre les modules optiques OSFP H100 et 800G est de 1:3 dans une architecture réseau à trois couches et de 1:2 dans une architecture réseau à deux couches. architecture de couches. Lors de la conférence GTC 2024, NVIDIA a annoncé les commutateurs de la série X800, parmi lesquels le commutateur Q3400-RA 4U basé sur le protocole InfiniBand dispose de 144 ports OSFP 800G, qui peuvent être alloués de manière équivalente en 72 ports 1.6T. FiberMall estime que les performances des commutateurs de la série Quantum-X800 avec 144 ports sont considérablement améliorées par rapport à la série QM9700 de génération précédente avec 64 ports et au nombre de clusters pris en charge par les commutateurs Quantum-X800 à deux couches dans l'architecture Fat Tree. a augmenté. D'un point de vue relativement conservateur, FiberMall prédit la demande effective de modules optiques sur la base d'un rapport 1:2 de GPU de série B par rapport aux modules optiques OSFP-XD 1.6T.
• Choix des configurations de vitesse des modules optiques : en général, FiberMall s'attend à ce que les fournisseurs de cloud ou les fabricants d'IA aient tendance à donner la priorité à la configuration de réseaux à plus haut débit afin de maximiser les performances informatiques de leurs clusters. Cependant, étant donné que l'écosystème matériel 1.6T n'est pas encore complètement mature en 2024, FiberMall prédit que les clients pourraient principalement adopter des vitesses OSFP de 800G lors du déploiement de réseaux à petite échelle avec les puces de la série B de NVIDIA cette année, et que la configuration 1.6T associée à B Les puces de la série 2025T devraient devenir la solution dominante d'ici 1.6, à mesure que la chaîne industrielle 2025T mûrit. À l'heure actuelle, l'industrie ne dispose pas d'indications claires sur les commandes concernant l'expédition totale de GPU de la série B en 5, et les prévisions d'expédition des puces de la série B sont également soumises à diverses variables, telles que le calendrier de sortie du GPT-2024. , le déploiement de nouveaux grands modèles ou applications d'IA et l'exploration de la viabilité commerciale de l'IA. Ces facteurs affecteront l’achat global de matériel d’IA par les principaux fournisseurs de cloud et autres acteurs du secteur de l’IA. FiberMall a observé que les attentes du marché concernant les dépenses en capital des quatre principaux fournisseurs de cloud nord-américains en 2025 ont été révisées à la hausse au cours de l'année écoulée, et ces sociétés ont déclaré publiquement qu'elles continueraient à augmenter leurs investissements dans l'infrastructure d'IA, reflétant le progrès soutenus de l’industrie de l’IA et expansion de la demande matérielle sous-jacente. FiberMall estime que les dépenses en capital des principales entreprises en matériel d'IA en XNUMX continueront d'être influencées par les changements survenus dans le secteur de l'IA.

FiberMall a mené une analyse de scénario sur l'expédition totale de modules optiques OSFP-XD 1.6T en 2025, en utilisant deux variables principales : 1) la prospérité globale de l'approvisionnement en matériel d'IA (expédition de GPU série B de 2 à 3 millions d'unités) ; 2) Le calendrier de maturité du réseau 1.6T (la proportion de GPU de série B associés à des solutions réseau 1.6T est de 70 à 90 %, le reste étant constitué de 800G OSFP).

Considérant comme variables la prospérité de la demande de l'industrie de l'IA et le calendrier de maturité commerciale des technologies clés du port optique 1.6T, l'analyse de scénario de FiberMall indique que la livraison totale de modules optiques OSFP-XD 1.6T en 2025 devrait être de l'ordre de 3.6 à 5.95 millions d'unités, avec un niveau global de gamme supérieur aux attentes actuelles du marché. La nouvelle génération de clusters informatiques maintient une forte demande de modules optiques à haute vitesse, et la prospérité de la chaîne industrielle résonne vers le haut.

Sous la vague de développement de l’IA, la nouvelle génération de clusters informatiques montre deux tendances de changement :

• Croissance rapide du trafic réseau, avec le trafic est-ouest comme principal moteur : selon le « Livre blanc sur l'évolution du réseau de centres de calcul intelligents (2023) » publié par le China Mobile Research Institute, l'informatique intelligente nécessite une grande quantité de calcul parallèle. , générant des volumes de données All Réduire (communication collective) atteignant des centaines de Go. FiberMall estime que dans le contexte de la prolifération des grands modèles, la « guerre des mille modèles » stimulera davantage la croissance du trafic réseau. Entre-temps, la proportion du trafic est-ouest (entre les serveurs) a considérablement augmenté et, selon les prévisions de Cisco, la proportion actuelle du trafic est-ouest pourrait avoir atteint 80 à 90 % du trafic réseau.
• L'architecture réseau typique est en train de passer de l'architecture arborescente à trois couches à l'architecture multicœur représentée par l'architecture spine-leaf : selon les informations publiques de la formation conjointe NVIDIA et Inspur China sur le réseau de centre de données de nouvelle génération de NVIDIA. produits, les centres de données étaient principalement basés sur l'architecture traditionnelle à trois couches, avec une architecture arborescente, comportant 2 cœurs et convergeant progressivement vers le haut, avec le trafic nord-sud comme direction principale. L'architecture réseau à trois couches comprend la couche d'accès, la couche d'agrégation et la couche centrale. La couche d'accès se connecte directement à l'utilisateur, la couche d'agrégation connecte la couche d'accès et la couche principale, fournissant des services tels que les pare-feu, SSL offle chargement, la détection d'intrusion et l'analyse du réseau, et la couche centrale est l'épine dorsale de commutation à grande vitesse du réseau. En raison de la demande croissante de performances de communication dans l'informatique intelligente, la demande de formation et d'inférence cloud en matière d'IA entraîne l'évolution de l'architecture réseau des centres de données vers une forme multicouche, non convergente et plus évolutive.

FiberMall estime que la croissance globale du trafic du centre informatique intelligent et l'évolution de l'architecture du réseau entraînent conjointement l'augmentation de la demande de connexion, entraînant une croissance de l'utilisation des modules optiques et des améliorations de vitesse.

Les centres de données de NVIDIA utilisent une architecture Fat Tree pour construire un réseau non convergent, dans lequel le réseau à trois couches peut connecter plus de nœuds que le réseau à deux couches. Comparé au modèle fat-tree traditionnel, le modèle fat-tree du centre de données de NVIDIA utilise un grand nombre de commutateurs hautes performances pour construire un réseau non bloquant à grande échelle, et augmente même les ports de liaison montante pour éviter la perte de paquets et l'effondrement du réseau, plus similaire à une architecture de type diffusion. En termes de nombre de couches, il existe des options de mise en réseau à deux et trois couches, où l'architecture réseau à trois couches peut connecter plus de nœuds que l'architecture à deux couches, permettant d'interconnecter davantage de puces IA, adaptées au formation de grands modèles d’IA avec des paramètres plus grands.

Le DGX H100 SuperPOD offre deux options de mise en réseau :

• Adopter une approche réseau similaire à celle de l'A100 SuperPOD, en utilisant des cartes réseau CX-7 et des commutateurs InfiniBand pour réaliser des connexions entre serveurs. Selon le diagramme schématique sur le site Web de NVIDIA, FiberMall suppose que chaque serveur H100 est configuré avec 8 cartes réseau intelligentes à port unique 400G ConnectX-7, avec quatre cartes réseau CX-7 intégrées dans un module réseau et deux modules réseau se connectant au Commutateur InfiniBand avec 2 * 400 G de rapport de non-remise Ports OSFP chacun, c'est-à-dire que le côté carte réseau correspond à 4 modules optiques OSFP 800G, et la connexion de la carte réseau au commutateur de première couche nécessite également 4 modules optiques OSFP 800G, totalisant 8 modules optiques OSFP 800G pour le réseau de première couche. En raison des caractéristiques non convergentes du réseau, la bande passante totale correspondant à chaque couche de l'architecture réseau InfiniBand Fat Tree est cohérente, et sur la base de l'hypothèse que le rapport entre les cartes d'accélération IA et les cartes réseau est de 1:1, FiberMall calcule que le rapport entre les modules optiques OSFP H100 et 800G est de 1:3 dans une architecture réseau à trois couches et de 1:2 dans une architecture à deux couches.

• Adoption du nouveau système de commutation NVLink : externalisation du NVLink utilisé pour l'interconnexion GPU à haut débit au sein des serveurs vers un cluster de 256 nœuds, en utilisant le NVLink de quatrième génération et le NVSwitch de troisième génération pour créer un réseau NVLink à deux couches (L1 et L2) , permettant une interconnexion directe et un accès à la mémoire partagée jusqu'à 32 nœuds (256 GPU). Dans cette solution réseau NVLink, les GPU et le NVSwitch L1 (à l'intérieur de l'armoire) sont interconnectés à l'aide de câbles en cuivre, tandis que les couches NVSwitch L1 et L2 utilisent une interconnexion optique, ce qui entraîne une demande de 18 paires de connexions OSFP 800G, avec un ratio plus élevé. de H100 à 800G OSFP par rapport à la première option de mise en réseau. Dans le supercalculateur 256 DGX GH200 AI, FiberMall estime que le rapport entre les modules optiques GH200 et 800G OSFP pourrait encore augmenter jusqu'à 1:9, avec l'hypothèse de base que l'interconnexion entre chaque nœud (avec 8 puces GH200) et les 3 NVS L1 dans le nœud utilise des câbles en cuivre et les 32 nœuds du DGX GH200 sont connectés aux 36 L2 NVS via une interconnexion optique, ce qui donne 1,152 32 (36*1) paires de connexions entre L2 et L2,304, correspondant à 800 XNUMX modules optiques OSFP XNUMXG, soit un augmentation significative de l’utilisation des modules optiques.

Il convient de noter que pour étendre davantage le cluster à une échelle de plus d'un millier de GPU basés sur le SuperPOD interconnecté de 256 GPU, les liens InfiniBand doivent être utilisés pour une mise en réseau étendue. En prenant un cluster de 1024 GPU comme exemple, selon le site Web de NVIDIA, en formant une architecture réseau à deux couches via NDR InfiniBand Links, 4 clusters DGX H100 256 SuperPOD peuvent être connectés pour obtenir l'interconnexion directe de 1024 GPU. FiberMall estime que dans le réseau InfiniBand en dehors du SuperPOD, l'utilisation de OSFP 800G les modules optiques peuvent toujours être estimés sur la base de la relation de rapport précédente dans l'architecture à deux couches, c'est-à-dire que le rapport entre le GPU H100 et le module optique OSFP 800G est d'environ 1:2.

Lors de la conférence GTC 2024, NVIDIA a annoncé le GB200 NVL72, composé de 18 nœuds de calcul, de 9 plateaux de commutation NVLink et d'un commutateur InfiniBand Q1-RA 3400U. Chaque nœud informatique est composé de 4 GPU Blackwell et de 4 CPU, ce qui signifie que le GB2 NVL200 contient 72 GPU. Chaque nœud est configuré avec 72 cartes réseau 4G ConnectX-800, et le rapport entre les GPU Blackwell et les cartes réseau CX-8 reste de 8:1. Cela implique que lors de l'utilisation d'InfiniBand pour la mise en réseau backend de l'IA, le rapport entre les GPU de la série B et les modules optiques OSFP-XD de 1 T restera le même que celui de l'ère H1.6 (100 : 1 pour les réseaux à deux couches, 2 : 1 pour les réseaux à trois couches). réseau de couches).

Comme mentionné dans la section précédente, les nouveaux commutateurs de la série Quantum-X800 de NVIDIA, qui peuvent être configurés avec 144 ports OSFP 800G (équivalents à 72 ports 1.6T), permettent la construction de réseaux 1.6T. Leurs performances sont considérablement améliorées par rapport aux commutateurs à 64 ports de la génération précédente, et le nombre de clusters pris en charge par les commutateurs Quantum-X800 à deux couches dans l'architecture Fat Tree est passé à 10,368 1 nœuds. Cela suggère que la couverture du réseau à deux couches peut être étendue et, par conséquent, FiberMall a adopté de manière prudente un rapport de 2:10,000 dans l'analyse du scénario. Cependant, FiberMall estime qu'à mesure que l'échelle des clusters GPU continue de croître et que la demande d'interconnexion au niveau de XNUMX XNUMX cartes et plus augmente, le nombre requis de modules optiques pourrait encore augmenter.

En termes de mise en réseau NVLink, dans la solution à armoire unique GB200 NVL72, les nœuds informatiques à l'intérieur de l'armoire sont interconnectés au commutateur NVLink à l'aide de câbles en cuivre, sans avoir besoin d'une conversion de signal optique-électrique, ce qui est cohérent avec l'interconnexion précédente de l'armoire GH200. solution. Cependant, dans certains scénarios de calcul d'IA hautes performances, le NVLink de cinquième génération peut être utilisé pour réaliser une interconnexion à haut débit de jusqu'à 8 systèmes NVL200 GB72 (576 GPU Blackwell). Lors de l'interconnexion d'armoires GB200 NVL72 basées sur NVLink, l'interconnexion deux par deux peut utiliser des connexions en cuivre LACC, mais pour l'interconnexion multi-armoires, comme référencé dans l'architecture réseau GH200 précédente, un NVS de couche L2 supplémentaire est requis. Si l'interconnexion optique est adoptée entre les NVS L1 et L2, FiberMall s'attend à ce que le rapport modules optiques/GPU augmente encore.

Selon le site Web de NVIDIA, les performances du GB200 sont considérablement améliorées par rapport à la génération précédente. Comparé à un cluster informatique composé des mêmes 72 GPU H100, le GB200 peut atteindre des performances environ 30 fois supérieures pour l'inférence de grands modèles, avec une réduction de 25 fois du coût et de la consommation d'énergie. FiberMall s'attend à ce que la part des expéditions de GPU Blackwell dans le GB200 soit supérieure à celle du GH200 de la série Hopper. En résumé, FiberMall estime que l'avantage en termes de performances du GB200 entraînera probablement une augmentation de sa part d'expédition, et le scénario de connexion NVLink sur plusieurs armoires du système devrait toujours favoriser la croissance du rapport de module optique par rapport au modèle unique. solution de connexion à puce. La combinaison de ces deux facteurs devrait entraîner une demande accrue de modules optiques à grande vitesse dans l’écosystème informatique de nouvelle génération.

Facteurs de risque

1. La capacité de production de puces optiques EML 200G n’est pas à la hauteur des attentes. La disponibilité d'une capacité de production de puces optiques EML de 200 G peut fournir un support en amont des matières premières de base pour le déploiement mature de modules optiques OSFP-XD 1.6 T. Supposons que le calendrier de production ou la vitesse d’accélération des puces optiques EML 200G ne répondent pas aux attentes. Dans ce cas, cela pourrait retarder le déploiement industriel du 1.6T, ce qui aurait un impact sur le volume d'expédition des modules optiques OSFP-XD 1.6T en 2025.
2. La demande de l’industrie de l’IA est en deçà des attentes. Alors que la transformation numérique et intelligente de la société se poursuit, le déploiement de grands modèles d’IA s’accélère pour responsabiliser diverses industries. FiberMall estime que le développement florissant de l'intelligence artificielle est à l'origine d'une augmentation soutenue de la demande de puissance de calcul, ce qui à son tour stimule la demande de matériel d'IA tel que les serveurs, les modules optiques et les commutateurs. Si le déploiement de grands modèles ou d'applications d'IA ne répond pas aux attentes, ou si le chemin de la commercialisation est entravé, cela peut avoir un impact négatif sur l'intensité des investissements et la détermination des acteurs de l'industrie de l'IA, représentés par les principaux fournisseurs de cloud, dans les infrastructures liées à l'IA, ce qui pourrait avoir un impact. la croissance du marché et la vitesse d’itération des produits des équipements matériels d’IA en amont.