Tutoriels Hotchip 2025 Jour 0 : Informations essentielles sur les charges de travail d'IA, les architectures de rack et les solutions GB200 personnalisées

Dans le monde en constante évolution de l'IA et des technologies des centres de données, Hotchip 2025 a débuté avec une programmation enrichissante de tutoriels dès le Jour 0. Événement incontournable du secteur, les sessions de cette année ont constitué un prélude appétissant, axées sur les racks de centres de données le matin et la programmation du noyau l'après-midi. Notre couverture se penche en profondeur sur les sessions matinales axées sur le matériel, avec un focus sur la personnalisation innovante du Nvidia GB200 par Meta. Pour les professionnels des réseaux de communication basés sur l'IA, ces avancées soulignent la nécessité de solutions de communication optique robustes. FiberMall, fournisseur spécialisé dans la fourniture d'offres rentables pour les centres de données mondiaux, le cloud computing, les réseaux d'entreprise, les réseaux d'accès et les systèmes sans fil, est là pour vous. Reconnu pour son leadership dans les réseaux pilotés par l'IA, FiberMall est votre partenaire idéal pour des solutions de haute qualité et à valeur ajoutée. Visitez leur site web officiel ou contactez le service client pour plus d'informations.

Que vous optimisiez vos charges de travail d'IA ou que vous fassiez évoluer vos technologies Fabric, comprendre ces tendances peut transformer votre infrastructure. Décryptage des sessions clés.

1. Comment les charges de travail de l'IA façonnent l'architecture des systèmes de rack

Cette session d'AMD a offert une rétrospective complète de l'évolution de l'IA au cours des dix dernières années. Depuis l'ère emblématique de la GTX 580 et d'AlexNet, vendue à seulement 499 $, elle contrastait subtilement avec la flambée actuelle des prix des GPU de Nvidia.

La conférence a passé en revue diverses stratégies de parallélisme et les changements structurels d'interconnexion qui les accompagnent. Il s'agissait essentiellement d'une passerelle pédagogique permettant aux ingénieurs en puces de comprendre les travaux des équipes d'infrastructure ces dernières années.

Parmi les points marquants, on peut citer la progression des formats numériques, de FP32 à FP4, témoignant de gains d'efficacité. La taille des boîtiers de puces explose, et les domaines de mise à l'échelle s'étendent en conséquence. Pour ceux qui travaillent avec des architectures de racks IA, cette évolution souligne l'importance des interconnexions optiques évolutives. L'expertise de FiberMall en matière de réseaux de communication IA garantit une intégration transparente pour répondre à ces exigences.

2. Adaptation des technologies Fabric aux clusters d'IA

Une autre session animée par AMD s'est penchée sur les fondamentaux de la mise à l'échelle. Elle a listé les technologies courantes de mise à l'échelle, mais a notamment omis l'UB de Huawei, ce qui lui a valu une perte de points !

La présentation a clarifié les distinctions entre scale-up et scale-out approches. Il a souligné comment le radix du commutateur et les chemins de données influencent de manière critique le nombre de GPU évolutifs et la bande passante.

Un réseau monocouche évolutif typique a été présenté, suivi d'explorations de l'évolutivité L2 et de la construction d'un maillage L1.5 sur des commutateurs L1. Globalement, les deux premières sessions étaient principalement axées sur des présentations pédagogiques, idéales pour les novices en évolutivité de clusters d'IA. Si vous implémentez ces technologies dans des centres de données, les solutions optiques économiques de FiberMall peuvent optimiser vos technologies fabric pour des performances optimales.

3. Refroidissement liquide avec caractéristiques Google

Google a partagé des informations tirées de ses expériences TPU, en se concentrant sur les conceptions de pompes de refroidissement liquide modulaires et plus encore.

Notamment, leurs systèmes de cinquième génération sont conçus pour des racks de 1 MW, repoussant ainsi les limites de la gestion thermique dans les infrastructures d'IA. Pour des configurations haute densité comme celles-ci, un refroidissement fiable est indispensable : les produits de communication optique de FiberMall prennent en charge les réseaux sous-jacents qui rendent ces innovations possibles.

4. Systèmes électriques réarchitecturaux

Présentée par Microsoft, cette session a présenté l'alimentation 800 V CC. L'évolutivité au sein d'une même armoire nécessitant davantage de GPU, les convertisseurs de puissance sont externalisés, ce qui conduit à la désagrégation de l'alimentation en rack (RPD).

La chaîne d'alimentation évolue des transformateurs CA multi-étages actuels vers des systèmes CC moyenne tension (MVDC) 800 V, principalement pour réduire les pertes dues aux conversions CA-CC au point final.

L'adoption future de transformateurs statiques 800 V (SST) promet des gains d'efficacité significatifs. En coulisses, l'apprentissage à grande échelle provoque des démarrages et des arrêts synchronisés des GPU, ce qui sollicite le réseau avec des harmoniques et des problèmes de puissance réactive. Les mesures d'atténuation actuelles incluent des batteries au niveau de l'armoire (BBU) et des condensateurs (CBU). Le MVDC permet une compensation en ligne ou au niveau du SST.

En résumé, le MVDC 800 V peut diviser par deux les pertes d'énergie des centres de données, ce qui constitue une véritable révolution. Pour les systèmes d'alimentation IA, l'intégration aux réseaux optiques de fournisseurs comme FiberMall garantit une efficacité globale.

5. Étude de cas : Nvidia GB200 NVL72

Nvidia a recyclé un PowerPoint du sommet OCP de l'année dernière – un grand échec. Nous passons sous silence les détails ici, car il n'apportait que peu de valeur ajoutée aux passionnés de racks d'IA.

6. Étude de cas : Catalina de Meta (NVL72)

Sans conteste, la session la plus marquante de la journée. La personnalisation poussée du rack GB200 par Meta a volé la vedette. Pour plus de contexte, comparez-la à la version d'instance GB200 d'AWS de juillet pour repérer les différences de personnalisation.

Le NVL72 de Meta s'étend sur six enceintes : deux refroidissement par liquide unités à chaque extrémité (reflétant la pompe côté proche d'AWS avec refroidissement direct par air pour minimiser les rénovations des centres de données). Le milieu utilise des armoires NVL36 jumelées.

Officiellement, le GB200 de Nvidia associe un Grace à deux B200, soit un total de 18 plateaux. Meta opte pour un rapport Grace/B200 1:1, ce qui permet d'obtenir 36 plateaux de calcul pour l'extension de mémoire.

Officieusement, des motivations plus profondes existent. La topologie standard de Nvidia, basée sur le CX7, permet à chaque Grace de relier deux B200 via PCIe x1, à raison de deux CX7 par Grace (scale-out de 400 Gbit/s par B200). Les Grace doubles se connectent via 6x Clink.

Pour GPU-Direct-RDMA (GDR), les limites PCIe GDR à la bande passante Gen4 x1 nécessitent une allocation de mémoire sur l'accès Grace et NVLink C2C.

Les simulations ont montré que le B200 était nécessaire 800Gbps Évolutivité horizontale. AWS utilise des commutateurs PCIe externes (Gen5, mais actuellement limités à 400 Gbit/s). Le CX8 de Nvidia intègre un commutateur PCIe, mais conserve une liaison Grace x1 pour la gestion, acheminant les données via PCIe vers Grace, puis NVLink C2C, ce qui nécessite une gestion NCCL 2.27 spécifique.

Solution de Meta : le ratio 1:1 permet à Grace de connecter deux cartes réseau CX7 Gen5 x16 pour un débit de 800 Gbit/s par B200. Le B200 utilise toujours le PCIe Gen4 x1 vers Grace, mais le véritable GDR n'est pas direct ; les routes DMA passent par le PCIe RC de Grace et le NVLink C2C.

Avec un rapport 1:1, la connexion carte réseau/processeur est avantageuse : aucun goulot d'étranglement dû à la mémoire CPU partagée. Les GPU gèrent le RDMA via la mémoire CPU, économisant ainsi environ 200 Go/s de bande passante HBM.

Le Clink entre Graces double à 12 voies pour une bande passante intersystème plus élevée. Sans compatibilité CX8 complète, l'approche de Meta augmente la montée en charge jusqu'à 800 Gbit/s tout en optimisant la mémoire CPU.

En théorie, Grace + CX7 imite un BF3 surdimensionné : un DPU massif avec scale-out d'un côté, scale-up sémantique mémoire de l'autre, et une mémoire importante. Cela fait écho au NetDAM de 2021, bénéficiant à KVCache et permettant d'utiliser INCA ou de transférer les opérations de communication vers Grace via NVLink C2C.

L'armoire de calcul de Meta comprend une batterie de secours intégrée pour la redondance, ainsi qu'une fibre optique évolutive via des panneaux de brassage avec des pièces de rechange. Deux commutateurs Wedge400 gèrent le front-end (200 Gbit/s par Grace via CX7 + module de sécurité DC-SCM – pas de BF3 ici).

L'évolutivité horizontale utilise une structure planifiée désagrégée (éventuellement inspirée de Cisco Silicon One, pour résoudre les conflits de hachage multi-chemins).

Ajout : Détection de fuite sur le PDB de chaque plateau, interfaçage avec le contrôleur de gestion de rack (RMC) via RJ45 pour GPIO/I2C, plus capteurs externes.

Final : BMC+TPM OCP-spec pour la gestion à distance (pas de BF3).

Pour les racks IA personnalisés comme celui de Meta, les réseaux optiques compatibles IA de FiberMall constituent l'épine dorsale d'interconnexions fiables à large bande passante.

7. Présentation du rack TPU

Google a conclu la publication des détails du rack TPU. L'analyse de l'année dernière portait sur le routage, la protection, l'élasticité et la planification des interconnexions ICI.

Cette fois : rack Ironwood sous forme de bloc 4x4x4, se connectant aux commutateurs optiques OCS via des faisceaux de fibres avec redondance et panneaux de brassage.

Le refroidissement liquide et l'onduleur sont au niveau des rangées.

En conclusion, le Jour 0 de Hotchip 2025 a ouvert la voie à des innovations de pointe en matière de centres de données IA. Si ces informations vous inspirent pour vos configurations, pensez à FiberMall pour des solutions de communication optique haut de gamme adaptées aux charges de travail IA.