Matériel informatique IA : ConnectX-8 SuperNIC

Présentation du produit

La ConnectX-8 SuperNIC est la carte d'interface réseau intelligente de septième génération de NVIDIA conçue pour les clusters de calcul IA de nouvelle génération, les centres de données à grande échelle et les scénarios de calcul haute performance (HPC). Elle intègre en profondeur les capacités d'accélération réseau et de déchargement de calcul, offrant une prise en charge ultra-rapide pour 400 GbE/800 GbE. Grâce au déchargement de protocole au niveau matériel et à la co-optimisation GPU-NIC, elle réduit considérablement la latence du réseau et améliore l'efficacité du débit, offrant une latence ultra-faible et des capacités de transmission réseau sans perte pour les scénarios de formation, d'inférence et de stockage distribué de l'IA.

Protocoles logiciels et fonctions d'accélération

ConnectX-8 SuperNIC optimise les performances du réseau full-stack grâce à la collaboration étroite de la pile de protocoles logiciels et du moteur d'accélération matérielle :

Support de protocole

• RDMA/RoCEv2 : basé sur Ethernet convergé pour l'accès direct à la mémoire à distance, permettant un transfert de données sans copie avec une latence aussi faible que sous-microsecondes.
• Technologie GPUDirect : prend en charge GPUDirect RDMA et GPUDirect Storage, permettant une interaction directe des données GPU vers le stockage/NIC, en contournant le processeur.
• NVIDIA SHARPv3 : accélération matérielle de communication agrégée prenant en charge AllReduce, Broadcast et d'autres opérations pour améliorer l'efficacité de la formation de l'IA.
• Déchargement matériel TLS/IPsec : prend en charge le chiffrement et le déchiffrement complet du trafic sans perte de performances.

Écosystème logiciel

1. DOCA 2.0 (Data Center Infrastructure-on-a-Chip Architecture) : fournit un cadre de développement piloté par API prenant en charge les fonctions d'accélération du plan de données définies par l'utilisateur (par exemple, l'orchestration collaborative DPU).
2. Intégration approfondie avec l'écosystème CUDA : optimise l'efficacité de la communication entre nœuds multi-GPU grâce à la bibliothèque NCCL.

Architecture matérielle et conception de la connectivité

Interface hôte

PCIe 5.0 x16, bande passante théorique de 128 Go/s, exploitant pleinement les performances du réseau 400G/800G.

Interfaces réseau

Prend en charge un port unique 800GbE OSFP112 ou un port double 400 GbE QSFP112 configurations flexibles.

Rétrocompatible avec les vitesses 200GbE/100GbE, s'adaptant à l'infrastructure existante.

Moteur d'accélération sur puce

Intègre des ASIC dédiés prenant en charge la gestion des tables de flux, le contrôle de la congestion (DCQCN), la vérification des paquets et d'autres déchargements matériels complets.

Architecture et connectivité des réseaux

ConnectX-8 SuperNIC prend en charge la mise en réseau à architecture CLOS multicouche, créant des clusters de calcul IA non bloquants à large bande passante

Connexion à un seul nœud

Chaque serveur déploie 1 à 2 cartes réseau ConnectX-8, interconnectées avec l'hôte via PCIe 5.0.

Chaque port se connecte directement au commutateur feuille via une fibre optique QSFP-DD, formant ainsi une double redondance de liaison montante.

Mise en réseau des clusters

1. Commutateur Leaf : série NVIDIA Quantum-3 (800G) ou série Spectrum-4 (400G), prenant en charge RoCEv2 et le routage adaptatif.
2. Commutateur Spine : entièrement interconnecté avec les commutateurs Leaf via des ports haut débit 800G, offrant une bande passante non bloquante.
3. Architecture de la colonne vertébrale et des feuilles
4. Mise en réseau directe du GPU : les GPU multi-nœuds obtiennent un accès direct à la mémoire entre nœuds via RDMA, formant ainsi un cluster de formation distribué.

Modules optiques et sélection de fibres

Modules optiques

Scénarios 800G : OSFP112 800G-SR8/VR8 (multimode, 100 m) / 800G-DR8 (monomode, 500 m).

Scénarios 400G : QSFP112 400G-VR4/SR4/DR4.

Types de fibres:

Multimode (MMF) : OM5/OM4 (850 nm, prenant en charge 400G-SR8 jusqu'à 100 m).

Mode unique (SMF) : OS2 (1310 nm/1550 nm, prenant en charge la transmission longue distance sur 10 km).

Commutateurs compatibles et collaboration au sein de l'écosystème

Commutateurs NVIDIA :

Quantum-3: InfiniBand 800G commutateur prenant en charge l'accélération des communications agrégées SHARPv3.

Spectrum-4 : commutateur Ethernet 400G prenant en charge RoCEv2 et la planification intelligente du trafic.

Commutateurs tiers :

Arista 7800R3 (800G), Cisco Nexus 92300YC (400G) : assure la prise en charge de l'équilibrage de charge RoCEv2 et ECMP.