Présentation de la carte réseau NVIDIA ConnectX-7 400GbE et NDR Infiniband

Les adaptateurs réseau de la famille NVIDIA ConnectX-7 prennent en charge les protocoles InfiniBand et Ethernet, offrant une solution polyvalente pour un large éventail de besoins en réseau. Ces adaptateurs sont conçus pour fournir des capacités de mise en réseau intelligentes, évolutives et riches en fonctionnalités, répondant aux exigences des applications d'entreprise traditionnelles ainsi qu'aux charges de travail hautes performances dans les centres de données d'intelligence artificielle, de calcul scientifique et de cloud à grande échelle.

Les adaptateurs réseau ConnectX-7 sont disponibles dans deux facteurs de forme différents : les cartes PCIe verticales et les cartes Open Compute Project (OCP) Spec 3.0. Cette flexibilité permet aux utilisateurs de choisir l'adaptateur qui convient le mieux à leurs besoins de déploiement spécifiques.

Les réseaux 400 Gbps sont une nouvelle capacité qui peut être gérée par les emplacements PCIe Gen5 x16. Jetons un coup d'œil à la configuration pour utiliser NDR 400Gbps InfiniBand/400GbE.

Angle 1 coup de NVIDIA ConnectX 7 400G OSFP

Présentation matérielle de l'adaptateur MCX75310AAS-NEAT

La ConnectX-7 (MCX75310AAS-NEAT) est une carte à profil bas conçue pour les emplacements PCIe Gen5 x16. L'image ci-dessous montre le support pleine hauteur, mais il comprend également un support à profil bas dans la boîte.

Devant NVIDIA ConnectX 7 400G OSFP

Il convient de noter les dimensions de la solution de refroidissement. Cependant, NVIDIA ne divulgue pas les spécifications d'alimentation de ces adaptateurs réseau.

Angle 2 coup de NVIDIA ConnectX 7 400G OSFP

Voici le dos de la carte avec une plaque arrière de dissipateur thermique.

L'arrière de la carte NVIDIA ConnectX 7 400G OSFP

Voici une vue de côté de la carte depuis le connecteur PCIe Gen5 x16.

Angle du connecteur NVIDIA ConnectX 7 400G OSFP

Ceci est une autre vue de la carte du haut de la carte.

Angle supérieur NVIDIA ConnectX 7 400G OSFP

Il s'agit d'une vue depuis la direction du flux d'air dans la plupart des serveurs.

Il s'agit d'une carte plate à port unique qui fonctionne à une vitesse de 400 Gbps. Il fournit une énorme quantité de bande passante.

Installation de l'adaptateur NVIDIA ConnectX-7 400G

L'un des aspects les plus importants d'une telle carte est de l'installer dans un système qui peut tirer parti de sa vitesse.

La procédure d'installation des cartes adaptateurs ConnectX-7 comprend les étapes suivantes :

1. Vérifiez les exigences matérielles et logicielles du système.
2. Faites attention à la considération du flux d'air dans le système hôte.
3. Suivez les consignes de sécurité.
4. Déballez le colis.
5. Suivez la liste de contrôle de pré-installation.
6. (Facultatif) Remplacez le support de montage pleine hauteur par le support court fourni.
7. Installez la carte adaptateur ConnectX-7 PCle x16/la carte adaptateur ConnectX-7 2x PCle x16 Socket Direct dans le système.
8. Connectez les câbles ou les modules à la carte.
9. Identifiez ConnectX-7 dans le système.

Supermicro SYS 111C NR avec adaptateur NVIDIA ConnectX 7 400 Gbit/s 1

Heureusement, nous avons installé avec succès ces périphériques sur les serveurs Supermicro SYS-111C-NR 1U et Supermicro SYS-221H-TNR 2U et ils fonctionnent correctement.

Supermicro SYS 111C NR avec adaptateur NVIDIA ConnectX 7 400 Gbit/s 2

Le SYS-111C-NR est un serveur de nœud à emplacement unique qui nous offre plus de flexibilité car nous n'avons pas à nous soucier des connexions entre les emplacements lors de la configuration du système. À des vitesses de 10/40 Gbps ou même de 25/50 Gbps, il y a eu des discussions sur les problèmes de performances liés aux connexions entre les emplacements de processeur. Avec l'avènement du 100GbE, le problème d'avoir une carte réseau pour chaque processeur afin d'éviter les connexions inter-slots est devenu plus important et répandu. L'impact est encore plus prononcé et sévère lors de l'utilisation de réseaux avec des vitesses de 400 GbE. Pour les serveurs à deux emplacements utilisant une seule carte réseau 400GbE, la recherche de plusieurs adaptateurs hôtes qui se connectent directement à chaque CPU peut être une option à considérer.

OSFP contre QSFP-DD

Une fois les cartes installées, nous avions notre prochain défi. Ces cartes utilisent des cages OSFP, mais notre commutateur 400GbE utilise QSFP-DD.

Supermicro SYS 111C NR avec adaptateur NVIDIA ConnectX 7 400 Gbit/s 4

Ces deux normes présentent certaines différences dans les niveaux de puissance et la conception physique. Il est possible de convertir QSFP-DD à OSFP, mais l'inverse n'est pas possible. Si vous n'avez jamais vu d'optiques ou de DAC OSFP, ils ont leurs propres solutions uniques de gestion thermique. Le QSFP-DD utilise généralement un dissipateur thermique au-dessus du socket, tandis que l'OSFP inclut généralement une solution de refroidissement sur les DAC OSFP et les optiques en laboratoire.

Connecteurs OSFP et QSFP-DD 1

C'est délicat. Le DAC OSFP et le DAC OSFP vers QSFP-DD utilisent tous deux une solution de refroidissement par dissipateur thermique. Et à cause du refroidissement direct sur le DAC, la prise OSFP ne s'insérera pas dans le port OSFP du Carte réseau ConnectX-7.

NVIDIA utilise probablement OSFP car il a un niveau de puissance plus élevé. OSFP autorise des optiques de 15 W, tandis que QSFP-DD ne prend en charge que 12 W. Avoir un plafond de puissance plus élevé peut faciliter l'adoption précoce pendant la phase d'adoption précoce, ce qui est l'une des raisons pour lesquelles des produits comme le module 24W CFP8 sont disponibles.

Dans la mesure du possible, tenez compte de la taille du dissipateur thermique du côté OSFP de l'insert ConnectX-7. Si vous êtes habitué à QSFP/QSFP-DD, tous les appareils se brancheront et fonctionneront correctement, mais rencontrer un problème mineur comme la taille du connecteur peut présenter un défi plus important. Toutefois, si vous êtes un fournisseur de solutions, c'est également l'occasion de fournir un service d'assistance professionnel. Des distributeurs comme NVIDIA et PNY vendent également des câbles LinkX, ce qui aurait été une option plus pratique. C'est une leçon précieuse.

Ensuite, mettons tout cela en place et mettons-nous au travail.

Configuration logicielle NDR InfiniBand vs 400GbE

En plus de faire l'installation physique, nous avons également travaillé sur le logiciel sur le serveur. Heureusement, c'était la partie la plus facile. Nous avons utilisé l'adaptateur ConnectX-2910 de la série MT7 de Supermicro.

NVIDIA MT2910 Lshw

En effectuant une installation et un redémarrage rapides d'OFED (OpenFabrics Enterprise Distribution), le

nous avons préparé le système.

NVIDIA MT2910 Lshw après l'installation d'OFED

Puisque nous utilisons un commutateur Broadcom Tomahawk 4 en Ethernet et fonctionnant directement en mode InfiniBand, nous devons également changer le type de lien.

Le processus est simple et similaire à la modification du port VPI Mellanox ConnectX en Ethernet ou InfiniBand sous Linux.

Voici le processus de base :

0. Installez OFED et mettez à jour le firmware

Il s'agit d'une étape obligatoire pour s'assurer que la carte fonctionne correctement.

Lors de l'installation de MLNX_OFED_LINUX, NVIDIA ConnectX 7 Mellanox Technologies MT2910 MT2910 Series

Le processus est assez simple. Tout d'abord, téléchargez la version requise pour votre système d'exploitation et utilisez le script fourni dans le téléchargement pour installer le pilote. Le programme d'installation standard mettra également à jour le micrologiciel de la carte.

NVIDIA ConnectX 7 MT2910 MT2910 MLNX_OFED_LINUX Installation de la mise à jour du micrologiciel

Une fois que nous avons installé OFED après le redémarrage du serveur, nous pouvons voir que le NVIDIA ConnectX-7 MCX75310AAS-NEAT est compatible 400GbE et NDR IB (InfiniBand). NDR IB est défini sur le mode par défaut.

NVIDIA ConnectX 7 MCX75310AAS NEAT Mlxconfig

Si nous voulons le transformer en Ethernet, il n'y a que trois étapes simples :

1. Trouvez le périphérique ConnectX-7

Surtout si vous avez d'autres appareils dans votre système, vous devrez trouver le bon appareil à changer. Si vous n'avez qu'une seule carte, c'est facile à faire.

lspci | grep Mellanox

16:00.0 Contrôleur Infiniband : Famille Mellanox Technologies MT2910 [ConnectX-7]

Ici, nous savons maintenant que notre appareil est à 16:00.0 (comme vous pouvez le voir sur la capture d'écran ci-dessus).

2. Utilisez mlxconfig pour changer le périphérique ConnectX-7 de NDR Infiniband à Ethernet.

Ensuite, nous utiliserons l'ID de l'appareil pour changer le type de lien de l'Infiniband.

sudo mlxconfig -d 16:00.0 définit LINK_TYPE_P1=2

NVIDIA ConnectX 7 MCX75310AAS NEAT Mlxconfig définit le type de lien sur Ethernet

Ici, LINK_TYPE_P1=2 définit P1 (port 1) sur 2 (Ethernet). La valeur par défaut LINK_TYPE_P1=1 signifie que P1 (port 1) est défini sur 1 (NDR InfiniBand.) Si vous devez le rétablir, vous pouvez simplement inverser le processus.

3. Redémarrez le système

Après un redémarrage rapide, nous avons maintenant un adaptateur Ethernet ConnectX-7.

Nombreuses options de vitesse Ethernet pour le NVIDIA ConnectX 7 MT2910

Cet adaptateur 400 Gbps prend toujours en charge les vitesses 1 GbE.

FCaractéristique et Compatibilité de NVIDIA ConnectX-7

Performance

NVIDIA ConnectX 7 400 Gbps NDR Infiniband

Bien sûr, de nombreuses autres options de performances sont disponibles. Nous pouvons atteindre des vitesses entre 300 Gbps et 400 Gbps sur InfiniBand et Ethernet. Pour Ethernet, il faut un peu d'aide pour atteindre des vitesses de 400 GbE, car la connexion initiale n'est que de 200 GbE, mais nous ne faisons pas grand-chose en termes de réglage des performances.

Performances NVIDIA ConnectX 7 400GbE

Ces vitesses sont de l'ordre de 400 Gbps qui peuvent être atteintes, bien plus de trois fois la vitesse à laquelle nous sommes habitués avec Adaptateurs 100 Gbit/s, et ce dans un délai très court. Cependant, il est important de souligner que le déchargement à des vitesses de 400 GbE est très important. À des vitesses de 25 GbE et 100 GbE, nous avons vu des appareils comme les DPU utilisés pour décharger les CPU pour des tâches réseau courantes. Au cours des trois dernières années, les cœurs de processeur modernes ont augmenté leur vitesse de 20 à 40 %, tandis que la bande passante du réseau est passée de 100 GbE à 400 GbE. En conséquence, des technologies comme RDMA Les déchargements et les déchargements OVS/check sont devenus essentiels pour minimiser l'utilisation des processeurs. C'est pourquoi l'ancienne division Nvidia Mellanox est l'une des rares entreprises à proposer aujourd'hui des adaptateurs 400 Gbit/s.