Passage des cartes réseau NVIDIA ConnectX Series du mode InfiniBand au mode Ethernet : un guide étape par étape

Les cartes d'interface réseau (NIC) de la série NVIDIA ConnectX Virtual Protocol Interconnect (VPI) — y compris les modèles ConnectX-4, ConnectX-5, ConnectX-6, ConnectX-7Les cartes ConnectX-4, CX-5, CX-6, CX-7 et CX-8 (également appelées CX-8) constituent une catégorie rare d'adaptateurs bimodes. Une seule carte permet de basculer facilement entre les réseaux physiques InfiniBand (IB) et Ethernet sans remplacement de matériel. Cette polyvalence prend en charge les environnements RDMA à très faible latence des clusters de calcul haute performance (HPC) et d'intelligence artificielle (IA) en mode IB, tout en s'intégrant aisément aux infrastructures Ethernet traditionnelles des centres de données. Cette approche optimise la protection des investissements et facilite l'évolution du réseau.

Ce guide prend pour exemple la carte réseau 200G CX-6 et décrit en détail, étape par étape, la procédure de transition du mode InfiniBand au mode Ethernet (avec la couche transport utilisant le protocole RoCE v2). Le système d'exploitation hôte est CentOS 7. Ces instructions sont applicables aux modèles ConnectX VPI similaires et peuvent optimiser les configurations. Commutation Ethernet NVIDIA ConnectX, Migration d'InfiniBand vers RoCE v2et configuration de la carte réseau double mode.

Pré-requis :

• Une carte réseau NVIDIA ConnectX VPI compatible installée dans le système hôte.
• Le package Mellanox Firmware Tools (MFT) est installé, y compris mst et mlxconfig.
• Accès root à l'hôte CentOS 7.
• Connaissance de base des opérations en ligne de commande Linux.

Étape 1 : Démarrer le service Mellanox Software Tools

Lancez le service MST sur l'hôte pour activer la gestion des périphériques :

texte

systemctl start mst

Étape 2 : Vérifier l’état du périphérique NIC

Vérifiez l'état des appareils Mellanox :

texte

statut MST

Le résultat affichera le périphérique réseau VPI, généralement sous la forme /dev/mst/mt4123_pciconf0 (ou un identifiant similaire selon votre matériel). Consultez l'exemple de l'image 1.

Étape 3 : Interroger la configuration actuelle de la carte réseau

Utilisez l'outil mlxconfig pour examiner le type de lien :

texte

mlxconfig -d /dev/mst/mt4123_pciconf0 q

Cette commande affiche le type de liaison actuel pour chaque port : 1 indique InfiniBand (IB), tandis que 2 indique Ethernet. Dans l’exemple illustré à l’image 2, le port 1 (P1) est configuré pour Ethernet ; passez à l’étape 4 si vous souhaitez passer à IB.

Étape 4 : Définir le type de lien souhaité

Appliquez la modification de configuration pour le port 1 (P1). Remplacez le chemin du périphérique si nécessaire en fonction de la sortie de votre statut mst.

Pour passer en mode Ethernet :

mlxconfig -d /dev/mst/mt4123_pciconf0 set LINK_TYPE_P1=2

Pour passer en mode InfiniBand :

mlxconfig -d /dev/mst/mt4123_pciconf0 set LINK_TYPE_P1=1

Étape 5 : Redémarrer l’hôte

Redémarrez le système pour appliquer les modifications du micrologiciel :

texte

reboot

Étape 6 : Configurer l’adresse IP du port Ethernet

Après le redémarrage en mode Ethernet, identifiez le nom de l'interface :

texte

ifconfig -a

Créez ou modifiez le fichier de configuration dans /etc/sysconfig/network-scripts/ (par exemple, ifcfg-ethX, en remplaçant ethX par l'interface réelle) :

texte

DEVICE=ethXTYPE=EthernetBOOTPROTO=staticIPADDR=192.168.1.100 # Remplacez par l'adresse IP souhaitéeNETMASK=255.255.255.0GATEWAY=192.168.1.1ONBOOT=yes

Redémarrez le service réseau :

texte

systemctl redémarrer le réseau

Étape 7 : Inspecter et ajuster les paramètres de port avec ethtool

Vérifiez les détails du port à l'aide de l'utilitaire ethtool :

Vérifier les informations du conducteur :

ethtool -i ethX

Configurez la vitesse à 50 Gb/s, en mode duplex intégral, et désactivez la négociation automatique (exemple) :

ethtool -s ethX vitesse 50000 duplex full autoneg off

Des options supplémentaires sont disponibles via ethtool –help. Cette étape est cruciale pour l'optimisation. Configuration de la vitesse du port NIC ConnectX dans les environnements Ethernet.

Étape 8 : Confirmer le mode de fonctionnement

Validez le mode du port (IB ou RoCE v2) avec la commande suivante (remplacez mlx5_0 par votre périphérique) :

texte

cma_core_mode -d mlx5_0 -p 1

Le résultat affiché dans l'image 3 confirme le mode RoCE v2, indiquant une transition réussie vers Ethernet.

Conclusion

Votre carte réseau CX-6 est désormais pleinement opérationnelle en mode Ethernet avec prise en charge RoCE v2. Ce processus garantit un temps d'arrêt minimal et exploite pleinement le potentiel de la technologie VPI de NVIDIA. Migration du réseau HPC vers centre de donnéesPour le réglage avancé de RoCE v2, l'évaluation des performances RDMA ou le dépannage des problèmes de la série ConnectX, consultez la documentation officielle de NVIDIA ou envisagez des services de conseil réseau professionnels.