Umschalten von NVIDIA ConnectX Series NICs vom InfiniBand- in den Ethernet-Modus

Ein Rechenzentrumsteam installiert einen NVIDIA ConnectX-Adapter in einem KI-Server und verbindet ihn mit einem Ethernet-Switch. Linux erkennt das PCIe-Gerät, der NVIDIA-Treiber wird erfolgreich geladen und das optische Modul ist vorhanden – die Ethernet-Verbindung bleibt jedoch unterbrochen.

In vielen Fällen liegt das Problem nicht am Kabel oder Switch. Der ConnectX-Port ist noch für InfiniBand konfiguriert.

Ausgewählte NVIDIA ConnectX Virtual Protocol Interconnect (VPI)-Adapter können sowohl im InfiniBand- als auch im Ethernet-Modus betrieben werden. Dadurch kann dieselbe Netzwerkkarte heute ein InfiniBand-KI-Netzwerk und später ein RoCE v2-Ethernet-Netzwerk unterstützen, ohne dass die Hardware ausgetauscht werden muss.

Diese Flexibilität ist besonders wichtig für ConnectX-7 und ConnectX-8 . ConnectX-7 ist in 400G NDR InfiniBand- und 400GbE-Netzwerken weit verbreitet, während ConnectX-8 auf 800G XDR InfiniBand und die 800GbE-KI-Infrastruktur der nächsten Generation abzielt.

Der grundlegende Umschaltvorgang ist bei beiden Generationen ähnlich. ConnectX-8 erfordert jedoch möglicherweise zusätzliche Aufmerksamkeit hinsichtlich Port-Layout, PCIe-Bandbreite, Steckertyp und 800G-Optik.

Dieser Leitfaden erklärt, wie man einen unterstützten ConnectX-7- oder ConnectX-8-Adapter vom InfiniBand- in den Ethernet-Modus umschaltet, die Linux-Schnittstelle konfiguriert, RoCE v2 überprüft und häufig auftretende Verbindungsprobleme bei 400G- und 800G-Verbindungen behebt.

Inhaltsverzeichnis

ConnectX-7 vs. ConnectX-8: Wichtigste Unterschiede

ConnectX-7 und ConnectX-8 verwenden zwar die gleiche allgemeine VPI-Architektur, sind aber für unterschiedliche Netzwerkgenerationen konzipiert.

FunktionConnectX-7ConnectX-8
Maximale BandbreiteBis zu 400 Gbit/sBis zu 800 Gbit/s
InfiniBand-GenerationNDRXDR
Ethernet-FunktionalitätBis zu 400 GbEBis zu 800GbE oder dual 400GbE
Host-SchnittstellePCIe-Gen5 x16PCIe Gen6-Konnektivität
Standard-NetzwerkkartenanschlussOSFP oder duales QSFP112OSFP-RHS oder duales QSFP112
Typische GPU-PlattformenH100, H200, B200B300, GB300 und neuere Plattformen
KonfigurationskomplexitätNormalerweise eine Standard-LinktypänderungMöglicherweise sind auch Änderungen am Port-Layout erforderlich.

Bei den meisten ConnectX-7 VPI-Adaptern besteht das Umschalten der Modi hauptsächlich darin, LINK_TYPE_P1 oder LINK_TYPE_P2 mit mlxconfig zu ändern, gefolgt von einem Neustart.

ConnectX-8 folgt dem gleichen Grundprinzip, der genaue Vorgang hängt jedoch stärker vom Adaptermodell ab. Der Wechsel von einem 800G-Port zu zwei 400G-Ports kann zusätzliche Portaufteilungen oder Einstellungen der physikalischen Funktionen erfordern.

ConnectX-7 vs. ConnectX-8: Spezifikationen im Vergleich

Prüfen Sie, ob die ConnectX-Karte VPI unterstützt.

Nicht jedes Produkt, das den Namen ConnectX trägt, unterstützt sowohl InfiniBand als auch Ethernet.

Bevor Sie irgendwelche Einstellungen ändern, überprüfen Sie Folgendes:

  • Die vollständige NVIDIA-Bestellnummer
  • Ob es sich bei dem Adapter um ein VPI-Modell handelt
  • Anzahl und Art der physischen Anschlüsse
  • Unterstützte InfiniBand- und Ethernet-Geschwindigkeiten
  • Aktuelle Firmware und PSID
  • Verfügbare mlxconfig-Parameter
  • Erforderliche Konfiguration von Schalter, Kabel und Transceiver

Die Bezeichnung ConnectX allein reicht nicht aus. Einige Varianten von ConnectX-7 und ConnectX-8 sind möglicherweise nur Ethernet-fähig oder verwenden modellspezifische Konfigurationen.

Wenn LINK_TYPE_P1 oder LINK_TYPE_P2 nicht in der mlxconfig-Ausgabe erscheint, unterstützt der Adapter möglicherweise keinen herkömmlichen VPI-Moduswechsel.

Der Ethernet-Modus ist nicht derselbe wie RoCE v2.

Durch Umschalten des ConnectX-Ports in den Ethernet-Modus wird die Sicherungsschicht verändert. Dadurch kann der Adapter an einen Ethernet-Switch angeschlossen werden und erscheint als Linux-Ethernet-Schnittstelle.

RoCE v2 ist ein RDMA-Transportprotokoll, das über UDP/IP arbeitet. Für eine vollständige RoCE v2-Implementierung sind außerdem folgende Anforderungen erforderlich:

  • Eine IP-Adresse
  • Gültige RoCE v2 GID-Einträge
  • RDMA-Treiber und Benutzerbereichswerkzeuge
  • Korrekte MTU
  • Kompatible VLAN- und Routing-Konfiguration
  • Richtiges Switch-QoS
  • Maßnahmen zur Staukontrolle wie PFC und ECN

Die Firmware-Änderung aktiviert Ethernet. Die Host- und Netzwerkkonfiguration aktiviert RoCE v2.

Voraussetzungen:

Bereiten Sie Folgendes vor, bevor Sie die ConnectX-Konfiguration ändern:

  • Ein unterstützter ConnectX-7- oder ConnectX-8-VPI-Adapter
  • Root- oder sudo-Zugriff
  • NVIDIA Firmware-Tools, einschließlich mst ​​und mlxconfig 
  • Ein kompatibler mlx5_core-Treiber
  • RDMA-Dienstprogramme
  • Ein Wartungsfenster
  • Ein kompatibler Ethernet-Switch-Port
  • Korrekte Optik, AOC oder DAC
  • IP-, VLAN-, Gateway- und MTU-Informationen
  • Eine Sicherungskopie der aktuellen Konfiguration

Die folgenden Beispiele verwenden:

MST-Gerät: /dev/mst/mt4129_pciconf0

RDMA-Gerät: mlx5_0

Ethernet-Schnittstelle: ens5f0np0

Hafen: 1

Ersetzen Sie diese Werte durch die auf Ihrem System erkannten Namen.

Der Ethernet-Modus ist nicht derselbe wie RoCE v2.

Schritt 1: Identifizieren Sie den ConnectX-Adapter

Prüfen Sie, ob Linux die Netzwerkkarte erkennt:

lspci -nn | grep -i -E „Mellanox|NVIDIA“

Prüfen Sie den aktiven Treiber:

lspci -k -s

Suchen:

Verwendeter Kernel-Treiber: mlx5_core

Sie können auch die geladenen Module überprüfen:

lsmod | grep mlx5

Typische Module umfassen:

mlx5_core

mlx5_ib

Notieren Sie die PCIe-Adresse, die ConnectX-Generation, die Bestellnummer, die Firmware-Version und die aktuellen Schnittstellennamen.

Schritt 2: NVIDIA Firmware-Tools starten

Starten Sie den MST-Treiber:

sudo mst start

Anschließend werden die erkannten Geräte angezeigt:

sudo mst status -v

Ein ConnectX-7-Gerät könnte folgendermaßen aussehen:

GERÄTETYP MST PCI

ConnectX7       /dev/mst/mt4129_pciconf0     5e:00.0

Eine ConnectX-8-Karte verwendet eine andere Geräte-ID. Kopieren Sie den genauen Pfad /dev/mst/ für die nächsten Schritte.

Schritt 3: Abfrage des aktuellen Verbindungstyps

Run:

sudo mlxconfig -d /dev/mst/mt4129_pciconf0 query

Um die relevantesten Einstellungen anzuzeigen:

sudo mlxconfig -d /dev/mst/mt4129_pciconf0 query \

| grep -E “LINK_TYPE|SPLIT|PORT|NUM_OF_PF”

Ein typisches ConnectX-7 VPI-Ergebnis könnte wie folgt aussehen:

LINK_TYPE_P1 IB(1)

LINK_TYPE_P2 IB(1)

Die gemeinsamen Werte sind:

  • 1 bedeutet InfiniBand.
  • 2 bedeutet Ethernet.

Eine weitere mögliche Konfiguration ist:

LINK_TYPE_P1 ETH(2)

LINK_TYPE_P2 IB(1)

Das bedeutet, Port 1 ist Ethernet und Port 2 ist InfiniBand.

Prüfen Sie bei ConnectX-8 die vollständige Ausgabe. Zusätzliche Parameter können die Portaufteilung, physikalische Funktionen oder die Anzahl der aktiven Verbindungen steuern.

Schritt 4: Aktuelle Konfiguration sichern

Speichern Sie die aktuellen Firmware-Einstellungen, bevor Sie Änderungen vornehmen:

sudo mlxconfig -d /dev/mst/mt4129_pciconf0 query \

> connectx-config-before-change.txt

Firmware-Informationen speichern:

sudo flint -d /dev/mst/mt4129_pciconf0 query \

> connectx-firmware-before-change.txt

Protokollieren Sie die aktuellen Netzwerk- und RDMA-Schnittstellen:

ip -br link > network-interfaces-before-change.txt

rdma link show > rdma-links-before-change.txt

Diese Sicherung ist nützlich, wenn sich die Schnittstellennamen oder Portzuordnungen nach einem Neustart ändern.

Schritt 5: ConnectX-7 in den Ethernet-Modus schalten

So schalten Sie Port 1 eines unterstützten ConnectX-7 VPI-Adapters auf Ethernet um:

sudo mlxconfig -d /dev/mst/mt4129_pciconf0 \set LINK_TYPE_P1=2

Bestätigen Sie die Änderung, wenn Sie dazu aufgefordert werden.

Um beide Ports auf Ethernet umzuschalten:

sudo mlxconfig -d /dev/mst/mt4129_pciconf0 \set LINK_TYPE_P1=2 LINK_TYPE_P2=2

Um Port 1 im Ethernet- und Port 2 im InfiniBand-Modus zu halten:

sudo mlxconfig -d /dev/mst/mt4129_pciconf0 \set LINK_TYPE_P1=2 LINK_TYPE_P2=1

Um Port 1 wieder auf InfiniBand umzustellen:

sudo mlxconfig -d /dev/mst/mt4129_pciconf0 \set LINK_TYPE_P1=1

Bei den meisten ConnectX-7 VPI-Implementierungen ist die Änderung des LINK_TYPE-Werts die wichtigste erforderliche Firmware-Modifikation.

Schritt 6: ConnectX-8 in den Ethernet-Modus schalten

Beginnen Sie mit dem gleichen Entdeckungsprozess:

sudo mst startsudo mst status -vsudo mlxconfig -d /dev/mst/ Abfrage

Wenn das genaue ConnectX-8-Modell LINK_TYPE_P1 bereitstellt, kann im Ethernet-Modus dieselbe Syntax verwendet werden:

sudo mlxconfig -d /dev/mst/ \set LINK_TYPE_P1=2

Dieser Befehl ist jedoch möglicherweise nicht für jeden ConnectX-8-Adapter ausreichend.

ConnectX-8 unterstützt möglicherweise mehrere physikalische Konfigurationen:

  • Ein 800G XDR InfiniBand-Anschluss
  • Ein 800GbE-Port
  • Zwei 400-GbE-Anschlüsse
  • Duale QSFP112-Verbindungen
  • Split-Port- oder Multifunktionskonfigurationen

Die Umstellung von einem 800G-Port auf zwei 400G-Ethernet-Verbindungen kann zusätzliche Port-Splitting- oder Konfigurationseinstellungen erfordern. Überprüfen Sie die vollständige Ausgabe von mlxconfig und die Anweisungen für die genaue ConnectX-8-Bestellnummer.

ConnectX-8 C8180

Der ConnectX-8 C8180 ist im Allgemeinen mit einer einzelnen OSFP-RHS-Schnittstelle und einer maximalen Single-Link-Bandbreite verbunden.

Bevor Sie es für Ethernet konfigurieren, bestätigen Sie Folgendes:

  • Ob die Zielgeschwindigkeit 800GbE oder eine niedrigere Rate beträgt
  • Ob der Server über ausreichend PCIe-Bandbreite verfügt
  • Ob es sich bei dem Modul um ein Single-Port-OSFP-RHS-Design handelt
  • Ob der Switch die gleiche Spurstruktur unterstützt
  • Ob eine Änderung der Portbreite erforderlich ist

Installieren Sie kein für einen Switch vorgesehenes OSFP-IHS-Modul mit zwei Ports in einem OSFP-RHS-NIC-Käfig.

Schritt 6: ConnectX-8 in den Ethernet-Modus schalten

ConnectX-8 C8240

Der ConnectX-8 C8240 verwendet ein Dual-QSFP112-Design und eignet sich besser für:

  • Zwei unabhängige 400G-Verbindungen
  • Dual-Homed-Server-Konnektivität
  • Redundante Ethernet-Fabrics
  • Vorhandene QSFP112-Verkabelung

Jeder Port muss entsprechend der erforderlichen Ethernet- oder InfiniBand-Topologie konfiguriert werden.

Schritt 7: Server neu starten oder vom Stromnetz trennen.

Die neue Konfiguration anwenden:

sudo reboot

Für eine Änderung des Verbindungstyps bei ConnectX-7 ist oft ein normaler Neustart ausreichend.

Bei ConnectX-8 kann insbesondere nach Änderungen der Portbreite, der Portaufteilung oder der physikalischen Funktionen ein vollständiger Neustart erforderlich sein.

Nach dem Startvorgang Folgendes ausführen:

sudo mst startsudo mlxconfig -d /dev/mst/ Abfrage \

| grep -E “LINK_TYPE|SPLIT|PORT|NUM_OF_PF”

Prüfen Sie, ob das Protokoll und das physische Port-Layout der beabsichtigten Ethernet-Konfiguration entsprechen.

Schritt 8: Überprüfen Sie die aktive Ethernet-Verbindungsschicht

Überprüfen Sie die aktive Sicherungsschicht:

cat /sys/class/infiniband/mlx5_0/ports/1/link_layer

Erwartete Ausgabe:

Ethernet

Sie können auch Folgendes ausführen:

ibv_devinfo -d mlx5_0

Suchen:

Verbindungsschicht: Ethernet

Dies bestätigt, dass die Firmware-Änderung aktiv ist. Die physische Verbindung kann weiterhin unterbrochen bleiben, wenn die Einstellungen für Switch, Transceiver, Geschwindigkeit, FEC oder Breakout nicht übereinstimmen.

Schritt 9: Ethernet-Schnittstelle identifizieren und konfigurieren

Liste der verfügbaren Netzwerkschnittstellen:

ip -br link

Ordnen Sie das RDMA-Gerät der Ethernet-Schnittstelle zu:

ibdev2netdev

Ejemplo:

mlx5_0 Port 1 ==> ens5f0np0 (Down)

Für eine temporäre IP-Konfiguration:

sudo ip link set ens5f0np0 upsudo ip address add 192.168.10.10/24 dev ens5f0np0

Für NetworkManager:

sudo nmcli connection add \

Typ Ethernet \

ifname ens5f0np0 \

con-name connectx-ethernet \

ipv4.method-Handbuch

ipv4.addresses 192.168.10.10/24 \

ipv4.gateway 192.168.10.1

Verbindung aktivieren:

sudo nmcli connection up connectx-ethernet

Jumbo-Frames sind nur dann aktiviert, wenn der gesamte Pfad die gleiche MTU unterstützt.

Schritt 10: Fahrer, Geschwindigkeit und FEC prüfen

ConnectX-Treiber und Firmware anzeigen:

ethtool -i ens5f0np0

Überprüfen Sie die physische Verbindung:

ethtool ens5f0np0

Eine ConnectX-7 400GbE-Verbindung meldet möglicherweise Folgendes:

Geschwindigkeit: 400000 Mbit/s

Link erkannt: ja

Eine ConnectX-8 800GbE-Verbindung meldet möglicherweise Folgendes:

Geschwindigkeit: 800000 Mbit/s

Link erkannt: ja

FEC prüfen:

ethtool –show-fec ens5f0np0

Portzähler prüfen:

ethtool -S ens5f0np0

ip -s link show ens5f0np0

Vermeiden Sie es, die Geschwindigkeit mit ethtool -s zu erzwingen, es sei denn, es wurde bestätigt, dass die Einstellungen für ConnectX NIC, Switch, Optik, Lane-Struktur und FEC übereinstimmen.

ConnectX-7 Ethernet-Kompatibilität

ConnectX-7 wird häufig für 400GbE-, 200GbE-, 100GbE- und unterstützte Breakout-Konfigurationen verwendet.

Prüfen Sie für eine stabile Ethernet-Verbindung Folgendes:

  • Der Switch-Port ist für Ethernet konfiguriert.
  • An beiden Enden wird die gleiche Geschwindigkeit verwendet.
  • Der Transceiver unterstützt die gleiche Lane-Struktur.
  • Die FEC-Einstellungen stimmen überein.
  • Die Breakout-Konfiguration ist korrekt.
  • Die optische Schnittstelle und der Fasertyp sind kompatibel.

Ein 400G-Port kann nicht automatisch mit vier unabhängigen 100G-Endpunkten kommunizieren, es sei denn, die Switch-, Kabel- und Portkonfiguration unterstützt die erforderliche Breakout-Zuordnung.

ConnectX-8 Ethernet-Kompatibilität

ConnectX-8 führt Netzwerktechnologie der 800G-Klasse und strengere Anforderungen an die physikalische Schicht ein.

Für eine vollständige 800G-Verbindung sind möglicherweise folgende Anforderungen erforderlich:

  • Ein PCIe Gen6-Server
  • Ein korrekt konfigurierter ConnectX-8-Port
  • Ein 800G-Ethernet-Switch-Port
  • Kompatible OSFP-RHS-Optiken oder AOC
  • Angleichende Stromtarife
  • Korrekte FEC und Fasertyp
  • Geeignete Stromversorgung und Kühlung

Eine ConnectX-8-Karte kann in einem PCIe Gen5-Server betrieben werden, jedoch kann der Hostbus den vollen 800G-Durchsatz begrenzen.

Gehen Sie nicht davon aus, dass jedes 800G-OSFP-Modul in jedem OSFP-Käfig funktioniert. Prüfen Sie Folgendes:

  • OSFP-RHS versus OSFP-IHS
  • Einzelport- versus Doppelport-Konstruktion
  • Modulleistungsklasse
  • Elektrische Fahrstreifenrate
  • Optische Spezifikation
  • NIC- und Switch-Kompatibilität

Die volle Leistungsfähigkeit von ConnectX-8 erfordert eine durchgängige 800G-fähige Kette, von der PCIe-Schnittstelle des Hosts bis zum Switch-Port.

Schritt 11: RoCE v2 überprüfen

Nach der Zuweisung einer IP-Adresse sollten Sie die GID-Einträge überprüfen:

show_gids

Alternative:

grep -H . \

/sys/class/infiniband/mlx5_0/ports/1/gid_attrs/types/*

Mögliche Einträge sind:

RoCE v1

RoCE v2

Überprüfen Sie den RDMA_CM-Modus:

cma_roce_mode -d mlx5_0 -p 1

So wählen Sie RoCE v2 aus:

sudo cma_roce_mode -d mlx5_0 -p 1 -m 2

Die üblicherweise verwendeten Werte sind:

  • 1 für RoCE v1
  • 2 für RoCE v2

Die korrekte Hilfsfunktion ist cma_roce_mode, nicht cma_core_mode.

Beachten Sie, dass dieser Befehl den bevorzugten RoCE-GID-Typ für RDMA_CM-Anwendungen auswählt. Er ändert den physischen Port nicht von InfiniBand auf Ethernet.

Schritt 11: RoCE v2 überprüfen

Schritt 12: Ethernet- und RDMA-Konnektivität testen

Testen Sie die Standard-Ethernet-Konnektivität:

ping -c 4 192.168.10.20

Testen Sie den TCP-Durchsatz mit iperf3.

Auf dem Remote-Server:

iperf3 -s

Auf dem ConnectX-Host:

iperf3 -c 192.168.10.20 -P 16

Ein einzelner TCP-Stream wird eine 400G- oder 800G-Verbindung üblicherweise nicht auslasten.

Für RDMA-Tests verwenden Sie Tools wie:

rping

ib_write_bw -R

ib_read_bw -R

Bei Leistungstests sollte auch Folgendes berücksichtigt werden:

  • PCIe-Verbindungsbreite
  • NUMA-Platzierung
  • Cpu affinität
  • Nachrichtengröße
  • MTU
  • Warteschlangenanzahl
  • Switch QoS
  • Überlastungskontrolle

Häufige Probleme nach dem Wechsel des ConnectX-Modus

Der Ethernet-Modus ist aktiv, aber die Verbindung ist unterbrochen.

Mögliche Ursachen sind:

  • Der Switch-Port ist weiterhin für InfiniBand konfiguriert.
  • Die beiden Enden verwenden unterschiedliche Geschwindigkeiten.
  • Die Breakout-Konfiguration ist fehlerhaft.
  • Die FEC-Einstellungen stimmen nicht überein.
  • Der Transceiver wird nicht unterstützt.
  • Die Polarität des Steckers oder der Faser ist falsch.

Prüfen:

ethtool ens5f0np0

ethtool –show-fec ens5f0np0

dmesg | grep -i mlx5

LINK_TYPE fehlt

Mögliche Gründe sind:

  • Die ConnectX-Karte ist nur für Ethernet geeignet.
  • Die Karte ist nur mit InfiniBand kompatibel.
  • Es wurde das falsche MST-Gerät ausgewählt.
  • Die Firmware gibt keine VPI-Einstellungen preis.
  • ConnectX-8 erfordert eine modellspezifische Konfiguration.

Bitte überprüfen Sie die vollständige Bestellnummer und die Firmware-Dokumentation.

ConnectX-8 läuft mit 400G statt 800G

Prüfen Auf:

  • Eine PCIe Gen5-Host-Beschränkung
  • Eine Dual-400G-Port-Konfiguration
  • Ein 400G-Kabel oder Transceiver
  • Ein Switch-Port mit einer Begrenzung auf 400G
  • Eine falsche Portbreiteneinstellung
  • NDR- statt XDR-zertifizierte Konnektivität

Der ConnectX-8-Adapter allein kann keine 800G-Verbindung herstellen. Jede Komponente im Übertragungspfad muss 800G unterstützen.

IP-Verkehr funktioniert, aber RoCE v2 nicht.

Prüfen:

  • GID-Tabelle und GID-Typ
  • VLAN und Routing
  • MTU
  • PFC und ECN
  • Verkehrsklasse
  • Firewall-Einstellungen
  • RDMA-Treiberversionen
  • Switch-QoS-Konfiguration

ConnectX-7 oder ConnectX-8: Welches Modell sollten Sie verwenden?

Wählen Sie ConnectX-7, wenn:

  • Der Server nutzt PCIe Gen5.
  • Der Stoff basiert auf 400G.
  • Der Cluster verwendet H100-, H200- oder B200-Systeme.
  • Die vorhandenen 400G-Optiken müssen wiederverwendet werden.
  • Kosten und zuverlässige Verfügbarkeit haben Priorität.
  • Die Arbeitslast erfordert kein 800G.

Wählen Sie ConnectX-8, wenn:

  • Der Server unterstützt Bandbreite der PCIe Gen6-Klasse.
  • Das Zielgewebe hat eine Grammatur von 800G.
  • Die Bereitstellung erfolgt mit GPU-Systemen vom Typ B300, GB300 oder neuer.
  • Die Leistungsfähigkeit des KI-Trainings wird durch die Bandbreite zwischen den Knoten begrenzt.
  • Die Switch-Fabric und die Optik unterstützen 800G.
  • Die Modernisierung ist durch eine langfristige Infrastrukturplanung gerechtfertigt.

ConnectX-7 ist nach wie vor die optimale Wahl für ausgereifte 400G-KI-, HPC-, Speicher- und Cloud-Netzwerke. ConnectX-8 eignet sich besser für neue 800G-KI-Fabriken, in denen der gesamte Pfad vom Server zum Switch die zusätzliche Bandbreite nutzen kann.

Fazit

Die Umstellung eines unterstützten NVIDIA ConnectX-Adapters von InfiniBand auf Ethernet ist im Prinzip unkompliziert: Gerät identifizieren, Verbindungstyp mit mlxconfig ändern, System neu starten, Ethernet-Verbindungsschicht überprüfen und die Ethernet- und RoCE v2-Einstellungen konfigurieren.

Für ConnectX-7 ist der herkömmliche Workflow mit LINK_TYPE_P1 und LINK_TYPE_P2 in der Regel ausreichend.

Für ConnectX-8 gilt das gleiche Grundprinzip, jedoch kann der Adapter modellspezifische Einstellungen für Portaufteilung, physikalische Funktionen oder Portbelegung erfordern. Die korrekte Vorgehensweise hängt davon ab, ob die Karte einen einzelnen OSFP-RHS-Port, zwei QSFP112-Ports, eine 800G-Verbindung oder zwei 400G-Verbindungen verwendet.

Die wichtigste Regel ist die Überprüfung der gesamten Verbindung. Die Konfiguration von ConnectX NIC, Server-PCIe-Bus, Switch-Port, Kabel, Transceiver, Lane-Struktur, FEC und RoCE muss übereinstimmen. Eine korrekte Firmware-Einstellung kann eine inkompatible 400G- oder 800G-Verbindung nicht kompensieren.

FAQ

Können alle ConnectX-7- und ConnectX-8-Karten zwischen InfiniBand und Ethernet umschalten?

Nein. Nur unterstützte VPI- oder anderweitig rekonfigurierbare Modelle können das Protokoll wechseln. Überprüfen Sie die vollständige Artikelnummer des Adapters und die verfügbaren mlxconfig-Einstellungen.

Was bedeutet LINK_TYPE_P1=2 bedeuten?

Es konfiguriert Port 1 eines unterstützten ConnectX VPI-Adapters für Ethernet. Ein Wert von 1 steht normalerweise für InfiniBand.

Kann ich denselben Befehl sowohl auf ConnectX-7 als auch auf ConnectX-8 verwenden?

Manchmal, aber nicht immer. ConnectX-8 benötigt möglicherweise zusätzliche Einstellungen für die Portbelegung oder Portaufteilung. Überprüfen Sie das genaue Adaptermodell, bevor Sie Änderungen vornehmen.

Wird RoCE v2 durch die Umstellung von ConnectX auf Ethernet automatisch aktiviert?

Nein. Der Ethernet-Modus aktiviert die Ethernet-Verbindungsschicht. RoCE v2 benötigt außerdem eine IP-Adresse, gültige GID-Einträge, RDMA-Software und geeignetes Netzwerk-QoS.

Benötigt ConnectX-8 PCIe Gen6?

ConnectX-8 kann in einem kompatiblen PCIe Gen5-Server betrieben werden, jedoch ist für den vollen 800G-Durchsatz in der Regel eine ausreichende Host-Bandbreite der PCIe Gen6-Klasse erforderlich.

Kann ConnectX-8 die Optiken von ConnectX-7 wiederverwenden?

Einige 400G-Kabel oder -Optiken können wiederverwendet werden, wenn ConnectX-8 mit 400G arbeitet. Für den vollen 800G-Betrieb sind kompatible 800G-Optiken oder -Kabel erforderlich.

Wie überprüfe ich den Ethernet-Modus?

Run:

cat /sys/class/infiniband/mlx5_0/ports/1/link_layer

Das erwartete Ergebnis ist:

Ethernet

Warum ist die ConnectX-Verbindung nach dem Umschalten der Modi immer noch unterbrochen?

Die häufigsten Ursachen sind ein falscher Switch-Port-Modus, Geschwindigkeitsunterschiede, nicht unterstützte Optiken, eine falsche Breakout-Konfiguration oder ein FEC-Fehler.

Nach oben scrollen