Einführung in NVIDIA ConnectX-7 400GbE und NDR Infiniband NIC

Die Netzwerkadapter der NVIDIA ConnectX-7-Familie unterstützen sowohl InfiniBand- als auch Ethernet-Protokolle und bieten eine vielseitige Lösung für eine Vielzahl von Netzwerkanforderungen. Diese Adapter sind für die Bereitstellung intelligenter, skalierbarer und funktionsreicher Netzwerkfunktionen konzipiert und erfüllen die Anforderungen traditioneller Unternehmensanwendungen sowie Hochleistungs-Workloads in den Bereichen KI, wissenschaftliches Rechnen und Hyperscale-Cloud-Rechenzentren.

Die ConnectX-7-Netzwerkadapter sind in zwei verschiedenen Formfaktoren erhältlich: Stand-up-PCIe-Karten und Open Compute Project (OCP) Spec 3.0-Karten. Diese Flexibilität ermöglicht es Benutzern, den Adapter auszuwählen, der ihren spezifischen Bereitstellungsanforderungen am besten entspricht.

400-Gbit/s-Netzwerke sind eine neue Fähigkeit, die von PCIe Gen5 x16-Steckplätzen verarbeitet werden kann. Werfen wir einen Blick auf die Konfiguration für die Verwendung von NDR 400 Gbit/s InfiniBand/400GbE.

Winkel 1 Schuss von NVIDIA ConnectX 7 400G OSFP

Hardwareübersicht des MCX75310AAS-NEAT-Adapters

Die ConnectX-7 (MCX75310AAS-NEAT) ist eine Low-Profile-Karte, die für PCIe Gen5 x16-Steckplätze entwickelt wurde. Das Bild unten zeigt die Halterung in voller Höhe, im Lieferumfang ist jedoch auch eine Halterung mit niedrigem Profil enthalten.

Vor NVIDIA ConnectX 7 400G OSFP

Beachtenswert sind die Abmessungen der Kühllösung. Allerdings gibt NVIDIA die Leistungsspezifikationen dieser Netzwerkadapter nicht bekannt.

Winkel 2 Schuss von NVIDIA ConnectX 7 400G OSFP

Hier ist die Rückseite der Karte mit einer Kühlkörper-Rückplatte.

Die Rückseite der NVIDIA ConnectX 7 400G OSFP-Karte

Hier ist eine Seitenansicht der Karte vom PCIe Gen5 x16-Anschluss.

NVIDIA ConnectX 7 400G OSFP-Steckerwinkel

Dies ist eine weitere Ansicht der Karte von oben.

NVIDIA ConnectX 7 400G OSFP oberer Winkel

Dies ist bei den meisten Servern eine Ansicht aus der Richtung des Luftstroms.

Dabei handelt es sich um eine flache Single-Port-Karte, die mit einer Geschwindigkeit von 400 Gbit/s arbeitet. Es bietet eine enorme Bandbreite.

Installieren des NVIDIA ConnectX-7 400G-Adapters

Einer der wichtigsten Aspekte einer solchen Karte ist die Installation in einem System, das ihre Geschwindigkeit nutzen kann.

Der Installationsvorgang von ConnectX-7-Adapterkarten umfasst die folgenden Schritte:

1. Überprüfen Sie die Hardware- und Softwareanforderungen des Systems.
2. Achten Sie auf die Luftströmung innerhalb des Hostsystems.
3. Befolgen Sie die Sicherheitsvorkehrungen.
4. Packen Sie das Paket aus.
5. Befolgen Sie die Checkliste vor der Installation.
6. (Optional) Ersetzen Sie die Montagehalterung in voller Höhe durch die mitgelieferte kurze Halterung.
7. Installieren Sie die ConnectX-7 PCle x16-Adapterkarte/ConnectX-7 2x PCle x16 Socket Direct-Adapterkarte im System.
8. Schließen Sie Kabel oder Module an die Karte an.
9. Identifizieren Sie ConnectX-7 im System.

Supermicro SYS 111C NR mit NVIDIA ConnectX 7 400-Gbit/s-Adapter 1

Glücklicherweise haben wir diese Geräte erfolgreich auf den Servern Supermicro SYS-111C-NR 1U und Supermicro SYS-221H-TNR 2U installiert und sie funktionieren einwandfrei.

Supermicro SYS 111C NR mit NVIDIA ConnectX 7 400-Gbit/s-Adapter 2

Der SYS-111C-NR ist ein Single-Slot-Knotenserver, der uns mehr Flexibilität bietet, da wir uns beim Einrichten des Systems nicht um die Verbindungen zwischen den Slots kümmern müssen. Bei Geschwindigkeiten von 10/40 Gbit/s oder sogar 25/50 Gbit/s gab es Diskussionen über Leistungsherausforderungen durch Verbindungen zwischen CPU-Steckplätzen. Mit dem Aufkommen von 100GbE wurde das Problem, für jede CPU einen Netzwerkadapter zu haben, um steckplatzübergreifende Verbindungen zu vermeiden, immer wichtiger und vorherrschender. Die Auswirkungen sind noch ausgeprägter und gravierender, wenn Netzwerke mit 400-GbE-Geschwindigkeiten verwendet werden. Bei Servern mit zwei Steckplätzen, die eine einzelne 400-GbE-NIC verwenden, kann es eine erwägenswerte Option sein, mehrere Host-Adapter in Betracht zu ziehen, die eine direkte Verbindung zu jeder CPU herstellen.

OSFP vs. QSFP-DD

Nachdem die Karten installiert waren, standen wir vor der nächsten Herausforderung. Diese Karten verwenden OSFP-Käfige, unser 400-GbE-Switch jedoch QSFP-DD.

Supermicro SYS 111C NR mit NVIDIA ConnectX 7 400-Gbit/s-Adapter 4

Diese beiden Standards weisen einige Unterschiede in der Leistungsstufe und im physikalischen Design auf. Eine Konvertierung ist möglich QSFP-DD zu OSFP, der umgekehrte Weg ist jedoch nicht möglich. Wenn Sie noch nie OSFP-Optiken oder DACs gesehen haben: Sie verfügen über ihre eigenen einzigartigen Wärmemanagementlösungen. QSFP-DD verwendet typischerweise einen Kühlkörper oben auf dem Sockel, während OSFP typischerweise eine Kühllösung für OSFP-DACs und Optiken im Labor beinhaltet.

OSFP- und QSFP-DD-Anschlüsse 1

Das ist eine knifflige Angelegenheit. Sowohl der OSFP-DAC als auch der OSFP-zu-QSFP-DD-DAC verwenden eine Kühllösung für den Kühlkörper. Und aufgrund der direkten Kühlung am DAC lässt sich der OSFP-Stecker nicht in den OSFP-Port des DAC einstecken ConnectX-7-NIC.

NVIDIA verwendet wahrscheinlich OSFP, da es über eine höhere Leistungsstufe verfügt. OSFP ermöglicht 15-W-Optiken, während QSFP-DD nur 12 W unterstützt. Eine höhere Leistungsobergrenze kann die frühzeitige Einführung in der frühen Einführungsphase erleichtern. Dies ist einer der Gründe, warum Produkte wie das 24-W-CFP8-Modul verfügbar sind.

Achten Sie nach Möglichkeit auf die Größe des Kühlkörpers auf der OSFP-Seite des ConnectX-7-Einsatzes. Wenn Sie an QSFP/QSFP-DD gewöhnt sind, lassen sich alle Geräte anschließen und funktionieren einwandfrei, aber ein kleines Problem wie die Steckergröße kann eine größere Herausforderung darstellen. Wenn Sie jedoch ein Lösungsanbieter sind, ist dies auch eine Gelegenheit, professionellen Service-Support zu leisten. Distributoren wie NVIDIA und PNY verkaufen auch LinkX-Kabel, was eine praktischere Option gewesen wäre. Das ist eine wertvolle Lektion.

Als nächstes richten wir alles ein und machen uns an die Arbeit.

Software-Setup NDR InfiniBand vs. 400GbE

Neben der physischen Installation haben wir auch an der Software auf dem Server gearbeitet. Glücklicherweise war dies der einfachste Teil. Wir haben den ConnectX-2910-Adapter der MT7-Serie von Supermicro verwendet.

NVIDIA MT2910 Lshw

Durch eine schnelle Installation und einen Neustart von OFED (OpenFabrics Enterprise Distribution) wird die

Wir haben das System vorbereitet.

NVIDIA MT2910 Lshw nach OFED-Installation

Da wir einen Broadcom Tomahawk 4 Switch im Ethernet verwenden und direkt im InfiniBand-Modus laufen, müssen wir auch den Linktyp ändern.

Der Vorgang ist einfach und ähnelt der Änderung des Mellanox ConnectX VPI-Ports auf Ethernet oder InfiniBand unter Linux.

Das Folgende ist der grundlegende Prozess:

0. OFED installieren und Firmware aktualisieren

Dies ist ein erforderlicher Schritt, um sicherzustellen, dass die Karte ordnungsgemäß funktioniert.

Während der MLNX_OFED_LINUX-Installation wird NVIDIA ConnectX 7 Mellanox Technologies MT2910 MT2910-Serie verwendet

Der Prozess ist ziemlich einfach. Laden Sie zunächst die erforderliche Version für Ihr Betriebssystem herunter und verwenden Sie das im Download bereitgestellte Skript, um den Treiber zu installieren. Das Standardinstallationsprogramm aktualisiert auch die Firmware der Karte.

NVIDIA ConnectX 7 MT2910 MT2910 MLNX_OFED_LINUX Installieren des Firmware-Updates

Sobald wir OFED nach dem Neustart des Servers installiert haben, können wir sehen, dass der NVIDIA ConnectX-7 MCX75310AAS-NEAT 400GbE- und NDR IB (InfiniBand)-fähig ist. NDR IB ist auf den Standardmodus eingestellt.

NVIDIA ConnectX 7 MCX75310AAS NEAT Mlxconfig

Wenn wir daraus Ethernet machen wollen, sind es nur drei einfache Schritte:

1. Suchen Sie das ConnectX-7-Gerät

Insbesondere wenn Sie andere Geräte in Ihrem System haben, müssen Sie das richtige Gerät zum Wechseln finden. Wenn Sie nur eine Karte haben, ist das einfach.

lspci | grep Mellanox

16:00.0 Infiniband-Controller: Mellanox Technologies MT2910-Familie [ConnectX-7]

Hier wissen wir nun, dass sich unser Gerät auf 16:00.0 befindet (wie Sie dem Screenshot oben entnehmen können).

2. Verwenden Sie mlxconfig, um das ConnectX-7-Gerät von NDR Infiniband auf Ethernet umzustellen.

Als Nächstes verwenden wir die Geräte-ID, um den Verbindungstyp des Infiniband zu ändern.

sudo mlxconfig -d 16:00.0 setze LINK_TYPE_P1=2

NVIDIA ConnectX 7 MCX75310AAS NEAT Mlxconfig legt den Verbindungstyp auf Ethernet fest

Hier setzt LINK_TYPE_P1=2 P1 (Port 1) auf 2 (Ethernet). Der Standardwert LINK_TYPE_P1=1 bedeutet, dass P1 (Port 1) auf 1 (NDR InfiniBand) gesetzt ist. Wenn Sie ihn wieder ändern müssen, können Sie den Vorgang einfach umkehren.

3. Starten Sie das System neu

Nach einem kurzen Neustart verfügen wir nun über einen ConnectX-7-Ethernet-Adapter.

Zahlreiche Ethernet-Geschwindigkeitsoptionen für den NVIDIA ConnectX 7 MT2910

Dieser 400-Gbit/s-Adapter unterstützt weiterhin 1-GbE-Geschwindigkeiten.

FEssenz und Kompatibilität von NVIDIA ConnectX-7

Leistung

NVIDIA ConnectX 7 400 Gbit/s NDR Infiniband

Natürlich stehen noch viele weitere Leistungsoptionen zur Verfügung. Auf InfiniBand und Ethernet können wir Geschwindigkeiten zwischen 300 Gbit/s und 400 Gbit/s erreichen. Für Ethernet ist etwas Hilfe nötig, um 400-GbE-Geschwindigkeiten zu erreichen, da die anfängliche Verbindung nur 200 GbE beträgt, aber wir tun nicht viel in Bezug auf die Leistungsoptimierung.

NVIDIA ConnectX 7 400GbE-Leistung

Diese Geschwindigkeiten liegen im erreichbaren Bereich von 400 Gbit/s, weit mehr als das Dreifache der Geschwindigkeit, die wir gewohnt sind 100-Gbit/s-Adapter, und das in sehr kurzer Zeit. Es ist jedoch wichtig, dies zu betonen offDas Laden mit 400-GbE-Geschwindigkeiten ist sehr wichtig. Bei Geschwindigkeiten von 25 GbE und 100 GbE haben wir früher Geräte wie DPUs gesehen offLaden Sie CPUs für allgemeine Netzwerkaufgaben. In den letzten drei Jahren ist die Geschwindigkeit moderner CPU-Kerne um 20 bis 40 Prozent gestiegen, während die Netzwerkbandbreite von 100 GbE auf 400 GbE gestiegen ist. Infolgedessen sind Technologien wie RDMA offLasten und OVS/Check offLasten sind entscheidend geworden, um die CPU-Nutzung zu minimieren. Aus diesem Grund ist die ehemalige Nvidia-Sparte Mellanox eines der wenigen Unternehmen offHeute gibt es 400-Gbit/s-Adapter.