NVIDIA Spectrum-X: Ethernet-basierte KI-Beschleunigungsnetzwerkplattform

Workloads mit künstlicher Intelligenz zeichnen sich durch eine kleine Anzahl von Aufgaben aus, die große Datenmengen zwischen GPUs übertragen, und die Endlatenz kann einen erheblichen Einfluss auf die Gesamtleistung der Anwendung haben. Die Verwendung herkömmlicher Netzwerk-Routing-Mechanismen zur Bewältigung dieses Verkehrsmusters kann zu einer inkonsistenten GPU-Leistung und einer geringen Auslastung von KI-Workloads führen.

NVIDIA Spectrum-X RoCE Dynamic Routing ist eine feinkörnige Lastausgleichstechnologie, die das RDMA-Datenrouting dynamisch anpasst, um Überlastungen zu vermeiden. In Kombination mit der DDP-Technologie von BlueField 3 sorgt sie für einen optimalen Lastausgleich und erreicht eine effizientere Datenbandbreite.

Überblick über die Spectrum-X-Netzwerkplattform

Die NVIDIA® Spectrum™-X-Netzwerkplattform ist die erste Ethernet-Plattform, die entwickelt wurde, um die Leistung und Effizienz von Ethernet-basierten KI-Clouds zu verbessern. Diese bahnbrechende Technologie steigert die KI-Leistung und Energieeffizienz bei großen KI-Workloads ähnlich wie bei LLM um das 1.7-fache und sorgt für Konsistenz und Vorhersehbarkeit in Umgebungen mit mehreren Mandanten. Spectrum-X basiert auf Spectrum-4-Ethernet-Switches und NVIDIA BlueField®-3 DPU-Netzwerkkarten und ist durchgängig für KI-Workloads optimiert.

Spectrum-X-Schlüsseltechnologien

Um KI-Workloads zu unterstützen und zu beschleunigen, hat Spectrum-X eine Reihe von Optimierungen vorgenommen, von DPUs bis hin zu Switches, Kabeln/optischen Geräten, Netzwerken und Beschleunigungssoftware, darunter:

• Adaptives NVIDIA RoCE-Routing auf Spectrum-4
• NVIDIA Direct Data Placement (DDP) auf BlueField-3
• NVIDIA RoCE-Überlastungskontrolle auf Spectrum-4 und BlueField-3
• NVIDIA KI-Beschleunigungssoftware
• Durchgängige Sichtbarkeit des KI-Netzwerks

Die wichtigsten Vorteile von Spectrum-X

• Verbessern Sie die Leistung der KI-Cloud: Spectrum-X steigert die Leistung der KI-Cloud um das 1.7-fache.
• Standard-Ethernet-Konnektivität: Spectrum-X entspricht vollständig den Ethernet-Standards und ist vollständig kompatibel mit Ethernet-basierten Technologie-Stacks.
• Verbessern Sie die Energieeffizienz: Durch die Verbesserung der Leistung trägt Spectrum-X zu einer energieeffizienteren KI-Umgebung bei.
• Verbesserter Multi-Tenant-Schutz: Führen Sie eine Leistungsisolation in Multi-Tenant-Umgebungen durch, um eine optimale und konsistente Leistung für die Arbeitslast jedes Mandanten sicherzustellen und so die Kundenzufriedenheit und Servicequalität zu verbessern.
• Bessere Sichtbarkeit des KI-Netzwerks: Überwachen Sie den in der KI-Cloud laufenden Datenverkehr auf Sichtbarkeit, identifizieren Sie Leistungsengpässe und seien Sie eine Schlüsselkomponente moderner automatisierter Netzwerkvalidierungslösungen.
• Höhere KI-Skalierbarkeit: Unterstützt die Skalierung auf 128 400G-Ports in einem Hop oder auf 8K-Ports in einer zweistufigen Spine-Topologie bei gleichzeitiger Beibehaltung hoher Leistungsniveaus und Unterstützung der KI-Cloud-Erweiterung.
• Schnellere Netzwerkeinrichtung: Automatische End-to-End-Konfiguration erweiterter Netzwerkfunktionen, vollständig optimiert für KI-Workloads.

Spectrum-4-Ethernet-Switch

Der Spectrum-4-Switch basiert auf einem 51.2-Tbit/s-ASIC und unterstützt bis zu 128 400G-Ethernet-Ports in einem einzigen 2U-Switch. Spectrum-4 ist der erste Ethernet-Switch, der für KI-Workloads entwickelt wurde. Für KI wurde RoCE erweitert:

• Adaptives RoCE-Routing
• RoCE-Leistungsisolation
• Effektive Bandbreitenverbesserung bei großflächigem Standard-Ethernet
• Geringe Latenz, geringer Jitter und kurze Tail-Latenz

NVIDIA Spectrum-4 400 Gigabit Managed Gigabit Ethernet Switches

BlueField-3 DPU

Die NVIDIA BlueField-3 DPU ist der Rechenzentrums-Infrastrukturchip der dritten Generation, der es Unternehmen ermöglicht, softwaredefinierte, hardwarebeschleunigte IT-Infrastrukturen von der Cloud über das Kernrechenzentrum bis zum Edge aufzubauen. Mit 400 Gbit/s Ethernet-Netzwerkkonnektivität kann die BlueField-3 DPU offLaden, beschleunigen und isolieren Sie softwaredefinierte Netzwerk-, Speicher-, Sicherheits- und Verwaltungsfunktionen und verbessern Sie so die Leistung, Effizienz und Sicherheit von Rechenzentren erheblich. BlueField-3 bietet mandantenfähige, sichere Leistungsfunktionen für Nord-Süd- und Ost-West-Verkehr in Cloud-KI-Rechenzentren mit Spectrum-X.

NVIDIA BlueField-3 400 Gbit/s Ethernet-DPU

BlueField-3 ist auf KI-Beschleunigung ausgelegt und integriert eine All-to-All-Engine für KI-, NVIDIA GPUDirect- und NVIDIA Magnum IO GPUDirect Storage-Beschleunigungstechnologien.

Darüber hinaus verfügt es über einen speziellen Netzwerkschnittstellenmodus (NIC), der den lokalen Speicher nutzt, um große KI-Clouds zu beschleunigen. Diese Clouds enthalten eine große Anzahl von Warteschlangenpaaren, auf die über lokale Adressen zugegriffen werden kann, anstatt Systemspeicher zu verwenden. Schließlich umfasst es die NVIDIA Direct Data Placement (DDP)-Technologie zur Verbesserung des adaptiven RoCE-Routings.

NVIDIA End-to-End Physical Layer (PHY)

Spectrum-X ist die einzige Ethernet-Netzwerkplattform, die vom Switch über die DPU bis zur GPU auf demselben 100G-SerDes-Kanal basiert und die SerDes-Technologie von NVIDIA nutzt.

NVIDIAs SerDes gewährleistet eine hervorragende Signalintegrität und die niedrigste Bitfehlerrate (BER), wodurch der Stromverbrauch der KI-Cloud erheblich reduziert wird. Diese leistungsstarke SerDes-Technologie erreicht in Kombination mit den Hopper-GPUs, dem Spectrum-4-, BlueField-3- und Quantum-InfiniBand-Produktportfolio von NVIDIA die perfekte Balance aus Energieeffizienz und Leistung.

Typische Spectrum-X-Netzwerktopologie

Die SerDes-Technologie spielt in der modernen Datenübertragung eine wichtige Rolle, da sie parallele Daten in serielle Daten und umgekehrt umwandeln kann.

Der einheitliche Einsatz der SerDes-Technologie über alle Netzwerkgeräte und Komponenten im Netzwerk oder System hinweg bringt viele Vorteile:

Kosten- und Energieeffizienz: Das von NVIDIA Spectrum-X verwendete SerDes ist für eine hohe Energieeffizienz optimiert und erfordert keine Getriebe im Netzwerk, die zur Überbrückung unterschiedlicher Datenraten verwendet werden. Der Einsatz von Getrieben erhöht nicht nur die Komplexität des Datenpfads, sondern erhöht auch die Kosten und den Stromverbrauch. Durch den Verzicht auf diese Getriebe reduzieren sich die Anfangsinvestition und die Betriebskosten im Zusammenhang mit Strom und Kühlung.

Effizienz des Systemdesigns: Der einheitliche Einsatz der besten SerDes-Technologie in der Rechenzentrumsinfrastruktur sorgt für eine bessere Signalintegrität, reduziert den Bedarf an Systemkomponenten und vereinfacht das Systemdesign. Gleichzeitig erleichtert der Einsatz der gleichen SerDes-Technologie auch die Bedienung und verbessert die Verfügbarkeit.

NVIDIA-Beschleunigungssoftware

NetQ

NVIDIA NetQ ist ein hoch skalierbares Netzwerkbetriebs-Toolset für KI-Netzwerktransparenz, Fehlerbehebung und Verifizierung in Echtzeit. NetQ nutzt NVIDIA-Switch-Telemetriedaten und NVIDIA DOCA-Telemetrie, um Einblicke in den Switch- und DPU-Zustand zu liefern und das Netzwerk in das MLOps-System des Unternehmens zu integrieren.

Darüber hinaus kann die NetQ-Verkehrstelemetrie die Flusspfade und Verhaltensweisen über Switch-Ports und RoCE-Warteschlangen hinweg abbilden, um die Flusssituation bestimmter Anwendungen zu analysieren.

NetQ-Beispiele analysieren und melden die Details zur Latenz (maximal, minimal und durchschnittlich) und zur Pufferbelegung auf jedem Flusspfad. Die NetQ-GUI meldet alle möglichen Pfade, die Details jedes Pfads und das Flussverhalten. Die Kombination von Telemetrie-Telemetrie und Verkehrstelemetrie hilft Netzwerkbetreibern, proaktiv die Grundursachen von Server- und Anwendungsproblemen zu identifizieren.

Spectrum SDK

Das NVIDIA Ethernet Switch Software Development Kit (SDK) bietet die Flexibilität zur Implementierung von Switching- und Routing-Funktionen mit komplexer Programmierbarkeit, die sich nicht auf Paketrate, Bandbreite oder Latenzleistung auswirkt. Mit dem SDK, Server- und Netzwerk-OEMs und dem Netzwerkbetriebssystem (NOS) können Anbieter die erweiterten Netzwerkfunktionen der integrierten Schaltkreise (ICs) der Ethernet-Switch-Serie nutzen, um flexible, innovative und kostenoptimierte Switching-Lösungen zu entwickeln.

NVIDIA DOCA

NVIDIA DOCA ist der Schlüssel zur Freisetzung des Potenzials der NVIDIA BlueField DPU. offLaden, Beschleunigen und Isolieren von Rechenzentrums-Workloads. Mit DOCA können Entwickler den wachsenden Leistungs- und Sicherheitsanforderungen moderner Rechenzentren gerecht werden, indem sie softwaredefinierte, cloudnative, DPU-beschleunigte Dienste mit Zero-Trust-Schutz erstellen.

Hauptfunktionen von NVIDIA Spectrum-X

Arbeitsprinzip des dynamischen Routings von NVIDIA RoCE

Das dynamische RoCE-Routing funktioniert durchgängig zwischen Spectrum-4-Switch und BlueField-3-DPU:

• Der Spectrum-4-Switch ist dafür verantwortlich, jedes Paket basierend auf dem Port mit der geringsten Überlastung auszuwählen und die Datenübertragung gleichmäßig zu verteilen. Wenn verschiedene Pakete desselben Flusses unterschiedliche Pfade des Netzwerks durchlaufen, gelangen sie möglicherweise ungeordnet am Ziel an.
• BlueField-3 DPU verarbeitet die Daten in der RoCE-Übertragungsschicht, um Anwendungen kontinuierliche Datentransparenz zu bieten. Der Spectrum-4-Switch bewertet die Überlastungssituation anhand der Auslastung der ausgehenden Warteschlange und stellt sicher, dass alle Ports hinsichtlich der Auslastung ausgeglichen sind. Der Switch wählt für jedes Netzwerkpaket eine Ausgabewarteschlange mit der geringsten Last aus. Der Spectrum-4-Switch empfängt auch Statusbenachrichtigungen von benachbarten Switches, die sich ebenfalls auf die Weiterleitungsentscheidung auswirken können. Die Auswertung umfasst Warteschlangen, die den Verkehrsklassen entsprechen. Daher kann Spectrum-X in großen Systemen und Hochlastszenarien eine effektive Bandbreite von bis zu 95 % erreichen.

2. Dynamisches NVIDIA RoCE-Routing und NVIDIA Direct Data Placement-Technologie

Nehmen wir als Nächstes ein Beispiel auf Datenpaketebene, um zu zeigen, wie sich KI-Flüsse im Spectrum-X-Netzwerk bewegen.

Es zeigt den kooperativen Prozess zwischen dem Spectrum-4-Switch und der BlueField-DPU auf Datenpaketebene.

Schritt 1: Die Daten stammen von einem Server oder GPU-Speicher auf der linken Seite des Diagramms und erreichen einen Server auf der rechten Seite.

Schritt 2: BlueField-3 DPU verpackt Daten in Netzwerkpakete und sendet sie an den ersten Spectrum-4-Blatt-Switch, während diese Pakete markiert werden, damit der Switch dynamisches RoCE-Routing für sie durchführen kann.

Schritt 3: Der linke Spectrum-4-Leaf-Switch wendet dynamisches RoCE-Routing an, um Datenpakete aus grünen und violetten Flüssen auszugleichen, und sendet die Pakete jedes Flusses an mehrere Spine-Switches. Dies erhöht die effektive Bandbreite gegenüber dem Standard Ethernet60 % gegenüber 95 % von Spectrum-X (1.6-fach).

Schritt 4: Diese Pakete kommen möglicherweise in der falschen Reihenfolge bei der BlueField-3 DPU auf der rechten Seite an.

Schritt 5: Die richtige BlueField-3-DPU nutzt die NVIDIA Direct Data Placement (DDP)-Technologie, um Daten in der richtigen Reihenfolge im Host-/GPU-Speicher zu platzieren.

RoCE Dynamic Routing-Ergebnisse

Um die Wirksamkeit des dynamischen RoCE-Routings zu überprüfen, haben wir einen ersten Test mit einem RDMA-Schreibtestprogramm durchgeführt. Im Test haben wir den Host in mehrere Paare aufgeteilt, und jedes Paar hat für eine bestimmte Zeit eine große Anzahl von RDMA-Schreibdatenströmen aneinander gesendet.

Das dynamische RoCE-Routing kann die Fertigstellungszeit verkürzen.

Wie in der Abbildung oben dargestellt, kommt es bei der statischen Weiterleitung auf Basis von Hash zu Konflikten am Uplink-Port, was zu einer längeren Fertigstellungszeit, einer verringerten Bandbreite und einer geringeren Fairness zwischen den Datenflüssen führt. Die Umstellung auf dynamisches Routing löst all diese Probleme.

Im ECMP-Diagramm weisen einige Flüsse eine ähnliche Bandbreite und Abschlusszeit auf, während bei anderen ein Konflikt auftritt, der zu einer längeren Abschlusszeit und einer geringeren Bandbreite führt. Insbesondere im ECMP-Szenario haben einige Flows eine beste Abschlusszeit T von 13 Sekunden, während der langsamste Flow 31 Sekunden für die Fertigstellung benötigt, was etwa 2.5-mal länger ist als die ideale Zeit T. Im dynamischen RoCE-Routingdiagramm alle Flows fast gleichzeitig fertig werden und ähnliche Spitzenbandbreiten aufweisen.

Dynamisches RoCE-Routing für KI-Workloads

Um die Leistung von RoCE-Workloads mit dynamischem Routing weiter zu bewerten, führten wir gängige KI-Benchmarks auf einer Testplattform durch, die aus 32 Servern in einer zweischichtigen Leaf-Spine-Netzwerktopologie bestand, die aus vier NVIDIA Spectrum-Switches aufgebaut war. Diese Benchmarks bewerteten gängige Set-Operationen und Netzwerkverkehrsmuster in verteilten KI-Trainings-Workloads wie All-to-All-Verkehr und All-Reduce-Set-Operationen.

Das dynamische RoCE-Routing verbessert die KI-Gesamtreduzierung

Das dynamische RoCE-Routing verbessert die KI insgesamt

Zusammenfassung des dynamischen RoCE-Routings

In vielen Fällen kann ECMP-basiertes Hash-basiertes Flow-Routing zu hoher Überlastung und instabilen Abschlusszeiten von Flows führen, was zu einer Verschlechterung der Anwendungsleistung führt. Das dynamische Routing von Spectrum-X RoCE löst dieses Problem. Diese Technologie verbessert den tatsächlichen Netzwerkdurchsatz (Goodput) und minimiert gleichzeitig die Instabilität der Abschlusszeit von Flows so weit wie möglich, wodurch die Anwendungsleistung verbessert wird. Durch die Kombination des dynamischen RoCE-Routings mit der NVIDIA Direct Data Placement (DDP)-Technologie auf der BlueField-3 DPU können Sie eine transparente Unterstützung für Anwendungen erreichen.

Verwendung der NVIDIA RoCE-Überlastungskontrolle zur Erzielung einer Leistungsisolation

Aufgrund einer Netzwerküberlastung kann es bei Anwendungen, die in KI-Cloud-Systemen ausgeführt werden, zu Leistungseinbußen und instabilen Laufzeiten kommen. Diese Überlastung kann durch den Netzwerkverkehr der Anwendung oder den Hintergrundnetzwerkverkehr anderer Anwendungen verursacht werden. Die Hauptursache für diese Überlastung ist die Mehr-zu-eins-Überlastung, was bedeutet, dass es mehrere Datensender und einen Datenempfänger gibt.

Das dynamische RoCE-Routing kann dieses Überlastungsproblem nicht lösen. Dieses Problem erfordert die Messung des Netzwerkverkehrs jedes Endpunkts. Die Überlastungskontrolle von Spectrum-X RoCE ist eine Punkt-zu-Punkt-Technologie, bei der der Spectrum-4-Switch Netzwerktelemetrieinformationen bereitstellt, um die Überlastungssituation im Netzwerk in Echtzeit darzustellen. Diese Telemetrieinformationen werden von der BlueField-3 DPU verarbeitet, die die Dateninjektionsrate der Datensender verwaltet und steuert, um die Effizienz des gemeinsam genutzten Netzwerks zu maximieren. Wenn es keine Überlastungskontrolle gibt, kann ein Multi-to-One-Szenario zu Netzwerküberlastung, Überlastungsausbreitung oder Paketverlust führen, was die Leistung des Netzwerks und der Anwendung erheblich beeinträchtigt.

Im Staukontrollprozess führt die BlueField-3 DPU einen Staukontrollalgorithmus aus, der zig Millionen Staukontrollereignisse pro Sekunde auf Mikrosekundenebene verarbeiten und schnelle und feinkörnige Ratenentscheidungen treffen kann. Der Spectrum-4-Switch bietet eine genaue Überlastungsschätzung mit interner Telemetrie für eine präzise Ratenschätzung und eine Portauslastungsanzeige, um eine schnelle Wiederherstellung zu erreichen. Die Überlastungskontrolle von NVIDIA ermöglicht es Telemetriedaten, die Warteschlangenverzögerung überlasteter Datenflüsse zu umgehen und gleichzeitig genaue Telemetrieinformationen bereitzustellen, wodurch die Erkennungs- und Reaktionszeit erheblich verkürzt wird.

Das folgende Beispiel zeigt, wie es in einem Netzwerk zu einer Multi-to-One-Überlastung kam und wie Spectrum-X Verkehrsmessungen und interne Telemetrie für die RoCE-Überlastungskontrolle nutzte.

Eine Überlastung des Netzwerks führt zu gestörten Streams

Diese Abbildung zeigt einen Fluss, der von einer Netzwerküberlastung betroffen ist. Vier Quell-DPUs senden Daten an zwei Ziel-DPUs. Quelle 1, 2 und 3 senden Daten an Ziel 1 und nutzen dabei die verfügbare Verbindungsbandbreite für drei Fünftel. Quelle 4 sendet Daten über einen mit Quelle 2 gemeinsam genutzten Leaf-Switch an Ziel 3, wodurch Ziel 2 die verfügbare Verbindungsbandbreite für zwei Fünftel erhält.

Wenn es keine Überlastungskontrolle gibt, verursachen die Quellen 1, 2 und 3 ein Überlastungsverhältnis von drei zu eins, da sie alle Daten an Ziel 1 senden. Diese Überlastung führt zu Gegendruck vom Leaf-Switch, der mit Quelle 1 und Ziel 1 verbunden ist . Quelle 4 wird zu einem überlasteten Fluss, dessen Durchsatz am Ziel 2 um XNUMX Prozent auf die verfügbare Bandbreite sinkt (erwartete Leistung um XNUMX Prozent). Dies wirkt sich negativ auf die Leistung von KI-Anwendungen aus, die von der Durchschnitts- und Worst-Case-Leistung abhängen.

Spectrum-X löst Stauprobleme durch Verkehrsmessung und Telemetrie

Die Abbildung zeigt, wie Spectrum-X das Überlastungsproblem in Abbildung 14 gelöst hat. Sie zeigt dieselbe Testumgebung: vier Quell-DPUs senden Daten an zwei Ziel-DPUs. In dieser Situation verhindert die Verkehrsmessung der Quellen 1, 2 und 3, dass es bei Leaf-Switches zu einer Überlastung kommt. Dadurch wird der Gegendruck auf Quelle 4 eliminiert, sodass die erwartete Bandbreite von zwei Fünfteln erreicht werden kann. Darüber hinaus nutzt Spectrum-4 interne Telemetrieinformationen, die von What Just Happened generiert werden, um Flusspfade und Warteschlangenverhalten dynamisch neu zuzuweisen.

RoCE-Leistungsisolierung

Die KI-Cloud-Infrastruktur muss eine große Anzahl von Benutzern (Mandanten) und parallele Anwendungen oder Arbeitslasten unterstützen. Diese Benutzer und Anwendungen konkurrieren um gemeinsam genutzte Ressourcen in der Infrastruktur, beispielsweise im Netzwerk, was sich auf ihre Leistung auswirken kann.

Darüber hinaus müssen alle in der Cloud ausgeführten Workloads koordiniert und synchronisiert werden, um die Netzwerkleistung der NVIDIA Collective Communication Library (NCCL) für KI-Anwendungen in der Cloud zu optimieren. Die traditionellen Vorteile der Cloud, wie Elastizität und hohe Verfügbarkeit, haben nur begrenzte Auswirkungen auf die Leistung von KI-Anwendungen, während Leistungseinbußen ein wichtigeres globales Problem darstellen.

Die Spectrum-X-Plattform umfasst mehrere Mechanismen, die in Kombination eine Leistungsisolation erreichen können. Dadurch wird sichergestellt, dass ein Workload die Leistung eines anderen Workloads nicht beeinträchtigt. Diese Dienstqualitätsmechanismen stellen sicher, dass keine Arbeitslast eine Netzwerküberlastung verursacht, die sich auf die Datenübertragung anderer Arbeitslasten auswirken kann.

Durch die Verwendung des dynamischen RoCE-Routings wurde ein feinkörniger Datenpfadausgleich erreicht und Datenflusskonflikte durch den Leaf-Switch und den Spine-Switch vermieden, wodurch eine Leistungsisolation erreicht wurde. Durch die Ermöglichung der RoCE-Überlastungskontrolle mit Verkehrsmessung und Telemetrie wird die Leistungsisolation weiter verbessert.

Darüber hinaus verfügt der Spectrum-4-Switch über ein globales Shared-Puffer-Design, um die Leistungsisolation zu fördern. Der gemeinsam genutzte Puffer sorgt für Bandbreitengerechtigkeit für Datenströme unterschiedlicher Größe, schützt Workloads vor Beeinträchtigungen durch verrauschte Nachbardatenströme mit demselben Zielportziel in Szenarien mit mehreren Datenströmen, die auf denselben Zielport abzielen, und absorbiert kurzfristige Übertragungen besser, wenn mehrere Datenströme darauf abzielen verschiedene Zielhäfen.