Zukünftige Netzwerkvision für KI-Zentren: Aristas Transformationsreise

Entwicklung und Herausforderungen der KI-Netzwerkarchitektur

Bei der Diskussion von KI-Netzwerken können zwei wichtige Dimensionen analysiert werden. Die erste Dimension ist die grundlegende Netzwerkarchitektur, die für KI bereitgestellt wird. Die zweite Dimension ist die Anwendung der KI-Technologie im Netzwerkbetrieb und in der Netzwerkwartung. Wir haben verschiedene Funktionen und Lösungen integriert, um unsere internen Systeme zu verbessern, darunter KI-Operationen (AIOps) und Beobachtbarkeit. Unsere Switches sind mit mehreren Sensoren und Sicherheitsfunktionen wie Smart System Upgrade (SSU) ausgestattet, die Kernfunktionen von KI-Netzwerken sind. Die SSU-Funktion ermöglicht nahtlose Sicherheitspatch-Updates und Systemupgrades bei gleichzeitiger Aufrechterhaltung des Betriebs kritischer Netzwerkdienste und unterstützt prädiktive Analysen.

Alle Arista-Produkte, ob Campus-Switches, WAN-Router oder große 400G-Rechenzentrums-Switches mit 576 Ports, laufen auf demselben Extensible Operating System (EOS). Darüber hinaus werden alle Produkte über die einheitliche Softwareplattform CloudVision verwaltet, wodurch Kunden durchgängige, qualitativ hochwertige Lösungen erhalten, die eine konsistente Leistung in verschiedenen Umgebungen gewährleisten. Diese Einheitlichkeit wird von den Kunden sehr geschätzt.

Traditionell wurden Netzwerke in isolierten Silos betrieben. Beispielsweise hatten wir das Frontend-Netzwerk und das Backend-Netzwerk in Rechenzentren, wobei das Backend-Netzwerk hauptsächlich aus HPC bestand, das von InfiniBand dominiert wurde. Mit der Weiterentwicklung der KI-Technologie erleben wir eine Verschiebung von traditionellen Rechenzentren zu KI-zentrierten Zentren. In KI-Zentren verbindet das Backend-Netzwerk GPUs, während das Frontend-Netzwerk traditionelle Rechenzentrumsnetzwerke, Speichersysteme und WANs verbindet und im Wesentlichen alle Netzwerkkomponenten abdeckt, die zum Aufbau eines einheitlichen KI-Zentrums erforderlich sind.

Eine Folie der 650 Group veranschaulicht die historische Entwicklung und die zukünftige Prognose der Portgeschwindigkeiten von Rechenzentren. Wie dargestellt, befinden sich Hochgeschwindigkeitsports auf einem signifikanten Wachstumskurs. Die Grafik konsolidiert 800G- und 1.6T-Geschwindigkeiten, was Sinn macht – 800G basiert auf 8x100G SERDES, während 1.6T 16x100G oder 8x200G SERDES verwendet. Dieses Wachstum wird zu etwa 30 % bis 40 % durch die KI-Netzwerknachfrage getrieben, was die Erweiterung von KI-Clustern, insbesondere Trainingsclustern, widerspiegelt. Mit Blick auf die Zukunft werden auch Inferenzoperationen dieses Wachstum vorantreiben. Daher müssen die I/O-Fähigkeiten mit den Leistungsverbesserungen der GPU Schritt halten. Auf der rechten Seite der Grafik zeigt der 51.2T-ASIC die schnellste Akzeptanzrate der Geschichte und markiert einen schnellen Übergang von 25.6T auf 51.2T, wobei 100T-Chips möglicherweise in noch schnellerem Tempo folgen. Traditionell dauerten Geschwindigkeitsverbesserungen mehrere Jahre, doch aufgrund der Nachfrage im KI-Bereich finden heute alle 1.5 bis 2 Jahre technologische Veränderungen statt, um den Bandbreitenbedarf von GPUs und anderen Beschleunigern zu decken.

Von traditionellen Rechenzentren zu KI-Zentren: Aristas Transformationsreise

Architektonische Transformation: Herkömmliche Rechenzentrumsnetzwerke verwenden in der Regel eine mehrstufige Architektur, wobei das Frontend-Netzwerk Benutzergeräte und externe Netzwerke verbindet und das Backend-Netzwerk hauptsächlich InfiniBand-Technologie verwendet, um den Anforderungen des High-Performance-Computing (HPC) gerecht zu werden. Mit der rasanten Weiterentwicklung der KI-Technologie verlagern sich die Designphilosophien für Rechenzentren jedoch hin zu KI-zentrierten Modellen.

Komponentenreorganisation: In KI-Rechenzentrumsarchitekturen verbindet das Backend-Netzwerk GPUs, während das Frontend-Netzwerk weiterhin traditionelle Rechenzentrumsnetzwerke, Speichersysteme und WANs verbindet. Dadurch entsteht eine umfassende Netzwerkumgebung, die sich auf KI-Workloads konzentriert.

Was modulare Systeme betrifft, so verfügen die führenden KI-Backbone-Produkte von Arista über die größten Gehäusedesigns und unterstützen bis zu 576 800G-Ports. Diese Konfiguration ermöglicht die Verbindung kleinerer Netzwerke mit einem großen Gehäuse, wodurch über 1100 400G-Ports erreicht werden – was fast ein halbes Petabyte Bandbreite aus einem einzigen Gehäuse liefert. Für größere Cluster, beispielsweise solche mit Zehn- oder Hunderttausenden von GPUs, verwendet das optimale Design eine Dual-Layer-Leaf-Spine-Netzwerkarchitektur für das Backend. Die Aufrechterhaltung dieser Dual-Layer-Struktur ist in KI-Szenarien von entscheidender Bedeutung, da der Lastausgleich ein Hauptanliegen ist. Die Gewährleistung einer angemessenen Verkehrsverteilung hilft, Überlastungen zu vermeiden, verhindert, dass einzelne GPUs die gesamte Arbeitslast verlangsamen, reduziert Unterbrechungen und senkt den Stromverbrauch von Hochleistungsnetzwerken.

Herausforderungen von KI-Workloads in Netzwerken

Bandbreitenbedarf: Der Umfang und die Rechenleistungsanforderungen von KI-Modellen wachsen exponentiell, was zu einem starken Anstieg des Bedarfs an Netzwerkbandbreite führt.

Burst-Verkehr: Jeder Datenstrom von KI-Trainingsservern erzeugt Burst-Verkehr mit Leitungsgeschwindigkeit, der normalerweise nur 4–8 Datenströme umfasst. Dieses Muster kann jedoch zu erheblichen Netzwerküberlastungen führen.

Latenz-Engpässe: Beim verteilten Rechnen wird der langsamste Verkehrspfad zum Engpass, und jede Netzwerklatenz kann sich erheblich auf die Gesamtleistung auswirken.

Verkehrsüberwachung: Die Überwachung und Fehlerbehebung des KI-Verkehrs ist aufgrund seiner hohen Geschwindigkeit und stoßweisen Natur äußerst anspruchsvoll, weshalb herkömmliche Überwachungstools nicht ausreichen.

Aristas KI-Netzwerklösungen

Arista bietet eine umfassende Suite an KI-Netzwerklösungen, die leistungsstarke Switch-Plattformen, innovative Netzwerkarchitekturen, erweiterte Softwarefunktionen und effiziente optische Technologien umfasst, um die verschiedenen Herausforderungen zu bewältigen, die KI-Workloads mit sich bringen.

Hochleistungs-Ethernet-Switches:

Produktlinie: Arista bietet eine vollständige Palette an 800G-Ethernet-Switches, einschließlich fester Konfigurationen und modularer Systeme.

Etherlink AI-Serie:

Systeme mit fester Konfiguration: Mit dem Broadcom 512T-Chip, ausgestattet mit 64 800G-Ports (entspricht 128 400G-Ports), geeignet für kleine bis mittelgroße KI-Workloads.

Modulare Systeme: Flaggschiff-KI-Backbone-Produkte, die bis zu 576 800G-Ports pro Gehäuse unterstützen, ideal für extrem große Rechenzentren.

7700-Serie: Verteilte Etherlink-Systeme verwenden ein Single-Hop-Design, das die Erweiterung auf 32,000 GPUs unterstützt und so den Rechenleistungsanforderungen in größerem Maßstab gerecht wird.

Betriebssystem: Alle Switches laufen auf Arista EOS (Extensible Operating System) und werden einheitlich über die CloudVision-Plattform verwaltet, was die Verwaltungseffizienz verbessert.

Das 51.2-Tbps-Gehäuse von Arista, das in einem 5-Nanometer-Prozess hergestellt und mit 64 800G-Ports ausgestattet wird, ist die derzeit energieeffizienteste Wahl. In KI-Clustern sind Lastausgleich und Energieverbrauch die beiden größten Herausforderungen, wobei Energieeffizienz für die Kunden ein großes Anliegen ist. Die Branche bewegt sich in Richtung Linear Pluggable Optics (LPO), um sowohl die Energieeffizienz optischer Module als auch des Netzwerks zu verbessern. Energieeinsparungen auf der Netzwerkseite können auf mehr GPUs oder xPUs umverteilt werden.

Dies stellt eine intelligente Hardware-Innovation dar. Laut Rückmeldungen von Großkunden ist das Entfernen aller Kabel, das Zerlegen des Gehäuses und die Durchführung von Reparaturen, wenn eine Komponente im Gehäuse ausfällt, eine mühsame Aufgabe. Normalerweise sind die Komponenten mit der kürzesten mittleren Betriebsdauer zwischen Ausfällen (MTBF) Speicher (RAM), Solid-State-Laufwerke (SSD) oder Zentraleinheiten (CPU). Um dieses Problem zu lösen, ermöglicht unser Systemdesign das Entfernen des gesamten CPU-Moduls, nachdem die beiden Lüfter auf der rechten Seite entfernt wurden.

Ein weiterer Vorteil dieses Designs ist, dass es den Sicherheitsanforderungen einiger Kunden in Bezug auf proprietäre Daten auf SSDs gerecht wird. Da das CPU-Modul unabhängig entfernt werden kann, können Kunden diese Daten während der Wartung sicher handhaben. Dieses Design bietet erheblichen Komfort und stellt eine bedeutende Hardware-Innovation dar.

Das 7700R4, ein Produkt der neuesten Generation, ist mit 800G-Line Cards ausgestattet. In seiner größten Konfiguration kann das Chassis bis zu 1,152 400G-Ports unterstützen und damit fast ein halbes Petabyte Datendurchsatz liefern. Dieses Chassis verwendet eine vollständig zellenbasierte Virtual Output Queuing (VOQ)-Architektur, die eine perfekte Lastverteilung gewährleistet. Dieses Design eignet sich besonders für Kunden, die kleine Cluster aufbauen, für die ein einzelnes Chassis ausreicht; es dient auch als ideales KI-Backbone-Netzwerkgerät für Kunden, die große Cluster aufbauen.

Innovative Lastausgleichstechnologien

• Herausforderung: Herkömmliche ECMP-Algorithmen (Equal-Cost Multi-Path) sind bei der Handhabung des KI-Verkehrs ineffizient. Daher hat Arista verschiedene gezielte Lösungen zum Lastenausgleich entwickelt:
• Überlastungsbewusstes Layout: Verteilt den Datenverkehr basierend auf der Netzwerklast in Echtzeit intelligent auf verschiedene Uplinks und reduziert so das Überlastungsrisiko.
• RDMA-basierter Lastausgleich: Verwendet Softwarealgorithmen, um einen präzisen Lastausgleich basierend auf RDMA-Verkehrsmerkmalen zu erreichen.
• Distributed Etherlink Switch (DES): Löst Lastausgleichsprobleme durch Paketweiterleitung auf Hardwareebene und verwendet ein Single-Hop-Verbindungsschema zur Reduzierung der Latenz.
• Architekturdesign: Verfügt über eine Dual-Layer-Netzwerkarchitektur, die in der Praxis nur einen Hop erfordert, wobei sich der Hauptchip im Leaf-Switch befindet und der Spine als Hochgeschwindigkeits-Switching-Gerät fungiert.
• Packet Spray Transmission Protocol: Eine zukünftige Alternative zum RDMA-Protokoll, die dafür entwickelt wurde, Pakete außerhalb der Reihenfolge zu verarbeiten und die Stabilität der Datenübertragung effektiv zu verbessern.

Unterschied zwischen Virtual Output Queuing (VOQ) und RDMA-gestütztem Lastausgleich: VOQ bezieht sich auf die Architektur innerhalb des Gehäuses, die virtuelle Ausgabewarteschlangen verwendet, um Pakete zwischen Eingangs- und Ausgangsports zuzuweisen, was ein vollständig geplanter Prozess ist. Im Gegensatz dazu umfasst RDMA-gestützter Lastausgleich dynamischen Lastausgleich mit einem besonderen Fokus auf RDMA-Verkehrseigenschaften, wodurch Lastausgleich oder Hashing basierend auf diesem Verkehr möglich ist.

Das Diagramm bietet einen umfassenden Überblick über die Netzwerkarchitektur und umfasst sowohl traditionelle Front-End-Netzwerke als auch dedizierte Back-End-KI-Netzwerke. Je nach Clustergröße können die Konfigurationen kleinere feste Chassis, Racks oder eine Mischung aus beidem umfassen. Für extrem große Cluster kann sogar eine dreistufige Architektur in Betracht gezogen werden.

Sowohl das KI-Backend als auch das KI-Frontend erfordern dedizierte Speichersysteme. Darüber hinaus sind WAN-Verbindungen erforderlich. Diese Übersicht stellt die Gesamtarchitektur eines großen KI-Netzwerks dar.

Erweiterte Visualisierungsfunktionen

• Tools zur Netzwerküberwachung: Herkömmliche Methoden zur Netzwerküberwachung haben Schwierigkeiten, Schwankungen im Mikrosekundenbereich im KI-Verkehr zu erfassen. Arista bietet verschiedene innovative Überwachungstools:
• KI-Analysator: Erfasst Verkehrsstatistiken in 100-Mikrosekunden-Intervallen und bietet detaillierte Einblicke in das Netzwerkverhalten, sodass Überlastungen und Probleme beim Lastausgleich schnell erkannt werden können.
• AI Agent: Erweitert EOS auf NIC-Server und ermöglicht so eine zentrale Verwaltung und Überwachung von ToR- und NIC-Verbindungen.
• Automatische Erkennung: Der AI-Agent kann Konfigurationen zwischen Switches und NICs automatisch erkennen und synchronisieren und unterstützt verschiedene NIC-Plugin-Erweiterungen.
• Datenerfassung: Sammelt NIC-Zählerdaten und bietet eine umfassendere Netzwerkansicht und erweiterte Analysefunktionen.

Umfassende Mechanismen zur Überlastungskontrolle

• Techniken zur Überlastungsbewältigung: Arista setzt mehrere Techniken zur effektiven Bewältigung von Netzwerküberlastungen ein, darunter:
• Priority Flow Control (PFC): Verhindert Paketverluste, die durch die Aggregation des Last-Hop-Verkehrs verursacht werden, durch Priority Flow Control.
• Explicit Congestion Notification (ECN): Reduziert die Datenübertragungsgeschwindigkeit bei einer Überlastung des PCI-Busses und vermeidet so Netzwerkabstürze.
• Telemetrie im Netzwerk: Bietet detaillierte Informationen zur Warteschlangentiefe bei Netzwerküberlastung und ermöglicht so eine Echtzeitüberwachung und -optimierung.

Garantie für hohe Zuverlässigkeit:

• Hochverfügbarkeitstechnologien: Arista bietet verschiedene Funktionen, um die Hochverfügbarkeit von KI-Netzwerken sicherzustellen:
• Unterbrechungsfreie Upgrades (SSU): Unterstützt EOS-Versions-Upgrades ohne Ausfallzeiten.
• Data Plane Optimization: Optimiert die Chipleistung, um einen stabilen Netzwerkbetrieb zu gewährleisten.
• Umfassende L1-Link-Überwachung: Überwacht den Status von 400,000 optischen Modulen in Echtzeit und identifiziert und behebt Fehler umgehend, um die Netzwerkzuverlässigkeit sicherzustellen.

Aristas Kronjuwel: EOS (Extensible Operating System) und seine Funktionen:

In einer KI-Umgebung ist Lastausgleich von entscheidender Bedeutung. Wir bieten verschiedene Funktionen, darunter Dynamic Load Balancing (DLB), Congestion Load Balancing (CLB), RDMA-Header-basiertes Hashing, Data Center Quantized Congestion Notification (DCQCN), Explicit Congestion Notification (ECN) und Priority Flow Control (PFC)-Überlastungskontrollmethoden. Darüber hinaus bieten wir erweiterte Funktionen wie PFC-Watchdog und Multi-Tenant-Optionen.

Wenn Sie GPU- oder xPU-Cluster erstellen und diese als Service anbieten möchten, sind Segmentierungs- und Multi-Tenancy-Funktionen erforderlich. Hier kommen Virtual Extensible LAN (VXLAN) und Ethernet Virtual Private Network (EVPN) ins Spiel. Nach der Bereitstellung sind Überwachung und Visualisierung unerlässlich, um auf Telemetriedaten zuzugreifen, Engpässe und fehlerhafte Verbindungen zu identifizieren und die Zuverlässigkeit und Robustheit des Netzwerks sicherzustellen.

Optische Technologie und zukünftige Trends

Linear Pluggable Optics (LPO):

• Designmerkmale: Der 800G LPO verwendet ein lineares Design, wodurch Kosten und Stromverbrauch erheblich reduziert werden.
• Zukunftsaussichten: Der 1.6-T-LPO kann den Stromverbrauch weiter senken und soll bis 2025 in großem Maßstab produziert werden. Damit wird er zu einer Schlüsseltechnologie zur Reduzierung des Stromverbrauchs in KI-Clustern.

In Netzwerken ist es ebenso wichtig. Bei der Untersuchung der optischen 400G-Technologie wird eine Nichtübereinstimmung zwischen elektrischen und optischen Signalen beobachtet. Elektrische Signale sind 8 x 50G, während optische Signale 4 x 100G sind, was ein Getriebe erfordert, um das elektrische 50G-Signal in ein optisches 100G-Signal umzuwandeln. Neben der Signalumwandlung verfügt das Getriebe auch über Signalverstärkungsfunktionen. Welche Rolle spielt das Getriebe? Es sorgt für eine Leistungsverstärkung des optischen Signals, erhöht aber auch die Kosten. Bei 800G-Geschwindigkeiten ist die Situation linear, was eine günstige Eigenschaft ist. Elektrische Signale sind 8 x 100G PAM-4 und optische Signale sind ebenfalls 8 x 100G PAM-4, was zu einer perfekten Übereinstimmung der optischen Signalgeschwindigkeiten führt, was zu den niedrigsten Kosten und einem einfacheren optischen Design führt.

Integration auf Rack-Ebene:

• Integrationslösung: Integration mehrerer GPUs und Netzwerktechnologie in dasselbe Rack durch Verwendung optischer Kupferkabelverbindungen zur Verbesserung der Gesamtleistung.
• Fallanalyse: Das NVL72-Rack von Nvidia integriert 72 GPUs mit einem Stromverbrauch von bis zu 120 Kilowatt. Die Integration auf Rack-Ebene bietet zwar Kosten- und Stromverbrauchsvorteile, bringt aber auch Herausforderungen beim Wärmemanagement mit sich.

Wenn Sie neugierig auf die am häufigsten verwendeten optischen Verbindungsschemata in KI-Clustern sind, verwenden die meisten KI-Cluster ein End-of-Rack-Design. Hier wird 800G VSR4 verwendet, das eine Übertragungsdistanz von 50 Metern bietet, ausreichend, um jede GPU vom Ende des Racks aus anzuschließen. Zwischen Leaf und Spine kann XDR4 oder FR4 verwendet werden; eines unterstützt Übertragungen bis zu 500 Meter, das andere bis zu 2 Kilometer.

Ultra-Ethernet-Konsortium (UEC):

• Organisatorischer Hintergrund: Arista ist eines der Gründungsmitglieder von UEC und fördert aktiv die Entwicklung der Ethernet-Technologie.
• Technische Ziele: UEC zielt darauf ab, die Netzwerkherausforderungen zu bewältigen, die durch KI- und HPC-Workloads entstehen, einschließlich Übertragungsprotokollen, Überlastungskontrolle und Packet-Spray-Technologie.
• Veröffentlichung der Spezifikationen: UEC wird voraussichtlich später im Jahr 2024 Spezifikationen für mehrschichtige Netzwerke veröffentlichen und damit die Standardisierung der Branche vorantreiben.

Skalierung von KI-Netzwerken:

• Architekturunterstützung: Arista bietet verschiedene Netzwerkarchitekturen zur Unterstützung von KI-Clustern unterschiedlicher Größe, darunter:
• Dual-Layer-Leaf-Spine-Architektur: Geeignet für kleine bis mittelgroße Cluster und bietet eine effiziente Bandbreitennutzung.
• Dreistufige Netzwerkarchitektur: Geeignet für Cluster mit sehr großem Maßstab, verbessert die Netzwerkskalierbarkeit.
• Mehrstufige Netzwerkarchitektur: Erweitert den Netzwerkmaßstab durch mehrere unabhängige Ebenen und unterstützt so eine höhere Parallelität.
• Verteilte Planungsarchitektur: Erzielt logische Single-Hop-Verbindungen und unterstützt Erweiterungsanforderungen auf bis zu 32,000 GPUs.
• Marktnachfrage: Der Aufbau extrem großer KI-Cluster ist kostspielig, doch die steigende Nachfrage des Marktes nach Hochleistungsrechnen und Big Data-Verarbeitung treibt Innovation und Entwicklung in verwandten Technologien weiter voran.