InfiniBand vs. RoCE Intelligent Computing Network

Wenn wir uns tiefer mit dem Bereich der KI-Computernetzwerke befassen, stellen wir fest, dass es auf dem Markt zwei gängige Architekturen gibt: InfiniBand und RoCEv2.

Diese beiden Netzwerkarchitekturen konkurrieren in Bezug auf Leistung, Kosten, Vielseitigkeit und andere wichtige Dimensionen miteinander. Wir werden die technischen Merkmale dieser beiden Architekturen, ihre Anwendungsszenarien in intelligenten KI-Computernetzwerken sowie ihre jeweiligen Vorteile und Einschränkungen analysieren. Ziel dieses Artikels ist es, den potenziellen Anwendungswert und die zukünftige Entwicklungsrichtung von InfiniBand und RoCEv2 in KI-Computernetzwerken zu bewerten, um der Branche tiefe Einblicke und professionelle Anleitung zu bieten.

InfiniBand

Netzwerkarchitektur InfiniBand-Netzwerke werden hauptsächlich zentral über einen Subnetzmanager (SM) verwaltet. SM wird normalerweise auf einem Server bereitgestellt, der mit dem Subnetz verbunden ist, und fungiert als zentraler Controller des Netzwerks. In einem Subnetz können mehrere Geräte als SMs konfiguriert sein, aber nur eines wird als Master-SM bezeichnet, der für die Verwaltung aller Switches und Netzwerkkarten durch die interne Verteilung und den Upload von Management Data Messages (MAD) verantwortlich ist. Jeder Netzwerkkartenport und Switch-Chip wird durch eine eindeutige Kennung (Local ID, LID) identifiziert, die vom SM zugewiesen wird, um die Einzigartigkeit und Genauigkeit des Geräts innerhalb des Netzwerks sicherzustellen. Zu den Hauptaufgaben des SM gehören die Pflege der Routing-Informationen des Netzwerks sowie die Berechnung und Aktualisierung der Routing-Tabelle des Switch-Chips. Die SM-Agent-Funktion (SMA) innerhalb der Netzwerkkarte ermöglicht es der Netzwerkkarte, vom SM gesendete Nachrichten unabhängig und ohne Eingreifen des Servers zu verarbeiten, wodurch die Automatisierung und Effizienz des Netzwerks verbessert wird.

Diagramm der InfiniBand-Netzwerkarchitektur

• InfiniBand-Netzwerk-Flusskontrollmechanismus

Das InfiniBand-Netzwerk basiert auf einem Kreditmechanismus und jede Verbindung ist mit einem voreingestellten Puffer ausgestattet. Der Sender beginnt erst mit dem Senden von Daten, nachdem er bestätigt hat, dass der Empfänger über genügend Puffer verfügt, und die gesendete Datenmenge kann die maximale Kapazität des voreingestellten Puffers, der dem Empfänger derzeit zur Verfügung steht, nicht überschreiten. Wenn das empfangende Ende eine Nachricht empfängt, gibt es den Puffer frei und informiert das sendende Ende über die derzeit verfügbare voreingestellte Puffergröße, wodurch der reibungslose Betrieb des Netzwerks und die Kontinuität der Datenübertragung aufrechterhalten werden.

• InfiniBand-Netzwerkfunktionen:

Flusskontrolle auf Verbindungsebene und adaptives Routing InfiniBand-Netzwerke verlassen sich auf Flusskontrollmechanismen auf Verbindungsebene, um zu verhindern, dass zu viele Daten gesendet werden, und vermeiden dadurch Pufferüberläufe oder Datenpaketverluste. Gleichzeitig kann die adaptive Routing-Technologie des InfiniBand-Netzwerks eine dynamische Routing-Auswahl basierend auf den spezifischen Umständen jedes Datenpakets durchführen, wodurch eine Echtzeitoptimierung der Netzwerkressourcen und ein optimaler Lastausgleich in extrem großen Netzwerkumgebungen erreicht werden.

RoCEv2

Netzwerkarchitektur Das RoCE-Protokoll (RDMA over Converged Ethernet) ist ein Cluster-Netzwerkkommunikationsprotokoll, das RDMA (Remote Direct Memory Access) auf Ethernet ausführen kann. Es gibt zwei Hauptversionen des Protokolls: RoCEv1 und RoCEv2. Als Verbindungsschichtprotokoll erfordert RoCEv1, dass sich beide Kommunikationsparteien im selben Layer-2-Netzwerk befinden. RoCEv2 ist ein Netzwerkschichtprotokoll, das die Ethernet-Netzwerkschicht und die UDP-Transportschicht verwendet, um die InfiniBand-Netzwerkschicht zu ersetzen und so eine bessere Skalierbarkeit bietet. Im Gegensatz zur zentralisierten Verwaltung von InfiniBand-Netzwerken verwendet RoCEv2 eine rein verteilte Architektur, die normalerweise aus zwei Schichten besteht, was erhebliche Vorteile hinsichtlich Skalierbarkeit und Bereitstellungsflexibilität bietet.

Architekturdiagramm des RoCEv2-Netzwerks

• Flusskontrollmechanismus des RoCEv2-Netzwerks

Priority Flow Control (PFC) ist eine Hop-by-Hop-Flusssteuerungsstrategie, die den Switch-Cache durch geeignete Konfiguration des Wasserzeichens voll ausnutzt, um eine verlustfreie Übertragung in Ethernet-Netzwerken zu erreichen. Wenn der Puffer eines Downstream-Switch-Ports überlastet ist, fordert der Switch das Upstream-Gerät auf, die Übertragung zu stoppen. Die gesendeten Daten werden im Cache des Downstream-Switches gespeichert. Wenn der Cache wieder normal ist, fordert der Port die Wiederaufnahme des Sendens von Datenpaketen an, wodurch der reibungslose Betrieb des Netzwerks aufrechterhalten wird. Explicit Congestion Notification (ECN) definiert einen Flusssteuerungs- und End-to-End-Überlastungsbenachrichtigungsmechanismus basierend auf der IP-Schicht und der Transportschicht. Der Zweck der Überlastungskontrolle wird erreicht, indem spezifische Überlastungsinformationen an den Server auf dem Switch übertragen werden, und der Server sendet sie dann an den Client, um das Quellende zu benachrichtigen, langsamer zu werden. Data Center Quantized Congestion Notification (DCQCN) ist eine Kombination aus Explicit Congestion Notification (ECN)- und Priority Flow Control (PFC)-Mechanismen, die zur Unterstützung einer verlustfreien End-to-End-Ethernet-Kommunikation entwickelt wurden. Das Kernkonzept besteht darin, ECN zu verwenden, um den Absender zu benachrichtigen, die Übertragungsrate bei Netzwerküberlastung zu reduzieren, eine unnötige Aktivierung von PFC zu verhindern und einen durch starke Überlastung verursachten Pufferüberlauf zu vermeiden. Durch diese feinkörnige Flusssteuerung kann DCQCN Datenverluste aufgrund von Überlastung vermeiden und gleichzeitig einen effizienten Netzwerkbetrieb aufrechterhalten.

• RoCEv2-Netzwerkfunktionen: starke Kompatibilität und Kostenoptimierung

RoCE-Netzwerke nutzen RDMA-Technologie, um eine effiziente Datenübertragung zu erreichen, ohne die CPU-Zyklen von Remote-Servern zu beanspruchen. Dadurch wird die Bandbreite voll ausgenutzt und die Netzwerkskalierbarkeit verbessert. Dieser Ansatz reduziert die Netzwerklatenz erheblich und erhöht den Durchsatz, wodurch die Gesamtnetzwerkleistung verbessert wird. Ein weiterer wesentlicher Vorteil der RoCE-Lösung besteht darin, dass sie nahtlos in die vorhandene Ethernet-Infrastruktur integriert werden kann. Dies bedeutet, dass Unternehmen einen Leistungssprung erzielen können, ohne in neue Geräte investieren oder Geräte ersetzen zu müssen. Diese kostengünstige Methode zur Netzwerkaktualisierung ist entscheidend für die Reduzierung der Investitionsausgaben eines Unternehmens und macht RoCE zur bevorzugten Lösung zur Verbesserung der Netzwerkleistung in intelligenten Rechenzentren.

Technische Unterschiede zwischen InfiniBand und RoCEv2

Die vielfältigen Anforderungen an Netzwerke auf dem Markt haben zur gemeinsamen Entwicklung der Netzwerkarchitekturen InfiniBand und RoCEv2 geführt. InfiniBand-Netzwerke haben aufgrund ihrer fortschrittlichen Technologien erhebliche Vorteile bei der Serviceleistung auf Anwendungsebene gezeigt, wie z. B. effiziente Weiterleitungsleistung, schnelle Fehlerbehebungszeit, verbesserte Skalierbarkeit sowie Betriebs- und Wartungseffizienz. Insbesondere können sie in groß angelegten Szenarien eine hervorragende Netzwerkdurchsatzleistung bieten.

Vergleichstabelle für InfiniBand-Netzwerk und RoCEv2-Technologie

Das RoCEv2-Netzwerk wird aufgrund seiner großen Vielseitigkeit und niedrigen Kosten bevorzugt. Es eignet sich nicht nur zum Aufbau leistungsstarker RDMA-Netzwerke, sondern ist auch nahtlos mit der vorhandenen Ethernet-Infrastruktur kompatibel. Dies verleiht RoCEv2 klare Vorteile in Bezug auf Breite und Anwendbarkeit und kann Netzwerkanwendungen unterschiedlicher Größenordnung und Anforderungen erfüllen. Die jeweiligen Eigenschaften und Vorteile dieser beiden Architekturen bieten eine Fülle von Optionen für das Netzwerkdesign von KI-Rechenzentren, um die spezifischen Anforderungen verschiedener Benutzer zu erfüllen.