Aktualisierungen der Arbeitsgruppen des UItra Ethernet Consortium

Forschungsrichtungen des UItra Ethernet Consortium

Das UItra Ethernet Consortium setzt sich für die Verbesserung der Ethernet-Technologie auf der physikalischen Schicht, der Verbindungsschicht, der Transportschicht und der Softwareschicht ein. Unter der Prämisse der Kompatibilität mit dem aktuellen Ethernet-Ökosystem verbessert es die Weiterleitungsleistung von Ethernet und setzt sich für die Verbesserung der Ethernet-Kommunikationsprotokolle und Anwendungsprogrammschnittstellen ein. Darüber hinaus werden die Speicher-, Verwaltungs-, Sicherheitsstruktur- und Telemetriefunktionen verbessert, sodass die UItra-Ethernet-Technologie die Netzwerkanforderungen von künstlicher Intelligenz und Hochleistungsrechnen erfüllen kann.

Das Ultra Ethernet Consortium hat den Netzwerktyp, auf den man sich konzentrieren muss, als Typ-2-Netzwerk (Back-End-Netzwerk) identifiziert und ist nicht gegen dessen Verwendung im Typ-1-Netzwerk (Front-End-Netzwerk), aber es wird die Netzwerkleistung von Typ 2 nicht beeinträchtigen, weil es muss sich an Typ1 anpassen.

Typ1- und Typ2-Netzwerke

UEC ermittelt Leistungsmetriken für jeden Netzwerktyp

UEC-Arbeitsgruppen

UEC richtete zunächst vier Arbeitsgruppen ein, nämlich Arbeitsgruppen für die physikalische Schicht, die Verbindungsschicht, die Transportschicht und die Softwareschicht, die hervorragende Ergebnisse erzielten. Vor kurzem wurden Arbeitsgruppen für Speicher, Verwaltung, Kompatibilität und Tests sowie Leistung und Debugging eingerichtet und haben gerade mit der Arbeit begonnen. Die folgende Abbildung zeigt die Arbeitsgruppen der UEC:

Die vier Arbeitsgruppen der UEC

Arbeitsgruppe für die physikalische Schicht

Die Arbeitsgruppe „Physical Layer“ setzt sich für die Verbesserung der physischen Leistung, die Reduzierung der Latenz und die Verbesserung der Verwaltung der physischen Ethernet-Infrastruktur ein. Es umfasst die Entwicklung von Spezifikationen für die physikalische Ethernet-Schicht, elektrischen und optischen Signaleigenschaften, Anwendungsschnittstellen und Datenstrukturen. Ziel ist es, das Fundament zu stärken und sicherzustellen, dass Ethernet die strengen Anforderungen von Al und HPC erfüllen kann. Die aktuelle Arbeitsgruppe für die physikalische Schicht engagiert sich für die Formulierung von PHY-Spezifikationen für 100G/Lane und 200G/Lane und hat den 100G/Lane-Medientyp sowie die von PHY unterstützte Rate und den von PHY unterstützten Typ festgelegt. Die Spezifikationen für 200G/Lane werden nach der Genehmigung von IEEE P802.3dji festgelegt.

Die Arbeitsgruppe der physikalischen Schicht hat mehrere neue Konzepte für die Vorhersage der Verbindungsqualität eingeführt: UCR (nicht korrigierbares Codewortverhältnis), MTBPE (die mittlere Zeit zwischen PHY-Fehlern) und MTTFPA (die mittlere Zeit bis zur Annahme falscher Pakete), die sich der Vorhersage und Messung physikalischer Daten widmen Sie können die Qualität der Layer-Verbindung genauer bestimmen.

Arbeitsgruppe Verbindungsschicht

Die Link-Layer-Arbeitsgruppe setzt sich für die Verbesserung der Zuverlässigkeit und Effizienz der Link-Layer-Übertragung und die Verbesserung der Link-Layer-Telemetriefunktionen ein.

Die Hauptforschungsrichtungen der Verbindungsschicht sind:

Zuverlässigkeit der Verbindungsschicht:

Fügen Sie der Verbindungsschicht eine LLR-Unterschicht hinzu, die sich zwischen den LLC- und MAC CONTROL-Unterschichten befindet, um eine durchgängige erneute Übertragung von Fehlerpaketen auf der Verbindungsschicht zu ermöglichen.

Kreditbasierte Flusskontrolle:

Unterstützt einen durchgängigen, kreditbasierten Flusskontrollmechanismus auf der Verbindungsebene, um die verlustfreie Übertragung von Frames zwischen Verbindungen zu verwalten. Der CBFC-Mechanismus (Credit-Based Flow Control) wird verwendet, um die PFC-Flusskontrolle zu ersetzen. Der Empfänger sendet regelmäßig Pufferspeicher an den Peer und der Absender sendet Nachrichten basierend auf Nachrichtenpriorität und Puffergröße. Pufferraum kann auch für die adaptive Routing-Auswahl verwendet werden.

Kreditbasierte Flusskontrolle

Verbesserung der Paketrate:

Es ist auf die Komprimierung von Ethernet-Nachrichtenheadern ausgerichtet, um die Effizienz der Frame-Übertragung zu erhöhen. Im Laufe der langfristigen Entwicklung von Ethernet wurden die Nachrichtenköpfe immer weiter erweitert, was zu einer relativ geringen Übertragungseffizienz führte. Viele Felder werden in intelligenten Computernetzwerken nicht genutzt. Daher ist es unbedingt erforderlich, Nachrichtenheader zu komprimieren und die Effizienz der Frameübertragung zu verbessern.

Im Nachrichtenkopf muss ein Flag vorhanden sein, das angibt, ob die Nachricht komprimiert oder unkomprimiert ist, damit komprimierte und unkomprimierte Nachrichten im Netzwerk nebeneinander existieren können. Der Absender kann wählen, ob er die Nachricht komprimieren möchte, ohne die ursprüngliche Funktion zu beeinträchtigen.

Derzeit gibt es mehrere Lösungen für die Komprimierung von Nachrichtenheadern, die diskutiert werden.

Verhandlung:

Es legt eine Aushandlungsmethode für Parameter und Eigenschaften der Verbindungsschicht fest. Mehrere neue Funktionen auf der Verbindungsebene, wie z. B. LLR, CBFC und PRI, müssen ausgehandelt werden, um sie zu unterstützen. Die Hauptidee besteht darin, LLDP zu erweitern und eine UEC-OUI für die Aushandlung neuer Link-Layer-Funktionen zwischen Geräten hinzuzufügen.

Arbeitsgruppe Transportschicht

Die Arbeitsgruppe UET (UEC Transport Layer) setzt sich für die anspruchsvollste Anwendungserweiterung, zuverlässige Nachrichtenübertragung, sichere Datenübertragung und die Vermeidung von Überlastungen im Netzwerk ein. Ziel ist es, die Mängel der RoCE-Übertragung zu beheben und eine effiziente, zuverlässige und sichere Übertragung im großen Maßstab bereitzustellen. Der Zieltransportendpunkt erreicht 256,000 und die Anzahl der unterstützten Prozesse erreicht 100,000,000.

Die Hauptmodule von UET sind in der folgenden Abbildung dargestellt:

Hauptmodule von UET

UET enthält drei Module: Paketzustellung, Sicherheit und Semantik. Die Funktionen jedes Moduls sind wie folgt:

• Paketzustellungsunterschicht (PDS):

PDS enthält zwei Module: Zuverlässigkeit und Überlastungsmanagement.

Das Zuverlässigkeitsmodul muss drei Hauptanforderungen abdecken:

1. Extreme Skalierbarkeit
2. Geordnete Nachrichtenübermittlung
3. Ungeordnete Nachrichtenübermittlung

Das Zuverlässigkeitsmodul ist mit vier Nachrichtenübertragungsmodi ausgestattet und jeder Modus wird für einen bestimmten Zweck verwendet, um HPC-, Al-, ML- und andere Anwendungsszenarien zu erfüllen. Die vier Nachrichtenübertragungsmodi sind:

Zuverlässige, geordnete Lieferung (ROD):

Dieser Modus überträgt Nachrichten der Reihe nach und wird für Anwendungen verwendet, die eine geordnete Übertragung von Nachrichten erfordern.

Zuverlässige, ungeordnete Lieferung für den Betrieb (RUD):

Dieser Modus kann Nachrichten nur einmal an die semantische Schicht übertragen, kann aber eine ungeordnete Zustellung im Netzwerk tolerieren. Die zuverlässige Transportschicht muss doppelte Nachrichten erkennen, um sicherzustellen, dass jede Nachricht nur einmal an die semantische Schicht übertragen werden kann.

Zuverlässige, ungeordnete Lieferung für idempotente Operationen (RUDI):

Dieser Modus ist für Lese- und Schreibvorgänge von RDMA optimiert.

Unzuverlässige, ungeordnete Lieferung (UUD):

Unzuverlässige Nachrichten können viele neue Semantiken von UET enthalten. Benutzer von UDD benötigen keine zuverlässige Übertragung und verwenden andere Zuverlässigkeitsmethoden.

Das Überlastungsmanagementmodul wird noch untersucht, einschließlich Überlastungsmanagement und Lastausgleich, und kann ein Überlastungsmanagement basierend auf jedem FEP durchführen. Der Kern ist die Flusskontrolle basierend auf dem Kredit des Empfängers. Die Überlastungskontrolle definiert die Fenstergröße und Injektionsrate. Ziel ist es, die Rate zu reduzieren und Nachrichten zu begrenzen, um eine Überlastung an Zwischenknoten und Endpunkten zu vermeiden. Der Pfadlastausgleich definiert, welchen Pfad eine bestimmte Nachricht wählt, und ECMP kann zur Auswahl des Pfads verwendet werden.

• Transportsicherheit:

Transportsicherheit hat beim UET-Design höchste Priorität, mit optionaler Verschlüsselung und Authentifizierung aller Datennutzlasten und der meisten Übertragungsheader.

• Semantik:

Die semantische Schicht von UET bietet leistungsstarke und hoch skalierbare Vorgänge und ermöglicht die Bereitstellung spezialisierter AI und HPC mit vollem Funktionsumfang.

Die semantische Schicht ist die Brücke zwischen Benutzersoftware und PDS (Message Delivery Layer). Die semantische Ebene definiert eine Reihe von
Vorgänge wie Senden, Empfangen, Schreiben, Lesen usw. Die Ebene bietet optionale Sortierung, einschließlich verschiedener optionaler Initiatoren und Benachrichtigungsfunktionen für die Zielvervollständigung.

Die semantische Schicht stellt eine verbindungslose Aufruf-API bereit und muss *CCL, MPI, OpenSHMEM und andere APIs nativ unterstützen.

Arbeitsgruppe Softwareschicht

Die Softwareschicht fördert die schnelle Einführung von UEC durch die Verwendung der libfabric-API als Datenebenen-Framework durch Kompatibilität mit verschiedenen derzeit weit verbreiteten Kommunikationsbibliotheken wie *CCL, MPI und SHMEM. Es definiert die Interaktion zwischen verschiedenen Beschleunigern und FEP, einschließlich der zugehörigen Beschleuniger-APIs. Es definiert Kontrollebenen- und Datenebenenmechanismen für Switches, FEPs und Aggregation Manager (AMs), um Interoperabilität zwischen verschiedenen UEC-Anbietern zu ermöglichen. Es geht auf die Notwendigkeit ein, dass UEC mehrere Workload-Profile unterstützen muss.

Arbeitsgruppe Softwareschicht

Die Arbeit, die die Softwareschicht für INC leisten muss, umfasst:

• Definieren Sie eine APl (unter Verwendung der C-Sprache) mithilfe der Sammlungskommunikation von INC (libfabric).

• Definieren Sie einen Erkennungsmechanismus, um verfügbare INC zu bestätigen offLadefähigkeiten.

• Definieren Sie die RPC-Schnittstelle, die diese Bibliotheken für die Kommunikation mit dem Aggregation Manager (AM) verwenden. Geben Sie die RPC-Schnittstelle an, die für die Kommunikation zwischen dem AM und dem UEC-Switch verwendet wird, der INC-Ressourcen bereitstellt.

• OpenConfig-Erweiterung zur Konfiguration des FEP von Netzwerkgeräten (konfiguriert durch AM) für die kollektive Kommunikation offLaden und Überwachen auf Leistung und Fehler.

• Verhalten von INC-kompatiblen Netzwerkgeräten mit mehreren Funktionsprofilen. Leiten Sie die Entwicklung von UEC-Übertragungsprotokollen, damit die INC-Technologie problemlos auf die Hardware-Implementierung angewendet werden kann.