EtherNET oder EtherNOT?

Eine Umfrage zu den KI-Netzwerkpositionen der führenden Anbieter wurde im Juli 2023 vom Ultra Ethernet Consortium (UEC) durchgeführt, das von der Linux Foundation und ihrer Joint Development Foundation initiiert wurde offEs wurde offiziell gestartet und warf eine Wasserbombe in das turbulente Ökosystem der KI-Netzwerkverbindungen. Im August 2023 nahmen Vertreter von Intel, Nvidia, AMD und anderen Unternehmen beim internationalen Forum IEEE Hot Interconnects (HOTI), das sich auf fortschrittliche Hardware- und Softwarearchitekturen und verschiedene Verbindungsnetzwerkimplementierungen konzentriert, an einer Podiumsdiskussion zum Thema „ EtherNET oder EtherNOT“ und äußerten ihre Ansichten zu Ethernet. Die aufkommenden KI/ML-Workloads treiben die Nachfrage nach leistungsstarker Netzwerkverbindung voran. Vor etwa zehn Jahren führte RDMA over Converged Ethernet (RoCE) die Datenübertragung mit geringer Latenz in die Ethernet-Architektur ein, doch im Vergleich zu anderen Netzwerktechnologien schien Ethernet in der Technologieentwicklung hinterherzuhinken. Kommt der Kampf zwischen EtherNET und EtherNOT erneut? Im Ethernet-Zeitalter haben Cloud-Anbieter, Geräteanbieter und andere Parteien ihre Interessen und es ist eine entscheidende Phase der Entscheidungsfindung. Wie werden sie wählen?

Dieses Thema „EtherNET oder EtherNOT“ wurde bereits auf der HOTI-Konferenz im Jahr 2005 diskutiert und das damalige Fazit lautete wie folgt:

Bei der Diskussion der HOTI-Konferenz 2023 bevorzugten Brad Burres, leitender Forscher und Chef-Hardwarearchitekt der Network and Edge Group bei Intel, und Frank Helms, GPU-Systemarchitekt für Rechenzentren bei AMD, Ethernet. Brad Burres argumentierte, dass unabhängig von der eingesetzten Technologie ein offenes Ökosystem erforderlich sei, um die Kosten der gesamten Branche zu senken und die erforderliche Software-Infrastruktur zu erreichen. Mit zunehmender Reife des Protokolls wird Ethernet der Gewinner sein, es sei denn, es entsteht sofort eine andere offene Standardstruktur (z. B. CXL). Frank Helms listete den ersten, zweiten und fünften Platz in der globalen Supercomputer-TOP500-Liste auf: Frontier, Aurora und LUMI, die alle auf der Ethernet-basierten Netzwerkstruktur HPE Cray Slingshot-11 für die Verbindung basieren. Er glaubte, dass Ethernet an der Spitze der Verbindungstechnologie steht. Das Aufkommen der UEC (Ultra Ethernet Alliance) spiegelt auch die große unterdrückte Nachfrage nach Ethernet für die Vernetzung großer KI-Trainingscluster wider. Larry Dennison, Direktor für Netzwerkforschung bei NVIDIA, glaubt, dass es immer noch eine Lücke zwischen Ethernet und der Erfüllung der Anforderungen von KI-Workloads gibt. Wenn Ethernet alle diese Anforderungen erfüllt, ist es dann immer noch Ethernet? Wie lange kann es erreicht werden? Der Ethernet-Markt ist zwar riesig, er wird nicht verschwinden, aber in den nächsten Jahren wird die Entwicklungsgeschwindigkeit von Ethernet den Anforderungen dieses Marktes nicht gerecht werden. Torsten Hoefler, Professor an der ETH Zürich und Berater für Microsoft im Bereich groß angelegter künstlicher Intelligenz und Netzwerke, wies darauf hin, dass Ethernet die Gegenwart und Zukunft von Rechenzentren und Supercomputern sei, aber nicht das Ethernet, über das wir jetzt sprechen, Ethernet braucht entwickeln.

Offene Ökologie or Anbieterbindung?

In der Vergangenheit konkurrierten InfiniBand und Ethernet um die Vorherrschaft auf dem KI/HPC-Markt, da es sich bei beiden um offene Standards handelte. Ein wesentlicher Unterschied besteht jedoch darin, dass InfiniBand derzeit von Nvidia als einzelner Anbieter unterstützt wird, während Ethernet über die Unterstützung mehrerer Anbieter verfügt, was ein lebendiges und wettbewerbsfähiges Ökosystem fördert. Doch selbst im Bereich der KI/HPC-Netzwerklösungen können Ethernet-Lösungen mit der Kennzeichnung „teilweise angepasst“ versehen sein, was zu einer Anbieterbindung führen kann.

Beispielsweise erfordert der Jericho3-Ethernet-Switch von Broadcom, dass die gesamte Netzwerkstruktur denselben Switch-Chip verwendet, wenn sie im hochleistungsfähigen „Fully Scheduled Fabric“-Modus ausgeführt wird. Ähnliche Situationen gibt es auch beim Silicon One-Switch von Cisco und beim Spectrum-X-Switch von Nvidia – hohe Leistungsanforderungen können zu einer Anbieterbindung führen. Einige Hyperscale-Unternehmen haben „benutzerdefinierte“ NICs entwickelt, die auch zu benutzerdefinierten Netzwerken führen können. Selbst bei der Auswahl von Ethernet-Lösungen kann es daher zu kundenspezifischen Implementierungen und einer Anbieterbindung kommen. AI/HPC-Netzwerke könnten auf einen neuen, offenen und leistungsfähigeren Transportstandard umsteigen, der das ROCEv2-RDMA-Protokoll teilweise oder vollständig ersetzt, was die Vision ist, die die Beyond Ethernet Alliance verfolgt.

Inventar der AI/ML-Netzwerktechnologie

Wie wählen die Hyperscale-Anbieter ihre KI/ML-Netzwerktechnologien aus? Ist es EtherNET oder EtherNOT?

Amazon AWS

Amazon ließ sich vom InfiniBand RD-Protokoll inspirieren und führte das Scalable Reliable Datagram (SRD)-Transportprotokoll für HPC-Netzwerke ein. Amazon verwendet „ausschließlich“ Enhanced Network Adapter (ENA), die auf seinem proprietären Nitro-Chip basieren. SRD nutzt UDP, unterstützt das Packen von Paketen über mehrere Verbindungen hinweg und eliminiert die Anforderung einer Paketzustellung in der richtigen Reihenfolge, wodurch Fabric-Überlastung und Tail-Latenz reduziert werden. Bei Bedarf wird die Neuordnung der Pakete von der oberen SRD-Schicht übernommen. Amazon verfolgt weiterhin eine native KI/HPC-Netzwerkstrategie und ist wahrscheinlich am wenigsten kooperativ mit NVIDIA.

Google

Google verwendet eine Mischung aus seinen TPUs und den GPUs von NVIDIA. TPUs und GPUs konkurrieren miteinander und können je nach Workload-Eignung eingesetzt werden. Es ist unwahrscheinlich, dass Google InfiniBand-Produkte in seinem Netzwerk verwendet. Das KI/ML-Netzwerk von Google ist relativ individuell und setzt seit Jahren eine ähnliche „kohärente“ NVLink-Architektur ein. Google hat im Netzwerk-Stack viele Innovationen vorgenommen und in seinen regulären Rechenzentren und Rechenzentren für künstliche Intelligenz „native“ optische Vermittlungssysteme (OCS) – einen Schaltkreisschalter auf Basis mikroelektromechanischer Systeme (MEM-Spiegel) – eingesetzt. Optische Switches machen in der Regel eine Schicht physischer Switches überflüssig, unterstützen Konfigurationen mit höherer Basis und reduzieren den Stromverbrauch und die Latenz. Optische Schalter „reflektieren“ Licht und sind unabhängig von Netzwerkprotokollen und Netzwerk-Switch-Upgrades. Der Nachteil besteht darin, dass die Spiegelrekonfigurationszeit normalerweise lang ist und im Bereich von mehreren zehn Millisekunden liegt, sodass diese OCS-Schalter als „Schaltkreis“ mit fester Kapazität arbeiten. Für Trainingsnetzwerke mit künstlicher Intelligenz stellt dies kein großes Problem dar, da die Verkehrsmuster vorhersehbar sind.

Microsoft

Microsoft ist das pragmatischste Unternehmen unter den Hyperscale-Unternehmen und hat es übernommen InfiniBand schon früh, um für seinen Partner OpenAI Netzwerke für künstliche Intelligenz aufzubauen. Obwohl Microsoft seinen benutzerdefinierten Netzwerkadapter entwickelt und ein benutzerdefiniertes RDMA-Protokoll für die Azure-Cloud verwendet hat, ist es aufgrund seiner Offenheit gegenüber InfiniBand, der Akzeptanz der Full-Stack-KI/ML-Lösung von NVIDIA und der engen Zusammenarbeit mit OpenAI der bevorzugte Kunde von NVIDIA. Microsoft hat Fungible übernommen, das True Fabric erfunden hat – ein zuverlässiges Datagramm-Protokoll auf UDP-Basis, das Datenverkehr, Überlastung und Fehlerkontrolle verwaltet und die Tail-Latenz optimiert. Einige der technologischen Innovationen von Fungible könnten in zukünftigen Produkten und Open-Source-Beiträgen von Microsoft auftauchen.

Meta

Meta ist ein dunkles Pferd im KI-Wettbewerb, da sein Programm für künstliche Intelligenz die folgenden herausragenden Merkmale aufweist:

• Es verfolgt einen Open-Source-Ansatz und nutzt grundlegende Modelle wie Llama.
• Es macht KI benutzerfreundlich und für jeden Softwareentwickler über das PyTorch-Software-Framework/Ökosystem zugänglich.
• Es etabliert die Open Compute Project-Community als eine wichtige Säule der Open-Hardware-Innovation.
• Es setzt große GPU-Cluster ein und bleibt mit seinem Empfehlungssystem (DLRM-Modell) an der Spitze der KI-Innovation.

Die KI-Grundmodelle und das PyTorch-Ökosystem von Meta ermöglichen eine riesige Open-Source-KI-Innovationsbibliothek, stellen KI/ML-Cluster auf Basis von Ethernet und InfiniBand bereit und erstellen ASICs für das DLRM-Modell und die Videotranskodierung.

Meta demokratisiert die KI, und obwohl sie noch nicht genügend Anerkennung gefunden hat, wird sich dieser Trend bald ändern.

Oracle

Oracle unterstützt fest Ethernet und verwendet kein InfiniBand. Oracle Cloud Infrastructure (OCI) nutzt Nvidia-GPUs und ConnectX-NICs, um einen Supercluster auf Basis von ROCEv2 RDMA aufzubauen. OCI baut ein separates RDMA-Netzwerk auf, das auf einem benutzerdefinierten Überlastungsbenachrichtigungsprotokoll von DC-QCN basiert, den Einsatz von PFC minimiert und benutzerdefinierte Profile für KI- und HPC-Workloads optimiert.

NVIDIA

Die GPUs und Full-Stack-KI/ML-Lösungen von NVIDIA machen das Unternehmen zu einem unbestrittenen Upstream-Player auf dem Markt. Die NVIDIA DGX Cloud-Lösung integriert den Quantum-2 (25.6 TB) InfiniBand-Switch mit ConnectX- und Bluefield-Netzwerkadaptern. Diese Netzwerkadapter unterstützen sowohl Ethernet als auch InfiniBand. Die auf DGX Cloud basierende Full-Stack-InfiniBand-Lösung wird von NVIDIA und seinen OEMs auch an Telekommunikations- und Unternehmensmärkte verkauft. Allerdings investiert NVIDIA über seinen Spectrum-X-Switch auch stark in Ethernet. Vor einigen Jahren war InfiniBand die bevorzugte Architektur für KI-Training und damit die ideale Wahl für die integrierte DGX-Cloud-Lösung von NVIDIA. Mit der Einführung des NVIDIA-Spectrum-X-Ethernet-Switches (Kapazität von 51.2 Tbs, doppelt so viel Kapazität wie der InfiniBand-Switch) wird NVIDIA für den GPU-Einsatz in großem Maßstab auf Ethernet umsteigen, um die Vorteile der höheren Portgeschwindigkeit und Kosteneffizienz von Ethernet zu nutzen. und Skalierbarkeit. Der Spectrum-X-Ethernet-Switch unterstützt erweiterte ROCEv2-Erweiterungen – adaptives RoCE-Routing und Überlastungskontrolle, Telemetrieunterstützung und In-Network-Computing namens Collective (über das SHARP-Produkt von NVIDIA).

Broadcom

Broadcom offEr bietet umfassende AI/HPC-Netzwerklösungen, einschließlich Switch-Chips und Netzwerkadapter. Durch die strategische Übernahme von „Correct Networks“ durch Broadcom wurde ein auf EQDS UDP basierendes Transportprotokoll eingeführt, das alle Warteschlangenaktivitäten vom Kernnetzwerk auf den übertragenden Host oder Leaf-Switch verlagert. Dieser Ansatz unterstützt die Switch-Optimierung in der Jericho3/Ramon3-Chip-Kombination, einer „vollständig geplanten Struktur“, die mit Packet-Spraying, Neuanordnung von Puffern in Leaf-Switches, Pfadneuverteilung, Löschung von Überlastungsbenachrichtigungen und hardwaregesteuerten In-Band-Fehlerbehebungsmechanismen ausgestattet ist. Die Tomahawk-Serie (52 Tbs) ist auf die Optimierung der Einzelchipkapazität ausgelegt und stellt keine vollständig geplante Fabric dar. Tomahawk-Switches unterstützen außerdem Edge-Warteschlangen sowie latenzkritische Funktionen in der Hardware, wie etwa den globalen Lastausgleich auf Fabric-Ebene und den Pfad-Rebalancing. Tomahawk unterstützt keine Paketsortierung in Leaf-Switches, daher müssen Paketneuordnungspuffer implementiert werden Netzwerkadapter (Endpunkte).

Cisco

Cisco hat kürzlich den Silicon One 52Tb/s-Switch auf den Markt gebracht und damit die Vielseitigkeit seiner Netzwerklösungen unter Beweis gestellt. Der Switch ist P4-programmierbar und ermöglicht eine flexible Programmierung für verschiedene Netzwerkanwendungsfälle. Die auf Silicon One basierenden Switches von Cisco bieten Unterstützung für vollständig geplante Fabrics, Lastausgleich, Hardware-Fehlerisolierung und Telemetrie. Cisco arbeitet mit mehreren NIC-Anbietern zusammen, um komplette AI/ML-Netzwerklösungen bereitzustellen.

Zusammenfassung

Die Reise der Ethernet-Standardisierung für KI/HPC-Netzwerke hat gerade erst begonnen und erfordert eine weitere Kosten- und Leistungsreduzierung durch Skalierung, offene Innovation und Wettbewerb zwischen mehreren Anbietern. Die Super Ethernet Alliance besteht aus wichtigen Netzwerkakteuren und hat sich zum Ziel gesetzt, eine offene „Full-Stack“-Ethernet-Lösung zu schaffen, die auf KI/HPC-Workloads zugeschnitten ist. Wie oben erwähnt, wurden die meisten der „notwendigen“ AI/HPC-Netzwerktechnologien in irgendeiner Form oder Weise von verschiedenen Ethernet-Anbietern und Hyperscalern bereitgestellt. Daher ist die Herausforderung der Standardisierung nicht technischer Natur, sondern vielmehr die Konsensbildung.