Was ist ein InfiniBand-Netzwerk und der Unterschied zu Ethernet?

Was ist das InfiniBand-Netzwerk?

Die InfiniBand-Architektur bringt Fabric-Konsolidierung in das Rechenzentrum. Speichernetzwerke können gleichzeitig mit Clustering-, Kommunikations- und Verwaltungs-Fabrics über dieselbe Infrastruktur ausgeführt werden, wodurch das Verhalten mehrerer Fabrics erhalten bleibt.

InfiniBand ist eine offene Standard-Netzwerkverbindungstechnologie mit hoher Bandbreite, geringer Verzögerung und hoher Zuverlässigkeit. Diese Technologie wird von IBTA (InfiniBand Trade Alliance) definiert. Diese Technologie wird häufig im Bereich Supercomputer-Cluster eingesetzt. Gleichzeitig ist sie mit dem Aufkommen der künstlichen Intelligenz auch die bevorzugte Netzwerkverbindungstechnologie für GPU-Server.

High Speed ​​Interconnection (HSI) ist zum Schlüssel für die Entwicklung von Hochleistungscomputern geworden, da die Rechenleistung der Central Processing Unit (CPU) sehr schnell zunimmt. HSI ist eine neue Technologie, die vorgeschlagen wird, um die Leistung der Peripheral Component Interface (PCI) zu verbessern. Nach Jahren der Entwicklung sind HSIs, die High Performance Computing (HPC) unterstützen, jetzt hauptsächlich Gigabit Ethernet und InfiniBand, von denen InfiniBand das am schnellsten wachsende HSI ist. InfiniBand ist eine leistungsstarke Technologie mit niedriger Latenz, die unter der Aufsicht der InfiniBand Trade Association (IBTA) entwickelt wurde.

IBTA wurde 1999 als Zusammenschluss zweier Branchenorganisationen gegründet, dem Future I/O Developers Forum und dem NGI/O Forum. Es arbeitet unter der Leitung eines Planungs- und Betriebskomitees, das aus HP, IBM, Intel, Mellanox, Oracle, QLogic, Dell, Bull und anderen besteht. IBTA ist auf Produktkonformitäts- und Interoperabilitätstests spezialisiert, und seine Mitglieder haben daran gearbeitet, die Erstellung und Aktualisierung der InfiniBand-Spezifikation voranzutreiben.

Der InfiniBand-Standard unterstützt Single Data Rate (SDR)-Signalisierung mit einer Basisrate von 2.5 Gbit/s pro Spur, um eine Rohdatenrate von 10 Gbit/s über 4X-Kabel (der am häufigsten verwendete InfiniBand-Kabeltyp) zu ermöglichen. Die Signalisierung mit doppelter Datenrate (DDR) und Quad-Datenrate (QDR) ermöglicht die Skalierung einzelner Spuren auf bis zu 5 Gbit/s bzw. 10 Gbit/s pro Spur, was einer potenziellen maximalen Datenrate von 40 Gbit/s über 4X und 120 Gbit/s entspricht über 12X Kabel.

Vergleich von Netzwerktechnologien

Das derzeit neueste InfiniBand-Produkt ist das von Mellanox produzierte HDR, das eine End-to-End-Bandbreite von bis zu 200 Gbit / s für das Netzwerk bereitstellen und ein beispielloses Netzwerkerlebnis für Hochleistungsrechnen, künstliche Intelligenz und andere Bereiche bieten und maximieren kann das Rechenpotential im Cluster.

Als Computer-Cluster-Verbindungstechnologie hat InfiniBand erhebliche Vorteile gegenüber Ethernet/Fibre Channel und der veralteten Omni-Path-Technologie und ist die primär empfohlene Netzwerkkommunikationstechnologie der InfiniBand Trade Association (IBTA). Seit 2014 haben die meisten TOP500-Supercomputer die InfiniBand-Netzwerktechnologie übernommen. In den letzten Jahren haben auch KI/Big Data-bezogene Anwendungen IB-Netzwerke in großem Umfang eingeführt, um Hochleistungs-Cluster-Bereitstellungen zu erreichen, wobei 62 % der Top-100-Supercomputing-Zentren die InfiniBand-Technologie verwenden (Daten vom Juni 2022).

InfiniBand-Übersicht

InfiniBand ist eine Kommunikationsverbindung für den Datenfluss zwischen Prozessoren und E/A-Geräten und unterstützt bis zu 64,000 adressierbare Geräte. InfiniBand-Architektur (IBA) ist eine Industriestandardspezifikation, die ein Punkt-zu-Punkt-Switched-Input-/Output-Framework für die Verbindung von Servern, Kommunikationsinfrastruktur, Speichergeräten und eingebetteten Systemen definiert.

InfiniBand ist aufgrund seiner allgegenwärtigen, geringen Latenz, hohen Bandbreite und geringen Verwaltungskosten ideal für die Verbindung mehrerer Datenströme (Clustering, Kommunikation, Speicherung, Verwaltung) in einer einzigen Verbindung mit Tausenden von miteinander verbundenen Knoten. Die kleinste vollständige IBA-Einheit ist ein Subnetz, und mehrere Subnetze werden durch Router verbunden, um ein großes IBA-Netzwerk zu bilden.

InfiniBand-Systeme bestehen aus Kanaladaptern, Switches, Routern, Kabeln und Anschlüssen. Die CA ist in einen Host Channel Adapter (HCA) und einen Target Channel Adapter (TCA) unterteilt. IBA-Switches ähneln im Prinzip anderen Standard-Netzwerk-Switches, müssen aber die hohen Leistungs- und Kostenanforderungen von InfiniBand erfüllen. Ein HCA ist ein Gerätepunkt, über den ein IB-Endknoten, z. B. ein Server oder ein Speichergerät, eine Verbindung zu einem IB-Netzwerk herstellt. TCAs sind eine spezielle Form von Kanaladaptern, die hauptsächlich in eingebetteten Umgebungen wie Speichergeräten verwendet werden.

Die InfiniBand-Architektur ist in der Abbildung dargestellt.

Was ist 200G InfiniBand HDR?

InfiniBand unterstützt die SDR/DDR/QDR/FDR/EDR-Übertragung, um die Verbindungsbandbreite zu erhöhen. Kürzlich hat Mellanox 200G InfiniBand mit HDR-Unterstützung veröffentlicht. Mellanox wurde kürzlich veröffentlicht 200G InfiniBand mit HDR-Unterstützung. Mellanox 200Gb / s HDR InfiniBand-Netzwerke unterstützen extrem niedrige Latenzzeiten, hohen Datendurchsatz und intelligente Netzwerk-Rechenbeschleunigungs-Engines. Benutzer können Standard-Mellanox-Softwaretreiber in der Cloud verwenden, genau wie in einer Bare-Metal-Umgebung. Mit Unterstützung für RDMA-Verben kann jede InfiniBand-basierte MPI-Software wie Mellanox HPC-X, MVAPICH2, Platform MPI, Intel MPI und mehr verwendet werden.

Darüber hinaus können Benutzer auch die Vorteile der Hardware nutzen offLoad-Funktion der MPI-Cluster-Kommunikation für zusätzliche Leistungssteigerungen, wodurch auch die Effizienz von Geschäftsanwendungen verbessert wird. 200G InfiniBand verfügt über ein breites Anwendungsspektrum, darunter netzwerkinterne Computing-Beschleunigungs-Engines, HDR InfiniBand-Adapter, HDR InfiniBand Quantum-Switches und 200G-Verkabelung.

InfiniBand-Anwendungen

Was die 200G InfiniBand-Verkabelung betrifft, ist das letzte Stück der Mellanox 200Gbs-Lösung die Produktreihe LinkX-Kabel. Mellanox offEr verfügt über direkt angeschlossene 200G-Kupferkabel mit einer Reichweite von bis zu 3 Metern und 2 x 100G-Splitter-Breakout-Kabel zur Ermöglichung von HDR100-Verbindungen sowie 200G-aktive optische Kabel mit einer Reichweite von bis zu 100 Metern. Alle LinkX-Kabel der 200-Gbit/s-Reihe werden in Standard-QSFP56-Paketen geliefert.

Was sind die Vorteile des InfiniBand-Netzwerks?

• Serielle Verbindungen mit hoher Bandbreite

– SDR: 10 Gb/s

– DDR: 20 Gb/s

– QDR: 40 Gb/s

– FDR: 56 Gb/s

– EDR: 100 Gb/s

– HDR: 200 Gb/s

- NDR: 400 Gbit/s

• Extrem niedrige Latenz

– Unter 1 uns Bewerbung zu Bewerbung

• Zuverlässiges, verlustfreies, selbstverwaltendes Gewebe

– Flusskontrolle auf Verbindungsebene

– Überlastungskontrolle zur Verhinderung einer HOL-Blockierung

• Volle CPU OffBelastung

– Hardwarebasiertes zuverlässiges Transportprotokoll

– Kernel-Bypass (Anwendungen auf Benutzerebene erhalten direkten Zugriff auf die Hardware)

• Speicher, der dem Remote-Knotenzugriff ausgesetzt ist – RDMA-Lesen und RDMA-Schreiben

– Atomare Operationen

• Servicequalität

– Unabhängige I/O-Kanäle auf Adapterebene

– Virtuelle Lanes auf Verbindungsebene

• Cluster-Skalierbarkeit/-Flexibilität

– Bis zu 48 Knoten im Subnetz, bis zu 2^128 im Netzwerk

– Parallele Routen zwischen Endknoten

– Mehrere Cluster-Topologien möglich

• Vereinfachtes Cluster-Management

– Zentralisierter Routenmanager

– In-Band-Diagnose und Upgrades

Was ist ein Ethernet-Netzwerk?

Ethernet bezieht sich auf den Basisband-LAN-Spezifikationsstandard, der von der Firma Xerox erstellt und gemeinsam von Xerox, Intel und der Firma DEC entwickelt wurde. Der allgemeine Ethernet-Standard wurde am 30. September 1980 herausgegeben. Es handelt sich um den allgemeinsten Kommunikationsprotokollstandard, der vom bestehenden LAN übernommen wurde. Es sendet und empfängt Daten über Kabel. Ethernet-Netzwerk wird verwendet, um lokale Netzwerke zu erstellen und mehrere Computer oder andere Geräte wie Drucker, Scanner usw. zu verbinden. In einem kabelgebundenen Netzwerk erfolgt dies mithilfe von Glasfaserkabeln, während es in einem drahtlosen Netzwerk mithilfe der drahtlosen Netzwerktechnologie erfolgt. Die wichtigsten Arten von Ethernet-Netzwerken sind Fast Ethernet, Gigabit Ethernet, 10-Gigabit Ethernet und Switch Ethernet.

Gegenwärtig hat die von IEEE organisierte IEEE 802.3-Standardorganisation Ethernet-Schnittstellenstandards von 100GE, 200GE und 400GE herausgegeben. Das Ethernet-Netzwerk ist derzeit die Übertragungstechnik mit der höchsten Rate.

InfiniBand vs. Ethernet: Was ist der Unterschied?

Als Verbindungstechnologien haben InfiniBand und Ethernet ihre eigenen Eigenschaften und Unterschiede. Sie entwickeln sich in ihren unterschiedlichen Anwendungsfeldern weiter und sind zu zwei unverzichtbaren Verbindungstechnologien in unserer Netzwerkwelt geworden.

Arten von Ethernet-Netzwerken

In Bezug auf das Ethernet-Netzwerk bilden sie zusammen mit der IP-Technologie den Eckpfeiler des gesamten Internet-Gebäudes in der Welt. Alle Menschen und intelligenten Geräte verlassen sich auf Ethernet, um die Verbindung aller Dinge zu realisieren, was mit der ursprünglichen Absicht seines Designs zusammenhängt, eine bessere Kompatibilität zu erreichen. Es kann verschiedene Systeme besser miteinander verbinden, wodurch Ethernet seit seiner Geburt eine sehr starke Anpassungsfähigkeit aufweist. Nach jahrzehntelanger Entwicklung ist es zum Standard des Internets geworden.

In Bezug auf das InfiniBand-Netzwerk handelt es sich um einen Verbindungsstandard zur Lösung des Engpasses bei der Datenübertragung in Hochleistungs-Computing-Szenarien. Es wurde seit seiner Formulierung als High-End-Anwendung positioniert. Vernetzung ist nicht der Hauptwiderspruch, und Hochleistungskommunikation ist der Haupteinstiegspunkt. Infiniband ist eine neuere Verbindungsart, die kürzlich veröffentlicht wurde. Das Tolle daran ist die Geschwindigkeit, die den Benutzern zur Verfügung gestellt wird. Während die Geschwindigkeit für Ihre Verbindung letztendlich davon abhängt, welches Kabel Sie wählen, können die Geschwindigkeiten für sie bis zu 40 Gbit / s oder mehr betragen.

Daher ist im Vergleich zur Ethernet-Technologie InfiniBand unterscheidet sich grundsätzlich von Ethernet aufgrund der unterschiedlichen Positionierung, hauptsächlich in Bandbreite, Verzögerung, Netzwerkzuverlässigkeit und Netzwerkmodus. InfiniBand erstellt über Switches direkt einen privaten und geschützten Kanal zwischen Knoten, um Daten und Nachrichten zu übertragen, ohne dass die CPU am Remote Direct Memory Access (RDMA) beteiligt ist. Ein Ende des Adapters ist über die PCI-Express-Schnittstelle mit der CPU verbunden, und das andere Ende ist über den InfiniBand-Netzwerkport mit dem InfiniBand-Subnetz verbunden. Im Vergleich zu anderen Netzwerkkommunikationsprotokollen bietet dies offensichtliche Vorteile, einschließlich höherer Bandbreite, geringerer Latenz und verbesserter Skalierbarkeit.

InfiniBand vs. Omni-Path: Vorteile von InfiniBand gegenüber Omni-Path

Obwohl NVIDIA die InfiniBand 400G NDR-Lösung auf den Markt gebracht hat, verwenden einige Kunden immer noch die 100G-Lösung. Für 100G-Hochleistungsnetzwerke gibt es zwei gängige Lösungen, Omni-Path und InfiniBand, die die gleiche Rate und ähnliche Leistung haben, aber die Netzwerkstruktur ist sehr unterschiedlich. Beispielsweise benötigt InfiniBand für einen 400-Knoten-Cluster nur 15 Switches der NVIDIA Quantum 8000-Serie und 200 200G-Zweigkabel und 200 200G-Direktkabel, während Omni-Path 24 Switches und 876 100G-Direktkabel (384 Knoten) benötigt. InfiniBand ist sehr vorteilhaft in Bezug auf die frühen Ausrüstungskosten und die späteren Betriebs- und Wartungskosten, und der Gesamtstromverbrauch ist viel geringer als der umweltfreundlichere Omni-Path.

InfiniBand HDR-Produkteinführung

EDR wird aufgrund der Kundennachfrage aus dem Markt genommen, die NDR-Rate ist zu hoch und nur Kopfkunden versuchen, sie zu nutzen. HDR ist mit der Flexibilität von HDR 100G und HDR 200G weit verbreitet.

HDR-Schalter

Es gibt zwei Arten von HDR-Schaltern. Einer ist HDR CS8500. Ein 29HE-Switch bietet maximal 800 HDR-200-Gb/s-Ports, und jeder 200-GB-Port kann in 2 x 100G aufgeteilt werden, um 1600 HDR100-100-Gb/s-Ports zu unterstützen.

Der andere Typ ist die QM8000-Serie. Das 1U-Panel verfügt über 40 200G-QSFP56-Ports, die für den Anschluss von 80G-HDR-Netzwerkkarten in höchstens 100 HDR-100G-Ports aufgeteilt werden können. Gleichzeitig unterstützt jeder Port auch EDR und verbindet sich direkt mit der Netzwerkkarte von EDR. Es sollte beachtet werden, dass der 200G-HDR-Port nur auf 100G verlangsamt und mit dem EDR-Netzwerkadapter verbunden werden kann und nicht in 2X100G aufgeteilt werden kann, um zwei EDR-Netzwerkadapter zu verbinden.

Es gibt zwei Optionen für den 200G HDR-Switch: QM8700 und QM8790. Der einzige Unterschied zwischen den beiden Modellen ist der Verwaltungsmodus. Der QM8700 stellt die Steuerschnittstelle für das Out-of-Band-Management bereit, während der QM8790 die NVIDIA Unified Fabric Manager (UFM®)-Plattform für das Management benötigt.

Für QM8700 und QM8790 gibt es zwei Luftstromoptionen für jedes Switch-Modell. Eines davon ist 8790-HS2F für P2C-Luftstrom (vorderer und hinterer Luftstrom). Das Lüftermodul ist blau markiert. Wenn Sie die Markierungen nicht erkennen, können Sie sie auch identifizieren, indem Sie mit der Hand über den Lufteinlass und -auslass des Schalters schweben.

8790-HS2R ist die rote Markierung auf dem C2P-Luftstrom (hinterer vorderer Kanal)-Lüftermodul. Hier bedeutet P2C und C2P P Power Power, C Cable (Line Interface), P2C (Power to Cable), C2P (Cable to Power) hier ist das Referenzsystem Power Power Side für die Vorderseite, Cable Line Interface Side für die Rückseite.

Der QM8700 und der QM8790 werden in der Praxis im Allgemeinen auf zwei Arten verwendet, eine besteht darin, sich mit 200G-HDR-NICs zu verbinden, indem 200G direkt verwendet werden 200G AOC/DAC; Die andere übliche Verwendung ist die Verbindung mit 100G-HDR-NICs mithilfe von 200G-zu-2X100G-Kabeln, bei denen ein physischer 200G (4X50G)-QSFP56-Port des Switches in 2 virtuelle 100G (2X50G)-Ports aufgeteilt wird. 4X50G) QSFP56-Port des Switches wird in zwei virtuelle 100G (2X50G)-Ports aufgeteilt, und nach der Aufteilung ändert sich das Symbol des Ports von x/y zu x/Y/z, wobei „x/Y“ das vorherige anzeigt Symbol des Ports vor der Teilung, und „z“ bezeichnet die Nummer des resultierenden Single-Lane-Ports (1,2), und dann wird jeder subphysische Port als einzelner Port behandelt.

HDR-Netzwerkadapter

HDR-Netzwerkadapter sind viel vielfältiger als Switches. Der HDR100 Netzwerkadapter unterstützt eine Übertragungsrate von 100G. Die beiden HDR100-Ports können über 200G-zu-2x100G-Kabel mit dem HDR-Switch verbunden werden. Im Gegensatz zur 100G-EDR-Netzwerkkarte unterstützt der 100G-Port der HDR100-Netzwerkkarte sowohl die 4X25G-NRZ- als auch die 2X50G-PAM4-Übertragung. Die HDR-NIC unterstützt eine 200G-Übertragungsrate und kann über ein 200G-Direktkabel mit dem Switch verbunden werden. Zusätzlich zu den zwei Schnittstellenraten können Sie basierend auf den Dienstanforderungen Einzelport-, Dualport- und PCIe-Netzwerkadapter jeder Rate auswählen. Die gängigen InfiniBand HDR-Netzwerkadaptermodelle, die von FiberMall bereitgestellt werden, lauten wie folgt:

Die InfiniBand-Netzwerkarchitektur ist einfach, aber die Lösungsauswahl ist vielfältig. Die 100G-Rate hat sowohl eine 100G-EDR-Lösung als auch eine 100G-HDR-Lösung; 200 Rate hat auch HDR und 200G NDR zwei Optionen. Die in den verschiedenen Lösungen verwendeten Netzwerkadapter, Anschlüsse und Switches sind sehr unterschiedlich.

InfiniBand-Pakete und Datenübertragung

Ein Paket ist die Grundeinheit der InfiniBand-Datenübertragung. Damit sich Informationen in einem InfiniBand-Netzwerk effizient ausbreiten können, werden die Informationen vom Kanaladapter in eine Reihe von Paketen aufgeteilt. Ein vollständiges IBA-Paket besteht aus den Feldern „Local Route Header“, „Global Route Header“, „Base Transport Header“, „Extended Transport Header“, „Payload“ (PYLD), „Invariant CRC“ (ICRC) und „Variant CRC“ (VCRC), wie in der folgenden Abbildung dargestellt.

LRH: 8 Bytes, die vom Switch verwendet werden, um die lokalen Quell- und Zielports beim Weiterleiten von Paketen zu bestimmen und um die Dienstklasse und die virtuelle Spur (VL) für die Paketübertragung zu regeln.

HRM: 40 Bytes, die zum Weiterleiten von Paketen zwischen Subnetzen und zum Sicherstellen einer ordnungsgemäßen Übertragung von Paketen zwischen Subnetzen verwendet werden. Es wird durch das Feld Link Next Header (LNH) im LRH angegeben, wobei die in RFC 6 definierte IPv2460-Header-Spezifikation verwendet wird.

BTH: 12 Bytes, die das Zielwarteschlangenpaar (QP), den Anzeige-Opcode, die Paketseriennummer und die Segmentierung angeben.

ETH: 4-28 Bytes, bietet einen zuverlässigen Datagrammdienst. Payload (PYLD): 0–4096 Bytes, die Ende-zu-Ende-Anwendungsdaten werden gesendet.

IKRK: 4 Bytes, kapselt die Daten ein, die im Paket unverändert bleiben, wenn es von der Quelladresse zur Zieladresse gesendet wird.

VCRC: 2 Bytes, kapselt die Variable IBA und rohe (rohe) Pakete während der Verbindung.

VCRC kann im Fabric neu konfiguriert werden.

InfiniBand-Schichtenarchitektur

Gemäß der Definition von IBTA besteht die InfiniBand-Architektur aus Physical Layer, Link Layer, Network Layer und Transport Layer, und ihre geschichtete Architektur ist in der Abbildung dargestellt.

Physikalische Schicht: Die physikalische Schicht dient der Sicherungsschicht und stellt die logische Schnittstelle zwischen diesen beiden Schichten bereit. Die physikalische Schicht besteht aus Modulen wie Portsignalanschlüssen, physikalischen Verbindungen (elektrisch und optisch), Hardwaremanagement, Energiemanagement und Codierleitungen, deren Hauptaufgaben darin bestehen:

(1) Herstellen physikalischer Verbindungen;

(2) Benachrichtigen der Sicherungsschicht, ob eine physikalische Verbindung gültig ist;

(3) Überwachen des Status der physikalischen Verbindung, Übergeben von Steuersignalen und Daten an die Sicherungsschicht, wenn die physikalische Verbindung gültig ist, und Übertragen der von der Sicherungsschicht kommenden Steuer- und Dateninformationen.

Verbindungsschicht: Die Verbindungsschicht ist für das Senden und Empfangen von Verbindungsdaten in Paketen verantwortlich und stellt Dienste wie Adressierung, Pufferung, Flusskontrolle, Fehlererkennung und Datenaustausch bereit. Quality of Service (QoS) spiegelt sich hauptsächlich in dieser Schicht wider. Die Zustandsmaschine wird verwendet, um die logischen Operationen der Sicherungsschicht als von außen zugängliche Operationen zu definieren, und spezifiziert keine internen Operationen.

Netzwerkschicht: Die Vermittlungsschicht ist für das Routing von Paketen zwischen IBA-Subnetzen verantwortlich, einschließlich Unicast- und Multicast-Operationen. Die Vermittlungsschicht spezifiziert kein Multiprotokoll-Routing (z. B. IBA-Routing über Nicht-IBA-Typen), noch spezifiziert sie, wie die ursprünglichen Pakete zwischen IBA-Teilnetzen geroutet werden.

Transportschicht: Jede IBA-Datei enthält einen Transportheader. Der Transport-Header enthält die Informationen, die der Endknoten benötigt, um die angegebene Operation auszuführen. Durch Manipulieren von QP bilden die IBA-Kanaladapter-Kommunikationsclients auf der Transportschicht eine "Sende"-Arbeitswarteschlange und eine "Empfangs"-Arbeitswarteschlange.

Der Schaltmechanismus von InfiniBand

Die in InfiniBand verwendete Switched Fabric ist eine Switch-basierte Punkt-zu-Punkt-Verbindungsarchitektur, die auf Systemfehlertoleranz und Skalierbarkeit ausgerichtet ist.

IBA-Switches sind die grundlegenden Routing-Bausteine ​​für das interne Subnetz-Routing (die Routing-Funktionalität zwischen Subnetzen wird von IBA-Routern bereitgestellt). Die Verbindung von Schaltern wird durch Weiterleiten von Paketen zwischen Verbindungen erreicht.

InfiniBand-Switches implementieren Funktionen wie Subnet Manager Agent (SMA), Performance Manager Agent (PMA) und Baseboard Manager Agent (BMA). SMA stellt eine Schnittstelle für Subnetzmanager bereit, um Datensatz- und Tabellendaten im Switch über Subnetzverwaltungspakete abzurufen und Funktionen wie Nachrichtenbenachrichtigung, Zuordnung von Service Level (SL) zu Virtual Lane (VL), VL-Arbitrierung, Multicast-Weiterleitung und Anbietereigenschaften zu implementieren . PMA stellt eine Schnittstelle für Leistungsmanager bereit, um Leistungsinformationen wie Datendurchsatz und Fehlerakkumulation des Schalters zu überwachen. BMA stellt einen Kommunikationskanal zwischen dem Baseboard-Manager und dem Bottom-Shelf-Manager bereit.

Die Hauptfunktionen der Datenweiterleitung in InfiniBand-Switches sind:

(1) Auswahl des Ausgangsports: Anhand des Destination Local Identifier (DLID) des Pakets ermittelt der Switch die Portnummer des Ausgangsports aus der Weiterleitungstabelle.

(2) Ausgang VL auswählen: SL und VL werden unterstützt, und der Switch bestimmt den VL des Ausgangsports, der von Paketen mit unterschiedlichen Prioritätsstufen verwendet wird, basierend auf der SL-VL-Zuordnungstabelle.

(3) Datenflusskontrolle: Ein kreditbasierter Flusssteuerungsmechanismus auf Verbindungsebene wird verwendet.

(4) Unterstützt Unicast, Multicast und Broadcast: Der Switch kann Multicast-Pakete oder Broadcast-Pakete zum Austausch in mehrere Unicast-Pakete umwandeln.

(5) Partitionierung: Nur Hosts in derselben Partition können miteinander kommunizieren. Jede Partition hat einen eindeutigen Partitionsschlüssel, und der Switch prüft, ob die DLID des Pakets innerhalb der Partition liegt, die dem Schlüssel entspricht.

(6) Fehlerprüfung: einschließlich Inkonsistenzfehlerprüfung, Codierungsfehlerprüfung, Rahmenfehlerprüfung, Paketlängenprüfung, Paketheaderversionsprüfung, Gültigkeitsprüfung der Dienstebene, Einhaltung der Flusssteuerung und Prüfung der maximalen Übertragungseinheit.

(7) VL-Schiedsverfahren: Subnetz-VL unterstützen (einschließlich Verwaltungs-VL15 und Daten-VL). Der Switch verwendet VL-Arbitrierung, um sicherzustellen, dass Pakete mit hoher Priorität besser bedient werden.

Derzeit sind die wichtigsten Hersteller von InfiniBand-Switches Mallanox, QLogic, Cisco, IBM usw.

Für Hosts ist die Clientseite der Transportschicht eine Verbs-Softwareschicht, bei der der Client Puffer oder Befehle an und von diesen Warteschlangen weitergibt und die Hardware Pufferdaten an und von ihnen weitergibt. Wenn QP eingerichtet ist, enthält es einen von vier IBA-Transportdiensttypen (zuverlässige Verbindung, zuverlässige Selbstadressierungsinformationen, unzuverlässige Selbstadressierungsinformationen, unzuverlässige Verbindung) oder einen nicht im IBA-Protokoll eingekapselten Dienst. Der Transportdienst beschreibt, wie die Zuverlässigkeits- und QP-Transportdaten funktionieren und was übertragen wird.

Als NVIDIA-Elite-Level-Partner kann FiberMall umfassende Leistungen erbringen InfiniBand-Lösungen entsprechend den unterschiedlichen Kundenanforderungen, und unsere leitenden technischen Ingenieure verfügen über umfangreiche Erfahrung im Design von InfiniBand-Hochleistungsnetzwerklösungen und Projektimplementierungsdiensten und können optimale Lösungen für verschiedene Anwendungsszenarien anbieten. Wir können QM8700/QM8790-Switch-, HDR-NIC-, AOC-/DAC-/Optikmodul-Portfoliolösungen anbieten, um eine hervorragende Leistung und Skalierbarkeit zu erzielen und den ROI für HPC, KI und andere Anwendungen bei geringeren Kosten und hervorragender Leistung zu verbessern.