Was ist das Besondere an InfiniBand?

InfiniBand wird als native Netzwerktechnologie von RDMA (Remote Direct Memory Access) von vielen Kunden bevorzugt und genutzt. Aber welche weiteren einzigartigen Vorteile bietet InfiniBand im Vergleich zu ROCE (RDMA over Converged Ethernet), einem verlustfreien Ethernet, das auch mit dem RDMA-Protokoll kompatibel ist und dieses unterstützt?

Die „ursprünglichen Anhänger“ des traditionellen SDN: Machen Sie das Netzwerk effizient und einfach

InfiniBand ist die erste Netzwerkarchitektur, die wirklich nativ nach SDN entwickelt wurde. Es wird von einem Subnetzmanager (d. h. einem SDN-Controller) verwaltet. Im Gegensatz zu herkömmlichem Ethernet (einschließlich verlustfreiem ROCE-Ethernet) führen InfiniBand-Switches keine Routing-Protokolle aus und die Weiterleitungstabelle des gesamten Netzwerks wird von einem zentralen Subnetzmanager berechnet und verteilt. Zusätzlich zu den Weiterleitungstabellen ist der Subnetzmanager auch für die Verwaltung der Konfiguration innerhalb des InfiniBand-Subnetzes verantwortlich, beispielsweise für Zoning und QoS. Das InfiniBand-Netzwerk ist nicht mehr auf Broadcast-Mechanismen wie ARP für das Lernen von Weiterleitungstabellen angewiesen, und es kommt nicht zu Broadcast-Stürmen oder zusätzlicher Bandbreitenverschwendung.

Obwohl herkömmliches Ethernet (einschließlich verlustfreies ROCE-Ethernet) auch SDN-Controller-Netzwerke unterstützt, sind verschiedene Netzwerkhersteller vom frühen Konzept der OpenSlow-Flow-Table-Weiterleitung abgewichen und haben stattdessen die Netconf+VXLAN+EVPN-Lösung übernommen, um nicht zu einer „No-Brand-Maschine“ zu werden ” Hersteller. Der SDN-Controller ist zu einem fortschrittlicheren „großen Netzwerkmanagement“ geworden, das nur die Verteilung relevanter Kontrollrichtlinien übernimmt. Die Weiterleitungsebene basiert immer noch auf geräteübergreifendem Lernen (MAC-Tabelleneintragslernen, ARP-Tabellenlernen und Routing-Tabelleneintragslernen usw.), wodurch ROCE verlustfreies Ethernet den Vorteil effizienter und einfacher Netzwerke wie InfiniBand verliert.

Die effiziente und einfache Vernetzung von InfiniBand

Lassen Sie mich ein Beispiel aus dem Leben zur Veranschaulichung verwenden:

Wir können Hochgeschwindigkeitszüge mit dem InfiniBand-Netzwerk vergleichen. Die gesamte Hochgeschwindigkeitsbahnfahrt wird von einem Dispatcher (Teilnetzmanager) verwaltet und geplant. Passagiere (Netzwerkverkehr) müssen keine Routen lernen und finden, um zu ihren Zielen zu gelangen. Sie müssen nur den Bus entsprechend der fahrplanmäßigen Zugnummer nehmen (Weiterleitungstabelle). In diesem Modus verläuft die gesamte Reise effizient und reibungslos, ohne überflüssige Ankündigungen oder vorübergehende Routenänderungen, wodurch die Qualität und Geschwindigkeit der Reise der Passagiere gewährleistet wird.

Im Vergleich dazu repräsentiert selbstfahrendes Reisen traditionelles Ethernet und ROCE-verlustfreies Ethernet. Obwohl sie auch mit einem Navigationssystem (SDN-Controller) für die Navigation ausgestattet sind, muss der Fahrer (Netzwerkgerät) dennoch in Echtzeit Urteile fällen und die Fahrtrichtung basierend auf den Straßenbedingungen anpassen (geräteübergreifendes Lernen). Dieser Prozess kann das mehrmalige Abfragen der Karte (Broadcast-Mechanismus), das Warten auf Ampeln (Bandbreitenverschwendung) oder Umwege zur Vermeidung von Staus (komplexe Netzwerkkonfiguration) umfassen, was den gesamten Reiseprozess relativ ineffizient macht.

Ex-ante-Mechanismus zur Vermeidung von Kreditengpässen: Realisierung eines nativen verlustfreien Netzwerks

Das InfiniBand-Netzwerk verwendet einen kreditbasierten Mechanismus, um die Probleme von Pufferüberlauf und Paketverlust grundsätzlich zu vermeiden. Dieser Mechanismus stellt sicher, dass der Sender die Paketübertragung nur dann initiiert, wenn er bestätigt, dass der Empfänger über ausreichend Guthaben verfügt, um eine entsprechende Anzahl von Nachrichten zu akzeptieren.

Dieser kreditbasierte Mechanismus funktioniert wie folgt: Jede InfiniBand-Netzwerkverbindung verfügt über einen vorgegebenen Puffer zum Speichern der zu übertragenden Pakete. Der Sender prüft vor der Datenübertragung das verfügbare Guthaben des Empfängers. Unter diesem Guthaben versteht man die Puffergröße, die dem Empfänger aktuell zur Verfügung steht. Der Absender entscheidet anhand dieses Kreditwerts, ob die Paketübertragung eingeleitet wird. Wenn der Empfänger nicht über ausreichend Guthaben verfügt, wartet der Sender, bis der Empfänger genügend Puffer freigibt und neue verfügbare Guthaben meldet.

Sobald der Empfänger die Weiterleitung abgeschlossen hat, gibt er die verwendeten Puffer frei und meldet dem Absender kontinuierlich die aktuell verfügbare geplante Puffergröße. Auf diese Weise kann der Sender den Pufferstatus des Empfängers in Echtzeit verstehen und die Übertragung von Datenpaketen anpassen. Dieser Flusskontrollmechanismus auf Verbindungsebene stellt sicher, dass der Absender nicht zu viele Daten sendet, wodurch ein Netzwerkpufferüberlauf und Paketverlust wirksam verhindert werden.

Der Vorteil dieses kreditbasierten Mechanismus besteht darin, dass er eine effiziente und zuverlässige Methode zur Flusskontrolle bietet. Durch die Überwachung und Anpassung der Übertragung von Datenpaketen in Echtzeit, InfiniBand Netzwerke können eine reibungslose Datenübertragung gewährleisten und gleichzeitig Netzwerküberlastungen und Leistungseinbußen vermeiden. Darüber hinaus sorgt dieser Mechanismus für eine bessere Vorhersagbarkeit und Stabilität des Netzwerks, sodass Anwendungen Netzwerkressourcen effizienter nutzen können.

Das InfiniBand-Netzwerk verwendet einen kreditbasierten Mechanismus, um Pufferüberlauf- und Paketverlustprobleme durch Flusskontrolle auf Verbindungsebene grundsätzlich zu vermeiden, während das verlustfreie ROCE-Ethernet einen „Post-Event“-Überlastungsmanagementmechanismus einsetzt. Bevor die Nachricht gesendet wird, werden keine Ressourcen mit dem Empfänger ausgehandelt, sondern die Nachricht wird direkt weitergeleitet. Nur wenn beim empfangenden Switch eine Portpufferüberlastung (oder eine drohende Überlastung) vorliegt, wird eine Überlastungsmanagementnachricht über die PFC- und ECN-Protokolle gesendet, sodass der Peer-Switch und die Peer-Netzwerkkarte das Senden von Nachrichten reduzieren oder aussetzen können. Diese „post-facto“-Methode kann den Einfluss von Überlastungen bis zu einem gewissen Grad mildern, Paketverluste und Netzwerkinstabilität können jedoch nicht vollständig vermieden werden.

Schematische Darstellung der verlustfreien Datenübertragung im InfiniBand-Netzwerk

Lassen Sie mich ein weiteres Beispiel zur Veranschaulichung verwenden:

Der kreditbasierte Mechanismus des InfiniBand-Netzwerks ist wie ein Hotel, das telefonische Sitzplatzreservierungen unterstützt. Wenn Sie in einem Restaurant speisen möchten, rufen Sie das Hotel im Voraus an, um sicherzustellen, dass genügend Sitzplätze vorhanden sind. So vermeiden Sie die Peinlichkeit, nach der Ankunft im Restaurant keinen Platz mehr zu haben. Diese Methode stellt das kulinarische Erlebnis der Kunden sicher und vermeidet Ressourcenverschwendung und Unzufriedenheit.

Das Anstehen der Kunden nach der Ankunft im Restaurant ähnelt dem Staumanagementmechanismus „nach der Veranstaltung“. ROCE verlustfreies Ethernet. Wer vorab keinen Termin vereinbart hat, kann nur entsprechend der tatsächlichen Situation warten. Obwohl Hotels Maßnahmen ergreifen werden, um die Überlastung zu verringern, besteht für sie möglicherweise immer noch das Risiko, dass nicht genügend Sitzplätze vorhanden sind und Kunden verloren gehen. Obwohl ein „Post-Event“-Überlastungsmanagementmechanismus die Situation bis zu einem gewissen Grad bewältigen kann, kann er die Unzufriedenheit und den Verlust der Kunden nicht vollständig verhindern.

Cut-Through-Weiterleitungsmodus: Ermöglicht dem Netzwerk eine geringere Latenz

Ethernet (einschließlich verlustfreies ROCE-Ethernet) verwendet standardmäßig den Store-and-Forward-Modus. Der Switch muss das gesamte Datenpaket vollständig empfangen und im Cache speichern, die Zieladresse und Integrität des Datenpakets überprüfen und es dann weiterleiten. Dieser Ansatz kann zu einer gewissen Latenz führen, insbesondere bei der Verarbeitung einer großen Anzahl von Paketen.

Während die Cut-Through-Forwarding-Modus-Technologie nur die Header-Informationen des Datenpakets lesen, den Zielport bestimmen und dann sofort mit der Weiterleitung des Datenpakets beginnen muss, wenn der Switch ein Datenpaket empfängt. Diese Technologie kann die Verweildauer von Datenpaketen im Switch deutlich reduzieren und dadurch Übertragungsverzögerungen reduzieren.

InfiniBand-Switches verwenden den Cut-Through-Weiterleitungsmodus, der die Weiterleitungsverarbeitung von Nachrichten sehr einfach macht. Es ist lediglich eine 16-Bit-LID (direkt vom Subnetzmanager bereitgestellt) erforderlich, um den Weiterleitungspfad schnell zu finden. Dadurch wird die Weiterleitungsverzögerung auf weniger als 100 Nanosekunden verkürzt. Ethernet-Switches verwenden normalerweise MAC-Tabellen-Lookup-Adressierung und Store-and-Forward-Methoden zur Datenverarbeitung. Da sie aber auch viele komplexe Dienste wie IP, MPLS, QinQ usw. abwickeln müssen, ist die Verarbeitungszeit relativ lang und kann mehrere Mikrosekunden oder sogar länger dauern. Selbst wenn einige Ethernet-Switches Cut-Through-Technologie verwenden, kann die Weiterleitungsverzögerung immer noch mehr als 200 Nanosekunden betragen.

Weiterleitungsverzögerung

Lassen Sie mich ein weiteres Beispiel zur Veranschaulichung verwenden:

Ethernet verarbeitet Pakete wie den Versand zerbrechlicher Gegenstände. Der Postbote muss beim Empfang des Pakets besonders vorsichtig sein und seine Unversehrtheit prüfen, um sicherzustellen, dass keine Schäden vorliegen, bevor er es an den Bestimmungsort weiterleitet. Der Postbote braucht dafür einige Zeit, daher kommt es zu einer gewissen Zeitverzögerung.

InfiniBand-Switches verarbeiten Pakete eher wie den Versand gewöhnlicher Nachrichten. Der Postbote wirft einfach einen kurzen Blick auf die Adresse auf dem Paket und leitet es schnell weiter, ohne auf eine vollständige Paketkontrolle warten zu müssen. Diese Methode ist schneller und verkürzt die Zeit, die das Paket auf dem Postweg verbringt, erheblich offEis, wodurch Übertragungsverzögerungen reduziert werden.