56G FDR InfiniBand: AOC-Kabel, Transceiver und Switch-Optionen
Im Hinblick auf nahtlose Datenübertragung und hohe Rechenleistung ist das 56G FDR InfiniBand-Protokoll die Spitzentechnologie, die unübertroffene Geschwindigkeit und Effizienz verspricht. Das wahre Potenzial dieser Geschwindigkeit hängt jedoch von der richtigen Kombination weiterer kritischer Komponenten ab – AOC-Kabel, Transceiver und Switches.
Einführung in FDR InfiniBand
Was ist 56G FDR InfiniBand?
Die 56G FDR (Fourteen Data Rate) InfiniBand-Technologie sorgt für deutlich verbesserte Leistung, da sie die Geschwindigkeit datenintensiver Anwendungen optimiert und so Verzögerungen beim Zugriff auf große Datenmengen minimiert. Dank der Komponenten der FDR InfiniBand-Architektur stehen 56 Gigabit pro Sekunde (Gbit/s)-Ports zur Verfügung, die eine sicherere und schnellere Kommunikation zwischen Servern, Speichergeräten und anderen Komponenten innerhalb von High-Performance-Computing-Systemen (HPC) und Rechenzentren ermöglichen.
Die extrem hohen Ergebnisse beruhen auf einem völlig neuen Grund: der exzellenten Kodierung der übertragenen Daten! Dies ist dem fortschrittlichen 64/66-Bit-Kodierungsverfahren zu verdanken, das im Vergleich zu älteren Technologien wie QDR (Quad Data Rate) eine deutliche Effizienzsteigerung bei der Datenübertragung ermöglicht. Die FDR-Technologie ist auf schnellen Datenzugriff und -transfer ausgelegt und bietet minimalen Overhead sowie eine überlegene Nutzlastkapazität für die Datenübertragung.
Bedeutung im Hochleistungsrechnen (HPC)
Der Betrieb des FDR InfiniBand-Systems leistet einen entscheidenden Beitrag zur Weiterentwicklung des Hochleistungsrechnens (HPC) durch extrem niedrige Latenzzeiten und die für hochkomplexe Rechenaufgaben erforderliche hohe Bandbreite. Die Knotenkommunikation ist eine zwingende Voraussetzung für HPC-Anwendungen, insbesondere bei umfangreichen Simulationen, Echtzeit-Datenanalysen oder Wettermodellierungen. InfiniBand bietet hierfür eine besonders ausgewogene Lösung, da es Datenraten von bis zu 56 Gbit/s unterstützt und Latenzzeiten potenziell auf bis zu 500 Nanosekunden reduzieren kann.
Hochtechnologische Erkenntnisse belegen eindeutig die Notwendigkeit von HPC-Clustern. InfiniBand hat sich als Schlüsseltechnologie für Supercomputer der heutigen Generation erwiesen und dominiert daher seit geraumer Zeit die Kategorie der leistungsstärksten Systeme, gemessen an der globalen Performance gemäß der TOP500-Liste. Das HDR InfiniBand-System ist im Gegensatz zu herkömmlichen Switch-Designs relativ selten, bietet aber eine maximale Datenübertragungsrate von bis zu 200 Gbit/s für hochmoderne Systeme wie die im Oak Ridge National Laboratory.
Technische Spezifikationen des 56G FDR
Durchsatz- und Latenz-Benchmarks
Um die Spitzenleistung von FDR InfiniBand 56G in HPC-Umgebungen (High-Performance Computing) zu demonstrieren, müssen sowohl Durchsatz als auch Latenz getestet werden. Diese Spitzenleistung ermöglicht die Übertragung von Daten mit 56 Gbit/s pro Verbindung und den damit verbundenen Datentransfer zu anderen Knoten auch unter weniger komplexen Bedingungen mit mehreren Workloads. Der hohe Durchsatz ist somit die Grundlage für umfangreiche Simulationen, das Training von Deep-Learning-Modellen und Echtzeit-Finanzanalysen.
Das FDR InfiniBand zeichnet sich durch Latenzzeiten im Bereich von ca. 0.7 Mikrosekunden aus und gewährleistet so einen stets schnellen Datenverkehr, der selbst bei geringfügigen Unterbrechungen nicht vorhersehbar ist. Dieses System ist besonders attraktiv, wenn Systeme die Synchronisierung zwischen Workloads durchführen und die benötigte Datenverarbeitungszeit abschätzen müssen.
64b/66b-Kodierungsstandards
Der 64b/66b-Codierungsstandard ist für hochentwickelte Hochgeschwindigkeits-Netzwerkübertragungssysteme von großer Bedeutung, insbesondere in gemischten Umgebungen mit InfiniBand- und Ethernet-Technologien. Obwohl er primär der verbesserten Fehlererkennung dient, trägt er gleichzeitig maßgeblich zu einer ausgewogenen Datenübertragungseffizienz bei.
Das 64-Bit/66-Bit-Verfahren wandelt 64 Bit Eingangsdaten in 66 entsprechende Ausgabebits um, die mit zwei zusätzlichen Bits Cr, sogenannten Blocktrennzeichen, arbeiten. Dieses Verfahren ermöglicht Synchronisierungsmuster für datenverarbeitende Hardware-Systeme und reduziert den Ressourcenverbrauch beim Dekodieren im Vergleich zu 8-Bit/10-Bit, das einen Ressourcen-Overhead von 25 % verursachte. Im Betrieb verwendet das System 64-Bit/66-Bit mit einem Overhead von 3 % für die Datenübertragung über Kommunikationsverbindungen.
Hauptvorteile und Anwendungsfälle
Skalierbarkeit in Rechenzentren
Eine der entscheidendsten Eigenschaften moderner Rechenzentren ist ihre Skalierbarkeit, um kurzfristige Leistungs- und Zuverlässigkeitsanforderungen zu erfüllen. Rechenzentren müssen in zwei Dimensionen skalierbar sein – vertikal und horizontal –, um den Anforderungen des rasanten Datenwachstums durch Cloud Computing, KI und IoT gerecht zu werden.
Skalierbarkeit kann horizontal erfolgen, indem dem Netzwerk weitere Server und Knoten hinzugefügt werden, oder vertikal, was die Erhöhung der Leistung der vorhandenen Hardware beinhaltet. Große Hyperscale-Rechenzentren von Google, Amazon, Microsoft usw. nutzen beispielsweise fortschrittliche Kühlsysteme, softwaredefinierte Architekturen und Automatisierungstools, um sich einen Wettbewerbsvorteil in puncto Skalierbarkeit zu verschaffen.
Anwendungen von 56G FDR InfiniBand in der realen Welt
Hochleistungsrechnen (HPC)
Wo immer die Kommunikationskosten zu hoch wären, wird 56G in verschiedenen Monetarisierungs- und Analyseanwendungen bevorzugt. InfiniBand profitiert von der erforderlichen Latenz. Wenn große Byte-Prozessoren bei rechenintensiven Aufgaben Speicherdaten schnell von Knoten zu Knoten verschieben, werden häufig Datenübertragungen mit 56 Gbit/s im laufenden Betrieb durch das System geleitet. Die Erstellung von Datensätzen, die Erhöhung der Geschwindigkeit und die drastische Reduzierung der Datenübertragungsrate auf 56 Gbit/s veranschaulichen diese Realität.
KI- und Machine-Learning-Workloads
KI-Lernen und -Implementierung erfordern einen enormen Datenaustausch zwischen GPUs, CPUs und Speichersystemen. Das 56G FDR InfiniBands-basierte, skalierbare InfiniBand-Netzwerk ermöglicht einen reibungslosen Datenaustausch ohne Engpässe und beschleunigt so KI-Workflows. Stellen Sie sich eine Geschwindigkeitssteigerung von bis zu 40 % beim KI-Training vor, indem Sie InfiniBand über alternative Verbindungen nutzen.
Wichtige Kommunikationsdienstleister
Immer mehr bedeutende Cloud-Infrastrukturen setzen auf 56G FDR InfiniBand-Netzwerke für zuverlässige Datenübertragungsdienste mit extrem niedrigen Latenzen. Die von InfiniBand bereitgestellten RDMA-Funktionen ermöglichen eine effiziente Ressourcenteilung zwischen virtuellen Maschinen und verteiltem Speicher. Große Unternehmen wie Microsoft und Oracle werden die InfiniBand-Technologie unter anderem in ihren Hyperscale-Cloud-Infrastrukturen einsetzen, um den unterbrechungsfreien Betrieb ihrer Plattformen sicherzustellen.
Kompatibilität und Integration
Rückwärts- und Aufwärtskompatibilität im InfiniBand-Ökosystem
Die InfiniBand-Technologie ist zukunftssicher und skalierbar über nachfolgende Hardwaregenerationen hinweg. Daher ist Rückwärtskompatibilität entscheidend, damit mehrere Hardwaregenerationen die Einsatzkriterien erfüllen. Bei der Aufrüstung eines integrierten InfiniBand-Systems durch Erweiterungen oder den Austausch eines alten Geräts sollte ein echtes Modell der Rückwärtskompatibilität verhindern, dass ein Upgrade der bereits installierten Hardware erforderlich ist.
InfiniBand ergänzt die Abwärtskompatibilität auf Architekturebene durch Standards für flexiblere Protokolle, die die Wartungsfreundlichkeit zukünftiger Hardware-Designs verbessern. Technologiestandards gewährleisten die Kompatibilität auch bei neuen Geschwindigkeiten wie HDR (200 Gbit/s) oder NDR (400 Gbit/s). So wird sichergestellt, dass selbst neu eingeführte Kabel und Geräte mit älteren Modellen (mit niedrigeren Geschwindigkeiten) kompatibel sind.
Die richtigen Komponenten für maximale Leistung
Die Entwicklung produktionsbezogener Unternehmen und ihrer anspruchsvollen wissenschaftlichen Forschungs- und Supercomputing-Projekte setzt höchste Maßstäbe für eine der weltweit leistungsstärksten Systeme. Daher ist die Auswahl der richtigen Komponenten entscheidend, um die optimale Leistung jeder Konfiguration zu erzielen. Zu diesen Komponenten gehören üblicherweise Prozessoren, Netzwerkschnittstellen sowie Speicherkapazität und Speicherlösungen.
Laut aktuellen Branchenanalysen bieten InfiniBand-HDR-Systeme bis zu 200 % höhere Datenübertragungsraten als andere Alternativen und sind damit deutlich effizienter für datenintensive Anwendungen. Auch die Speichertechnologien entwickeln sich rasant weiter: HBM3 erreicht eine Bandbreite von 819 GB/s. Sie werden insbesondere bei KI- und Machine-Learning-Anwendungen zum Einsatz kommen, wo schnelle Datenübertragung entscheidend für die Einhaltung enger Zeitvorgaben oder sogar für Echtzeit-Anwendungen ist.
Vergleichende Analyse mit anderen Standards
56G FDR vs. EDR InfiniBand
1. Bandbreite und Durchsatz
Das 56G FDR InfiniBand ermöglicht eine maximale Datenübertragungsrate von 56 Gbit/s pro Lane und eignet sich daher ideal für viele Unternehmensanwendungen sowie High-Performance-Computing-Anwendungen (HPC). EDR InfiniBand stellt somit einen deutlichen Leistungssprung dar und bietet eine Spitzendatenrate von 100 Gbit/s pro Lane, wodurch der Durchsatz von FDR InfiniBand in der Praxis verdoppelt wird.
2. Verbesserung der Latenz:
EDR InfiniBand geht einen Schritt weiter und überwindet die von FDR InfiniBand wahrgenommene Latenzgrenze – eine weitere Verbesserung. Während FDR in diesem Bereich zwischen 0.7 und 1 Mikrosekunde arbeitet, reduziert EDR IB diese Latenz um mehr als 100 Nanosekunden. Dadurch werden blitzschnelle Reaktionszeiten gewährleistet, die für schnelle Verarbeitungsvorgänge wie Echtzeitanwendungen und sehr umfangreiche Simulationen erforderlich sind.
3. Skalierbarkeit und Effizienz.
InfiniBand EDR ist eine weitere Möglichkeit, eine größere Vielfalt an Geräten in einem extrem großen Node-to-Node-Kommunikationsmodul mit hervorragender Bandbreite zu verbinden, die im Vergleich zum ED-System für High-End-Netzwerke mit hoher Bandbreite geeignet ist. Diese Skalierung zielt primär darauf ab, die steigenden Systemlasten bei EDR zu bewältigen und gleichzeitig eine gleichbleibende Leistung zu gewährleisten.
Häufig gestellte Fragen (FAQs)
Welche Optionen gibt es bei 56GB FDR InfiniBand QSFP-Transceivern?
Führende Hersteller bieten Mellanox-Transceiver und MSA-konforme QSFPs von Drittanbietern an, die eine breite Palette an 56g FDR InfiniBand QSFP-Transceivern gewährleisten. Direct-Attach-Copper-Verbindungen (DAC) für kurze Distanzen von 3 m, 5 m und 10 m eignen sich gut für Chip-zu-Chip-/Top-of-Rack-Verbindungen. Aktive optische Kabel (AOC) für Distanzen bis zu 30 m (98 ft) verfügen über eigene optische Transceiver zum direkten Anschluss an kompatible Switches und QSFP-Ports.
Was ist besser – ein DAC oder ein aktives optisches Kabel für 56-Gauge-Infiniband-Kabel?
Obwohl DACs für sehr kurze Strecken (typischerweise 1–10 m, exzellente niedrige Latenz für FDR QSFP) kostengünstig sein können, ermöglichen aktive optische Kabel (AOCs) und optische Transceiver eine deutlich größere Reichweite (3 m, 5 m, 10 m, 30 m, 60 m) und bieten eine bessere Abschirmung gegen elektromagnetische Störungen. Bei 56G InfiniBand eignen sich AOCs besonders für Umgebungen, in denen Verbindungen zwischen Switches oder zwischen Switches und hyperkonvergenten Clustern die zulässige Entfernung für Kupferkabel überschreiten.
Bis zu welchen Switch-Modellen können 56g fdr Infiniband QSFP-Module verwendet werden?
Beispielsweise verwendet Mellanox (jetzt Teil von NVIDIA) häufig 56G FDR InfiniBand QSFP-Module in seinen Switches. Auch Switches von Cisco und anderen Herstellern sind oft FDR-QSFP-kompatibel. Die QSFP-Teilenummern qualifizierter Hersteller in einer Switch-Kompatibilitätsmatrix bestätigen, dass die Switch-Firmware 56G FDR-Datenraten unterstützt.
Kann eine aktive optische Verbindung eine volle 56G-Bitrate übertragen, die für InfiniBand FDR ausreicht?
Ja, InfiniBand FDR QSFP-Ports unterstützen 56-Gbit/s-Lane-Aggregation für FDR-Systeme über ein zertifiziertes aktives Glasfaserkabel. Das AOC muss von der MSA stammen und werkseitig sowohl auf Mellanox- als auch auf Cisco-Geräten getestet worden sein, um die Konformität sicherzustellen. Je nach Ihren Anforderungen sind die Kabellängen 3 m, 5 m, 10 m, 30 m und 98 Fuß (ca. 30 m) erhältlich.
