Die Entwicklung von NvLink und NvSwitch von Nvidia verstehen: Topologie und Raten

2014: Einführung der Pascal-Architektur mit Tesla P100

Im Jahr 2014 brachte Nvidia den Tesla P100 auf Basis der Pascal-Architektur auf den Markt. Diese GPU verfügte über die NVLink-Technologie der ersten Generation, die Hochgeschwindigkeitskommunikation zwischen 4 oder 8 GPUs ermöglichte. Die bidirektionale Verbindungsbandbreite von NVLink 1.0 war fünfmal so hoch wie die von PCIe 3.0×16. Hier ist die Berechnung:

• PCIe 3.0×16: Bidirektionale Kommunikationsbandbreite von 32 GB/s (1 GB x 16 x 2).
• NVLink 1.0: Bidirektionale Verbindungsbandbreite von 160 GB/s (20 GB x 4 x 2).

Da keine NvSwitch-Chips vorhanden waren, wurden die GPUs in einer Mesh-Topologie miteinander verbunden, wobei 160 GB/s die Gesamtbandbreite von einer GPU zu vier direkt verbundenen GPUs darstellt.

2017: Volta Architecture mit V100

2017 veröffentlichte Nvidia die Volta-Architektur mit der V100-GPU. Der NVLink der V100 erhöhte die unidirektionale Bandbreite pro Link von 20 GB/s auf 25 GB/s und die Anzahl der Links von 4 auf 6, wodurch die insgesamt unterstützte GPU-NVLink-Bandbreite auf 300 GB/s stieg. Das 100 veröffentlichte V1 DGX-2017-System verfügte jedoch nicht über NvSwitch. Die Topologie war ähnlich wie bei NVLink 1.0, mit einer Erhöhung der Anzahl der Links.

2018: Einführung des V100 DGX-2-Systems

Um die Bandbreite der Inter-GPU-Kommunikation und die Gesamtsystemleistung weiter zu verbessern, führte Nvidia 100 das V2 DGX-2018-System ein. Dies war das erste System mit integriertem NvSwitch-Chip, der die vollständige Verbindung zwischen 16 SXM V100 GPUs innerhalb eines einzigen DGX-2-Systems ermöglichte.

Der NVSwitch verfügt über 18 NVLink-Ports, 8 davon verbinden sich mit der GPU und 8 mit einem anderen NVSwitch-Chip auf einem anderen Baseboard. Jedes Baseboard enthält sechs NVSwitches für die Kommunikation mit einem anderen Baseboard.

2020: Ampere-Architektur mit A100

Im Jahr 2020 brachte Nvidia die Ampere-Architektur mit der A100-GPU auf den Markt. Die NVLink- und NVSwitch-Chips wurden auf die Versionen 3.0 bzw. 2.0 aktualisiert. Obwohl die unidirektionale Bandbreite pro Link bei 25 GB/s blieb, erhöhte sich die Anzahl der Links auf 12, was zu einer Gesamtbandbreite der bidirektionalen Verbindung von 600 GB/s führte. Das DGX A100-System verfügt über 6 NVSwitch 2.0-Chips, wobei jede A100-GPU über 12 NVLink-Verbindungen mit den 6 NVSwitch-Chips verbunden ist, wodurch zwei Links zu jedem NVSwitch sichergestellt werden.

Die logische Topologie des GPU-Systems ist wie folgt:

Vielen Leuten ist die logische Beziehung zwischen dem HGX-Modul und dem „Serverkopf“ unklar. Unten sehen Sie ein Diagramm, das zeigt, dass die SXM-GPU-Basisplatine über PCIe-Verbindungen mit der Server-Hauptplatine verbunden ist. Der PCIe-Switch-Chip (PCIeSw) ist in die Serverkopf-Hauptplatine integriert. Sowohl die Netzwerkkarte als auch die NVMe U.2 PCIe-Signale stammen ebenfalls vom PCIeSw.

2022: Hopper-Architektur mit H100

Die H100-GPU, die auf der Hopper-Architektur basiert, wurde 2022 mit NVLink- und NVSwitch-Versionen 4.0 bzw. 3.0 veröffentlicht. Während die unidirektionale Bandbreite pro Link unverändert bei 25 GB/s blieb, erhöhte sich die Anzahl der Links auf 18, was zu einer Gesamtbandbreite der bidirektionalen Verbindung von 900 GB/s führte. Jede GPU ist mit 4 NVSwitches in einer 5+4+4+5-Gruppierung verbunden.

Die OSFP-Schnittstellen der NVSwitch-Chips im DGX-System werden für Nvidias größeres GPU-Netzwerk verwendet, wie beispielsweise in der DGX H100 256 SuperPOD-Lösung.

2024: Blackwell Architecture mit B200

Im Jahr 2024 führte Nvidia die Blackwell-Architektur mit der B200-GPU ein, die NVLink- und NVSwitch-Versionen 5.0 bzw. 4.0 enthielt. Die unidirektionale Bandbreite pro Link verdoppelte sich auf 50 GB/s bei 18 Links, was zu einer gesamten bidirektionalen Verbindungsbandbreite von 1.8 TB/s führte. Jeder NVSwitch-Chip verfügt über 72 NVLink 5.0-Ports und jede GPU verwendet 9 NVLink-Verbindungen zu zwei NVSwitch-Chips.

Mit der Veröffentlichung des B200 stellte Nvidia auch NVL72 vor, ein integriertes GPU-System, das den NVLink-Netzwerk-Switch nutzt, um eine vollständige Interkonnektivität zwischen 72 GPUs zu erreichen.

Die logische Topologie zur Verbindung der 72 GPUs mithilfe von 9 NVLink-Switches ist wie folgt:

Jede B200-GPU verfügt über 18 NVLink-Ports, was insgesamt 1,296 NVLink-Verbindungen (72×18) ergibt. Ein einzelner Switch Tray enthält zwei NVLink-Switch-Chips, die jeweils 72 Schnittstellen bereitstellen (insgesamt 144). Somit sind 9 Switch Trays erforderlich, um die 72 GPUs vollständig miteinander zu verbinden.