Nvidia の NvLink と NvSwitch の進化を理解する: トポロジとレート

2014年: Tesla P100によるPascalアーキテクチャの導入

2014 年、Nvidia は Pascal アーキテクチャに基づく Tesla P100 を発売しました。この GPU は第 4 世代の NVLink テクノロジを搭載し、8 個または 1.0 個の GPU 間の高速通信を可能にしました。NVLink 3.0 の双方向相互接続帯域幅は、PCIe 16×XNUMX の XNUMX 倍でした。計算は次のとおりです。

• PCIe 3.0×16: 双方向通信帯域幅32GB/s (1GBx16x2)。
• NVLink 1.0: 双方向相互接続帯域幅 160GB/秒 (20GBx4x2)。

NvSwitch チップがないため、GPU はメッシュ トポロジで相互接続されており、160 つの GPU から XNUMX つの直接接続された GPU までの合計帯域幅は XNUMX GB/秒です。

2017: Volta ArchitectureとV100

2017 年、Nvidia は V100 GPU を搭載した Volta アーキテクチャをリリースしました。V100 の NVLink は、リンクあたりの単方向帯域幅を 20GB/秒から 25GB/秒に、リンク数を 4 から 6 に増やし、サポートされる GPU NVLink 帯域幅の合計を 300GB/秒に引き上げました。ただし、100 年にリリースされた V1 DGX-2017 システムには NvSwitch は搭載されていませんでした。トポロジは NVLink 1.0 に似ており、リンク数が増加しました。

2018年：V100 DGX-2システムの導入

GPU 間通信帯域幅とシステム全体のパフォーマンスをさらに強化するために、Nvidia は 100 年に V2 DGX-2018 システムを導入しました。これは NvSwitch チップを組み込んだ最初のシステムであり、単一の DGX-16 システム内で 100 個の SXM V2 GPU 間の完全な相互接続を可能にしました。

NVSwitch には 18 個の NVLink ポートがあり、そのうち 8 個は GPU に接続し、8 個は別のベースボード上の別の NVSwitch チップに接続します。各ベースボードには、別のベースボードとの通信用に XNUMX 個の NVSwitch が含まれています。

2020: A100を搭載したAmpereアーキテクチャ

2020 年、Nvidia は A100 GPU を搭載した Ampere アーキテクチャを発表しました。NVLink チップと NVSwitch チップは、それぞれバージョン 3.0 と 2.0 にアップグレードされました。リンクあたりの単方向帯域幅は 25 GB/秒のままですが、リンクの数は 12 に増加し、双方向相互接続帯域幅の合計は 600 GB/秒になりました。DGX A100 システムには 6 つの NVSwitch 2.0 チップが搭載されており、各 A100 GPU は 12 の NVLink 接続を介して 6 つの NVSwitch チップに相互接続され、各 NVSwitch に XNUMX つのリンクが確保されます。

GPU システムの論理トポロジは次のとおりです。

HGX モジュールと「サーバー ヘッド」の論理的な関係については、多くの人が明確に理解していません。以下は、SXM GPU ベースボードが PCIe リンクを介してサーバー マザーボードと相互接続されていることを示す図です。PCIe スイッチ (PCIeSw) チップは、サーバー ヘッド マザーボードに統合されています。ネットワーク カードと NVMe U.2 PCIe 信号も、PCIeSw から発信されます。

2022: H100を使用したホッパーアーキテクチャ

Hopper アーキテクチャに基づく H100 GPU は、2022 年に NVLink と NVSwitch のバージョンがそれぞれ 4.0 と 3.0 でリリースされました。リンクあたりの単方向帯域幅は 25 GB/秒のまま変わりませんでしたが、リンクの数は 18 に増加し、双方向相互接続帯域幅の合計は 900 GB/秒になりました。各 GPU は、4+5+4+4 のグループを使用して 5 つの NVSwitch と相互接続されています。

DGX システムの NVSwitch チップの OSFP インターフェイスは、DGX H100 256 SuperPOD ソリューションなどの Nvidia の大規模な GPU ネットワークに使用されます。

2024年：ブラックウェル・アーキテクチャーとB200

2024 年、Nvidia は B200 GPU で Blackwell アーキテクチャを導入しました。これは、それぞれ NVLink と NVSwitch バージョン 5.0 と 4.0 を搭載しています。リンクあたりの単方向帯域幅は 50 のリンクで 18GB/秒に倍増し、合計双方向相互接続帯域幅は 1.8TB/秒になりました。各 NVSwitch チップには 72 個の NVLink 5.0 ポートがあり、各 GPU は 9 つの NVSwitch チップへの XNUMX つの NVLink 接続を使用します。

B200 のリリースと同時に、Nvidia は NVLink ネットワーク スイッチを利用して 72 個の GPU 間の完全な相互接続を実現する統合 GPU システムである NVL72 も発表しました。

72 つの NVLink スイッチを使用して 9 個の GPU を相互接続するための論理トポロジは次のとおりです。

各 B200 GPU には 18 個の NVLink ポートがあり、合計 1,296 個の NVLink 接続 (72×18) になります。72 つのスイッチ トレイには 144 つの NVLink スイッチ チップが含まれており、それぞれが 9 個のインターフェイス (合計 72 個) を提供します。したがって、XNUMX 個の GPU を完全に相互接続するには XNUMX 個のスイッチ トレイが必要です。