NVIDIA AI GPU サーバー: PCIe 対 SXM

Nvidia の GPU インターコネクト テクノロジには、PCIe と SXM という 2 つの主要なタイプのメモリ スロットがあります。これら 2 つのインターフェイスは機能と性能が異なります。

PCIe インターフェイスは、広く使用されている一般的なプロトコルです。充実した機能を備えていますが、GPU インターコネクトの通信速度は比較的遅いです。それでも、PCIe インターフェイス GPU カードは、PCIe スロットを介してサーバー内の CPU および他の GPU カードと通信できます。さらに、ネットワーク カードを介して外部サーバー ノード上のデバイスとデータを交換することもできます。 PCIe GPU カードの伝送速度を向上させたい場合は、NVLink ブリッジを使用して GPU と CPU 間の高速通信を実現できます。ただし、この方法は通常、128 つの GPU カード間の接続のみをサポートすることに注意してください。つまり、PCIe GPU カードは通常、ペアで表示され、NVLink ブリッジで接続され、PCIe チャネルを通じてデータを送信する必要があります。最新の PCIe 標準ではネットワーク帯域幅が XNUMXGB/s に制限されていることに注意してください。

対照的に、SXM インターフェイスは、ハイパフォーマンス向けに特別に設計されています。 GPU相互接続。回路基板上に配置された専用プロトコルを使用することで、SXM は次のことを行うことができます。 offカード間接続の点では、PCIe よりも高い伝送速度と優れたネイティブ NVLink サポートを備えています。メモリ帯域幅も PCIe よりも優れています。 SXM アーキテクチャは、GPU を NVIDIA 独自の DGX および HGX システムに接続するのに特に適しています。これらのシステムでは、SXM ベースの GPU は、通信に PCIe に依存せず、マザーボードに統合された NVSwitch を介して接続されます。この設計により、SXM は相互リンクされた最大 8 つの GPU をサポートし、非常に高い帯域幅を実現できます。たとえば、ノーカットの A100 と H100 はそれぞれ 600GB/s と 900GB/s の帯域幅に達することができ、わずかにカットされた A800 と H800 は 400GB/s の帯域幅に達することができます。

ユーザーは通常、特定のアプリケーション シナリオとパフォーマンス要件に応じて、PCIe ベースまたは SXM ベースの GPU の長所と短所を比較検討する必要があります。

PCIe (PCI Express) の概要

PCIe (PCI Express の略) は、高度なコンピューター拡張バス規格であり、その主な目標は、データ スループットとデバイス間の通信速度を向上させることです。全二重接続バスである PCIe のデータ転送速度は、レーン数に依存します。各レーンは 1 対のデータ ライン (1 つは送信用、もう 2 つは受信用) で構成され、各データ ラインのペアには 2 つの差動ラインが含まれています。たとえば、X12 は 16 つのレーンと 32 つのデータ ラインを意味し、クロック サイクルごとに方向ごとに XNUMX ビットのデータを転送できます。一方、XXNUMX は XNUMX つのレーンと XNUMX つのデータ ラインを意味し、サイクルごとに XNUMX ビットのデータを転送できます。同様に、XXNUMX、XXNUMX、XXNUMX などの構成もあります。

1.0 年の PCIe 2003 のリリース以来、その伝送速度は着実に向上しています。 PCIe 1.0 は、チャネルあたり 250 MB/s の伝送速度をサポートし、合計伝送速度は 2.5 GT/s になります。 2007 年までに、PCIe 2.0 仕様は総伝送速度を 5 倍の 500 GT/s に高め、チャネルあたりの伝送速度も 2022 MB/s に増加しました。 6.0 年までに、PCIe 64 仕様により、総伝送速度がさらに 7.0 GT/s に増加しました。同年 1 月、PCI-SIG アライアンスは PCIe 128 仕様を発表しました。この仕様は、2025 年にリリースされる最終バージョンでシングル チャネル (xXNUMX) の一方向伝送速度 XNUMX GT/s を達成すると予想されています。    

PCIe スループットの計算

PCIe スループット (または利用可能な帯域幅) を計算するときは、伝送速度とエンコード方式という 1 つの要素を考慮する必要があります。伝送速度は通常、2 秒あたりの伝送ビット数 (Gbps) ではなく、物理層通信プロトコルの速度属性を表す GT/s (ギガ トランジション/秒) で表されます。これは、伝送速度に追加のスループットを提供しないオーバーヘッド ビットが含まれているためです。たとえば、PCIe 8.x および PCIe 10.x は 20b/XNUMXb エンコード方式を使用します。これは、元のチャネル帯域幅の XNUMX% がオーバーヘッドに使用されることを意味します。

したがって、PCIe 2.0 プロトコルは 5.0 GT/s の伝送速度をサポートしますが、8b/10b エンコーディング ソリューションの使用により、各レーンの実際の実効速度は 5*8/10=4 Gbps、つまり 500 MB/秒になります。 s.同様に、PCIe 3.0 プロトコルは 8.0 GT/s の伝送速度をサポートしますが、128b/130b エンコード方式を使用した後の各レーンの実際の実効速度は約 7.877 Gbps、つまり 984.6 MB/s になります。

PCIe アーキテクチャは、ルート コンプレックス (RC)、スイッチ、エンドポイント (EP) など、さまざまなタイプの PCIe デバイスで構成されます。その中で、RC はバス アーキテクチャ内で唯一のものであり、プロセッサおよびメモリ サブシステムと I/O デバイスの接続を担当します。スイッチの機能は通常、既存の PCI デバイスとの互換性を確保するために 2 つ以上の論理 PCI-to-PCI ブリッジ (PCI-PCI ブリッジ) を含むソフトウェアによって実装されます。このアーキテクチャは、高性能コンピューティングと通信を強力にサポートします。

NVLink: GPU 通信を高速化する高速相互接続テクノロジ

コンピューティング能力が向上し続けるにつれて、マルチ GPU カードがパフォーマンス向上の鍵となります。ただし、従来の PCIe バスはデータ転送速度と遅延のボトルネックになる傾向があり、GPU 並列コンピューティングの効率とパフォーマンスを制限します。

この問題を解決するために、NVIDIA は GPUDirect P2P テクノロジを導入しました。これにより、GPU が PCI Express を通じて他の GPU のメモリに直接アクセスできるようになり、データ交換の遅延が短縮されます。しかし、それでも、PCI Express バス プロトコルとトポロジの制限により、依然として高い帯域幅要件を満たすことができません。このため、NVIDIA は NVLink 高速相互接続テクノロジをさらに導入しました。 NVLink は、CPU と GPU 間、および GPU と GPU 間のデータ転送を高速化し、より効率的で遅延の少ない相互接続ソリューションを提供することを目的としています。 2014 年の最初のリリース以来、NVLink は継続的にアップグレードされ、帯域幅は増加しています。 P100 の 160GB/s から V100 の 300GB/s、そして A100 の 600GB/s と、NVLink の帯域幅は増加しており、ハイ パフォーマンス コンピューティングを強力にサポートしています。

NVLink 高速インターコネクトには、主に 2 つの実装方法があります。1 つはブリッジを使用する方法、もう 1 つはマザーボードに NVLink インターフェイスを統合する方法です。どちらの方法でも GPU 間の高速相互接続を実現し、システム パフォーマンスを向上させることができます。

NVSwitch: シームレスな高帯域幅マルチ GPU 通信

GPU 間の通信の不均衡の問題を解決するために、NVIDIA は NVSwitch チップを導入しました。 NVSwitch はスイッチに似た物理チップ (ASIC) であり、NVLink インターフェイスを介して複数の GPU を高速で接続できます。シームレスな高帯域幅のマルチノード GPU クラスターを作成でき、すべての GPU が全帯域幅接続でクラスター内で連携できるようになり、サーバー内の複数の GPU 間の通信効率と帯域幅が向上します。

NVLink と NVSwitch を組み合わせることで、NVIDIA は AI パフォーマンスを複数の GPU に効率的に拡張でき、ハイパフォーマンス コンピューティングと人工知能アプリケーションを強力にサポートできます。 2018 年に第 4 世代の NVSwitch がリリースされて以来、NVSwitch は第 64 世代に進化しました。第 4.0 世代の NVSwitch は TSMC の 900N プロセスで構築されており、各チップには XNUMX 個の NVLink XNUMX ポートがあり、GPU 間の通信速度は最大 XNUMXGB/秒です。この革新的なテクノロジーは、将来のハイパフォーマンス コンピューティングおよび人工知能アプリケーションのためのより広範な開発スペースを提供します。