NVIDIA GH200 チップ、サーバー、クラスター ネットワークの詳細な分析

従来の OEM GPU サーバー: Intel/AMD x86 CPU + NVIDIA GPU

2024 年以前は、NVIDIA 自社製サーバーと NVIDIA GPU を搭載したサードパーティ製サーバーはどちらも x86 CPU マシンをベースとしていました。GPU は PCIe カードまたは 8 カード モジュールを介してマザーボードに接続されていました。

この段階では、CPU と GPU は独立していました。サーバー メーカーは、GPU モジュール (例: 8*A100) を購入することでサーバーを組み立てることができました。Intel または AMD CPU の選択は、パフォーマンス、コスト、または費用対効果を考慮して決定されました。

次世代 OEM GPU サーバー: NVIDIA CPU + NVIDIA GPU

200 年に NVIDIA GH2024 チップが登場したことで、NVIDIA の GPU に統合 CPU が含まれるようになりました。

• デスクトップ コンピューティング時代: CPU が主で、GPU (グラフィック カード) が副次的なコンポーネントでした。CPU チップには GPU チップを統合することができ、これを統合グラフィック カードと呼びます。
• AI データ センター時代: GPU が主要な役割を担い、CPU は二次的な役割になりました。GPU チップ/カードに CPU が統合されるようになりました。

その結果、NVIDIA の統合レベルが向上し、完全なマシンやフルラックの提供が開始されました。

CPU チップ: Grace (ARM) は、ARMv9 アーキテクチャに基づいて設計されています。

GPU チップ: Hopper/Blackwell/…

たとえば、Hopper シリーズでは最初に H100-80GB がリリースされ、その後さらにバージョンアップが行われました。

• H800: H100の簡易版。
• H200: H100のアップグレード版。
• H20: H200 の簡易版で、H800 より大幅に劣ります。

チップ製品（命名）例

グレースCPU + ホッパー200（H200）GPU

シングルボード上のGH200:

グレース CPU + ブラックウェル 200 (B200) GPU

単一ボード（モジュール）上の GB200、高消費電力、統合型液体冷却機能:

72 台の B200 が OEM キャビネット NVL72 を構成します。

GH200 サーバーの内部設計

GH200 チップの論理図

CPU、GPU、RAM、VRAMを1つのチップに統合

コアハードウェア

図に示すように、200 つの GHXNUMX スーパーチップには次のコア コンポーネントが統合されています。

• NVIDIA Grace CPU 1 基
• 1 エヌビディア H200 GPU
• 最大480GBのCPUメモリ
• 96GBまたは144GBのGPU VRAM

チップハードウェア相互接続

CPU は 5 つの PCIe Gen16 xXNUMX レーンを介してマザーボードに接続します。

• 各PCIe Gen5 x16レーンは128GB/sの双方向速度を提供します。
• したがって、512レーンの合計速度はXNUMXGB/sとなる。

CPU と GPU は、NVLink® Chip-2-Chip (NVLink-C2C) テクノロジーを使用して相互接続されます。

• 900GB/秒、PCIe Gen5 x16のXNUMX倍の速度

GPU 相互接続 (同一ホスト内およびホスト間) では 18x NVLINK4 を使用します。

• 900GB /秒

NVLink-C2C は、NVIDIA が「メモリ コヒーレンス」と呼ぶものを提供し、メモリと VRAM 間の一貫性を保証します。その利点は次のとおりです。

• 最大624GBのメモリとVRAMを統合し、ユーザーが区別なく利用できるようにすることで、開発者の効率を向上します。
• CPUとGPUの両方によるCPUとGPUメモリへの同時かつ透過的なアクセス
• GPU VRAMは、広い相互接続帯域幅と低レイテンシのおかげで、必要に応じてCPUメモリを使用してオーバーサブスクライブできます。

次に、CPU、メモリ、GPU などのハードウェア コンポーネントについて詳しく見ていきましょう。

CPUとメモリ

72コアARMv9 CPU

72 コアの Grace CPU は、Neoverse V2 Armv9 コア アーキテクチャに基づいています。

480GB LPDDR5X (低電力DDR) メモリ

• 最大480GBのLPDDR5Xメモリをサポート
• CPU あたり 500GB/秒のメモリ帯域幅

ストレージの観点からこの速度を理解するには、次の点に留意してください。

3 種類のメモリの比較: DDR vs. LPDDR vs. HBM

ほとんどのサーバー (大多数) は、マザーボード上の DIMM スロットを介して CPU に接続された DDR メモリを使用します。LPDDR の第 1 世代から第 4 世代は、モバイル デバイスで一般的に使用される DDRXNUMX から DDRXNUMX の低電力バージョンに相当します。

• LPDDR5はDDR5とは独立して設計されており、DDR5よりも早く生産されました。
• CPUに直接はんだ付けされており、取り外しや拡張が不可能なため、コストは高くなりますが、速度は速くなります。
• 同様のタイプはGDDRで、RTX 4090などのGPUで使用されています。

GPUとVRAM

H200 GPUコンピューティングパワー

H200 GPU の計算能力の詳細については、以下を参照してください。

VRAMオプション

2 種類の VRAM がサポートされており、次のいずれかを選択できます。

• 96GB HBM3
• 144GB HBM3e は 4.9TB/s の帯域幅を提供し、これは H50 SXM より 100% 高い値です。

バリエーション: フルNVLINK接続を備えたGH200 NVL2

このバリアントは、200 つのボードに 8 つの GHXNUMX チップを配置し、CPU、GPU、RAM、VRAM を XNUMX 倍にして、XNUMX つのチップ間の完全な相互接続を実現します。たとえば、XNUMX つのボードを収容できるサーバーの場合:

• GH200 チップを使用: CPU と GPU の数は 8 * {72 個の Grace CPU、1 個の H200 GPU}
• GH200 NVL2 バリアントの使用: CPU と GPU の数は 8 * {144 個の Grace CPU、2 個の H200 GPU} です。

GH200 および GH200 NVL2 製品仕様 (コンピューティング パワー)

NVIDIA GH200の製品仕様が記載されています。上部にはCPU、メモリなどのパラメータが含まれ、GPUパラメータは「FP64」から始まります。

GH200 サーバーとネットワーク

サーバー仕様には、PCIe カードと NVLINK カードに対応する 2 つがあります。

NVIDIA MGX と GH200: OEM ホストとネットワーク

以下の図は、シングルカード ノードのネットワーク方法を示しています。

• 各ノードには GH200 チップが XNUMX つだけ含まれており、NVLINK のない PCIe カードとして機能します。
• 各ノードのネットワーク カードまたはアクセラレータ カード (BlueField-3 (BF3) DPU) はスイッチに接続します。
• ノード間の GPU 間に直接接続はなく、通信はホスト ネットワーク (GPU -> CPU -> NIC) を介して行われます。
• HPC ワークロードおよび小規模から中規模の AI ワークロードに適しています。

NVIDIA GH200 NVL32: OEM 32 カード キャビネット

32 枚のカード キャビネットは、NVLINK を使用して 32 個の GH200 チップを 32 つの論理 GPU モジュールに接続するため、NVLXNUMX という名前が付けられています。

NVL32 モジュールは本質的にはキャビネットです。

• 19.5 つのキャビネットで XNUMX TB のメモリと VRAM が提供されます。
• NVLink TLB により、任意の GPU がキャビネット内の任意のメモリ/VRAM にアクセスできるようになります。

NVIDIA GH200 NVL32 には、拡張 GPU メモリ (EGM) を含む XNUMX 種類のメモリ/VRAM アクセス方法があります。

複数のキャビネットをネットワーク経由で相互接続してクラスターを形成できるため、大規模な AI ワークロードに適しています。