NVIDIA HGX H100 のご紹介: ハイパフォーマンスコンピューティングと AI を加速

2024 年 6 月 21 日

ジェイソンリーブス

産業の進歩は、高性能コンピューティング（HPC）と人工知能（AI）によって推進されてきました。イノベーションは、大量のデータを処理し、複雑な計算を効率的に実行する能力に依存します。 NVIDIA HGX H100 HPC および AI ワークロードの増大するニーズを満たす革新的なソリューションが登場します。この記事では、NVIDIA HGX H100 の詳細なレビューを提供し、その技術仕様と主な機能を強調するとともに、このテクノロジが科学研究、データ分析、機械学習などにどのように影響するかについて説明します。この紹介により、読者は NVIDIA HGX H100 が高性能コンピューティングと人工知能アプリケーションにどのような革命をもたらすかを理解できるようになります。

NVIDIA HGX H100 は AI と HPC をどのように加速するのでしょうか?

NVIDIA HGX H100 とは何ですか?

HPC および AI アプリケーションの生産性を高めるために開発された NVIDIA HGX H100 は、効率的な高性能コンピューティングプラットフォームです。数値演算の効率を高めるメカニズムとして最先端のテンソルコアと GPU テクノロジを備えた画期的な NVIDIA Hopper アーキテクチャを搭載しています。このプラットフォームは、複雑なデータ分析や大規模なシミュレーションの実行、ディープラーニングモデルのトレーニングに使用されるため、強力なコンピューターを求める業界に適しています。HGX H100 は、高度なメモリ帯域幅、相互接続、スケーラビリティ機能を通じてこれを実現し、高速コンピューティングシステムの新たなベンチマークを確立しています。

AI向けNVIDIA HGX H100の主な特徴

NVIDIA Hopper アーキテクチャ: HGX H100 には、AI および HPC ワークロードを強化するために特別に設計された最新の NVIDIA Hopper アーキテクチャが組み込まれています。このアーキテクチャのハイライトの XNUMX つは、以前のバージョンよりも最大 XNUMX 倍のトレーニングパフォーマンスを実現する新しいテンソルコアです。
高度な Tensor コア: このプラットフォームには第 64 世代のテンソルコアが搭載されており、Nvidia が HGX を導入したことで、AI トレーニングおよび推論アプリケーションのパフォーマンスが 32 倍になります。コアは FP16、TF8、FPXNUMX、INTXNUMX などのさまざまな精度をサポートしているため、あらゆる種類の計算に非常に汎用的です。
高いメモリ帯域幅: HGX H100 には、2 TB/秒を超えるメモリ帯域幅を提供する高帯域幅メモリ (HBM1.5e) が搭載されています。この機能により、大規模なシミュレーションを実行できるだけでなく、大きなデータセットも問題なく処理できます。
強化された相互接続: HGX H100 は、NVIDIA NVLink テクノロジーによって実現される超高速マルチ GPU 通信を特徴としています。NVLink 4.0 は最大 600 GB/秒を提供するため、この相互接続帯域幅は、複数の GPU にわたる集中的なワークロードをスムーズにスケーリングするために不可欠です。
スケーラビリティ： このプラットフォームは拡張性が高く、マルチノード構成をサポートしています。そのため、計算要件が増加する可能性があるデータセンターでのモジュール式の導入に適しています。
エネルギー効率： 最適化されたエネルギー消費モデルを使用して開発された HGX H100 は、ワットあたりの高いパフォーマンスを保証し、大量の計算を行う環境的にも経済的にも賢明な選択肢となります。

これらの技術的機能を統合することで、NVIDIA HGX H100 は AI および HPC アプリケーションのパフォーマンスと効率を大幅に向上させ、高速コンピューティングにおける新たな記録を樹立します。

ハイパフォーマンスコンピューティング (HPC) ワークロードのメリット

特に、高度なハードウェア設計とソフトウェアの最適化により、NVIDIA HGX H100 は HPC ワークロードに素晴らしい成果をもたらします。第 2 世代のテンソルコアを統合することで、AI トレーニングと推論タスクを大幅に高速化し、計算時間を短縮して生産性を向上させます。重要な点として、これは複雑なシミュレーションやデータ集約型アプリケーションに必要な高帯域幅メモリ (HBM4.0e) による大規模データセットの迅速な実行をサポートします。さらに、これらの相互接続により、NVIDIA が設計した NVLink XNUMX がマルチ GPU 通信を強化し、複数のノード間での効率的なスケーリングを促進します。その結果、コンピューティングパフォーマンス、エネルギー効率、およびより大きな計算負荷を処理する能力が全体的に向上し、これらの機能を組み合わせることで HPC インフラストラクチャのエンドポイントが向上します。

NVIDIA HGX H100 プラットフォームの仕様は何ですか?

NVIDIA HGX H100 のハードウェア概要

NVIDIA HGX H100 プラットフォームは、高性能コンピューティング (HPC) および人工知能 (AI) アプリケーション向けに設計された堅牢なハードウェアスイートで、さまざまな機能を備えています。最新の NVIDIA Hopper アーキテクチャを採用し、AI コンピューティングパフォーマンスを向上させる第 2 世代のテンソルコアを備えています。このプラットフォームには高帯域幅メモリ (HBM100e) が付属しており、高速データ処理と大量データの処理が容易になります。さらに、HGX H4.0 には NVIDIA NVLink 100 が組み込まれており、マルチ GPU 通信の改善によりクラスター間の効率的なスケーリングが容易になります。このように、高度なハードウェアコンポーネントを融合した HGX HXNUMX は、複雑な計算問題に対処するための優れたパフォーマンス、エネルギー効率、およびスケーラビリティを保証します。

8GPUおよび4GPU構成の詳細

8GPU構成

NVIDIA HGX H100 プラットフォームの 8 GPU 構成は、高性能コンピューティングと AI タスクの計算能力とスケーラビリティを最大限に活用することを目的としています。これには、NVLink 100 で接続された 4.0 つの NVIDIA H8 GPU が含まれており、これにより高速通信が可能になり、GPU 間の遅延が最小限に抑えられます。XNUMX GPU 構成の主要な技術パラメータは次のとおりです。

合計 GPU メモリ: 640 GB (HBM80e 搭載の GPU あたり 2 GB)。
Tensor コアのパフォーマンス: 最大 1280 TFLOPS (FP16)。
NVLink 帯域幅: より高速な NVLink 速度を使用すると、GPU あたり 900 GB/秒 (双方向)。
消費電力： 約4kW。

これらのタスクには、大規模なシミュレーションやディープラーニングのトレーニングなど、大量の並列処理能力を必要とするものが含まれます。

4GPU構成

他の構成と比較すると、この構成は計算の面でバランスが取れており、8 GPU 構成で提供されていたものよりも低い次元で、かなりの計算能力を提供します。この構成は、効率的な通信のために NVLink 100 を介して接続された 4.0 つの NVIDIA HXNUMX GPU で構成されています。構成の主要な技術パラメータは次のとおりです。

合計 GPU メモリ: 320 GB (HBM80e 搭載の GPU あたり 2 GB)。
Tensor コアのパフォーマンス: 最大 640 TFLOPS (FP16)。
NVLink 帯域幅: GPU あたり 900 GB/秒 (双方向)。
消費電力： 約2kW。

中規模の計算タスク、AI モデル推論、小規模シミュレーションに使用できるため、HPC 分野のさまざまなアプリケーションに適した経済的かつ強力なツールセットを提供します。

NVIDIA H100 Tensor Core GPUとの統合

NVIDIA H100 Tensor Core GPU を高性能コンピューティング (HPC) および AI インフラストラクチャに組み込むには、パフォーマンスと効率を最大化するためにいくつかの要素を考慮する必要があります。帯域幅が非常に大きく、レイテンシが低い NVLink 4.0 インターコネクトにより、複数の GPU 間のスムーズな相互作用が保証されます。これにより、このインスタンスで優れたデータ転送速度を実現できます。これは、大規模なデータセットに依存し、リアルタイム操作を必要とする計算ワークロードにとって重要です。NVIDIA CUDA、cuDNN、TensorRT などの高度なソフトウェアフレームワークを使用すると、ニューラルネットワークとディープラーニング操作の最適化によって機能も向上します。また、H100 でサポートされている混合精度コンピューティングモードでは、精度とパフォーマンスのバランスをとることができるため、さまざまな HPC 作業、科学的調査、またはビジネス指向の AI モジュールに最適です。これらの H100 GPU には膨大な電力消費と発熱が伴うため、マルチ GPU セットアップの安定した動作を確保するには、機械的な温度制御と電力供給を慎重に検討する必要があります。

NVIDIA HGX H100 は前世代と比べてどうですか?

HGX A100との比較

NVIDIA HGX H100 プラットフォームは、さまざまな点で HGX A100 から大幅に進化しています。その 100 つは、NVIDIA H3.0 Tensor Core GPU の組み込みです。これにより、次世代のテンソルコアによるパフォーマンスの向上と、混合精度コンピューティングのサポートの改善がもたらされます。さらに、HGX A100 で採用されている NVLink 4.0 は帯域幅が低くレイテンシが高かったのですが、HGX H100 では NVLink 100 にアップグレードされているため、マルチ GPU 通信とデータ転送速度が向上しています。さらに、熱設計と電力効率が強化されており、H100 GPU による計算負荷と電力消費の増加に、前モデルよりも適切に対応できます。これらの進歩により、HGX HXNUMX は、これまで以上に要求の厳しいハイパフォーマンスコンピューティング (HPC) や人工知能 (AI) のワークロードに対応する、さらに強力で有能なソリューションとなっています。

AIとHPCのパフォーマンス向上

NVIDIA の HGX H100 は、HGX A100 と比較して、AI および HPC ワークロードのパフォーマンスが著しく向上しています。主な機能強化とそれぞれの技術パラメータを以下に示します。

強化された Tensor コア:

H100 Tensor Core GPU 内の次世代 Tensor コアにより、AI トレーニングの速度が 6 倍向上し、A100 と比較して AI 推論能力が XNUMX 倍以上向上します。

GPUメモリの増加:

H3 の各 GPU には 80 GB の容量を持つ高帯域幅メモリ (HBM100) が搭載されており、A100 の 40 GB の HBM2 メモリとは異なり、より大きなデータセットやモデルをメモリ内で直接処理できます。

NVLink 4.0 相互接続:

つまり、HGX H100 で導入された NVLink 相互接続により、帯域幅が 50% 向上し、約 900GB/秒しかサポートしていない HGX A100 の NVLink 3.0 と比較して、最大 600GB/秒の GPU 間速度がサポートされます。

電力効率の向上:

これらの新しい GPU では、AI 操作のワットあたり TFLOPS が最大 2 倍向上し、前世代と比較してワットあたり少なくとも 20 TFLOPS 向上しているため、電力効率も向上していることに留意する必要があります。

FLOPS の増加:

これは、一方では、倍精度 (FP64) を考慮するとピーク性能が 16 テラフロップス (TFLOPS) に達することを意味します。他方では、混合精度 (FP100) タスク中に 19.5 TFLOPS を達成できます。これは、A64 の数値である 312 TFLOPS (FP16) および XNUMX TFLOPS (FPXNUMX) と比較して高い数値です。

拡張されたマルチGPUスケーラビリティ:

さらに、HGX H100 プラットフォームの通信機能と熱管理システムが大幅に改善され、複数の GPU 間でのスケーリングがより効率的になり、より大規模で複雑な HPC および AI ワークロードを堅牢性を高めてサポートできるようになりました。

これらの開発は、NVIDIA の NVIDIA HGX H100 プラットフォームが AI と HPC の分野で先駆者であり続け、研究者や科学者に最も困難な計算問題を解決するためのツールを提供していることを示しています。

消費電力と効率

NVIDIA H100 GPU は、消費電力と効率を大幅に向上させました。新しいアーキテクチャと改良された設計を採用した H100 GPU は、ワットあたり最大 20 TFLOPS を実現しています。これは、前世代の A100 GPU の 4 倍の効率であることを意味します。この成果は主に、100nm を使用した製造プロセスと、熱除去の改善と電力浪費の削減を促進する強化された熱管理技術の使用によるもので、これにより前世代よりも効率が向上しています。したがって、H100 は優れた計算スループットを実現するだけでなく、大規模データセンターにとってより持続可能で安価であるため、HXNUMX クラスターに最適であると言えます。

NVIDIA HGX H100 はデータセンターでどのような役割を果たすのでしょうか?

ネットワーク統合とスケーラビリティ

NVIDIA HGX H100 は、スムーズなネットワーク統合を大規模に実現することで、データセンターで重要な役割を果たします。NVIDIA NVLink や NVSwitch などの高度なネットワークテクノロジを搭載しており、GPU クラスターから利用できる GPU 間の高帯域幅、低遅延接続を活用します。これにより、AI および HPC ワークロードのスケーリングに重要な、高速データ移動と効果的な GPU 間相互通信が可能になります。さらに、主要な現在の標準と互換性のあるデータセンターネットワークプラットフォームの XNUMX つであるため、既存のセットアップに統合できるため、非常に要求の厳しいタスクを処理できる柔軟でスケーラブルな計算環境になります。

AI 向け高速サーバープラットフォームによるワークロードの最適化

NVIDIA HGX H100 プラットフォームは、高度な高速サーバーアーキテクチャにより、AI ワークロードのパフォーマンスを大幅に向上します。これは、いくつかの主要なコンポーネントとテクノロジによって実現されます。

Tensor コア: H100 GPU には、AI 処理の効率とパフォーマンスを向上させる第 64 世代 Tensor コアが搭載されており、FP32、FP32、TF16、BFLOAT8、INT4、INTXNUMX などのさまざまな精度をサポートしています。これらのコアにより、AI モデルのトレーニングと推論における計算スループットと柔軟性が向上します。

NVLink と NVSwitch: NVIDIA NVLink を NVSwitch と併用することで、GPU 間の通信が向上します。これにより、GPU あたり最大 900 GB/秒の双方向帯域幅が可能になり、最小のレイテンシで高速なデータ交換が保証され、マルチ GPU ワークロードが最適化されます。

マルチインスタンス GPU (MIG) テクノロジー: NVIDIA テクニカルブログによると、H100 には、XNUMX つの GPU を複数のインスタンスに分割できる MIG テクノロジーが搭載されています。各インスタンスは異なるタスクで独立して動作できるため、リソースの使用率を最大化しながら、並列 AI ワークロード専用のパフォーマンスを提供します。

トランスフォーマーエンジン: H100 GPU に搭載されている専用エンジンは、他の AI アプリケーションの中でも自然言語処理 (NLP) で使用されるトランスフォーマーベースの AI モデルの最適化に役立ちます。これにより、トランスフォーマーモデルのトレーニングと推論の速度が XNUMX 倍高速化されます。

技術的パラメータ：

電力効率： ワットあたり最大 20 TFLOPS。
製造プロセス： 4nm。
帯域幅： NVLink 経由で最大 900 GB/秒の双方向通信。
精密なサポート: FP64、FP32、TF32、BFLOAT16、INT8、INT4。

これらの改善により、H100 プラットフォームは大規模な AI ワークロードをより効率的に処理および拡張する能力が向上し、高いパフォーマンスと運用効率を求める現代のデータセンターに欠かせないものになります。

ディープラーニング機能の強化

NVIDIA H100 プラットフォームは、適応型技術と最も効果的に構成されたハードウェアを組み合わせることで、ディープラーニングの可能性を大幅に高めます。まず、ホッパーテンソルコアなどの強力な AI コアによって高い計算スループットが実現され、合成浮動小数点演算 (NT8) や多精度整数ニューラルネットワーク計算 (INT4) に必要なその他の整数計算のパフォーマンスが向上します。NVLink と NVSwitch を統合することで、GPU あたり最大 900 GB/秒の双方向帯域幅を提供し、低レイテンシと GPU 間通信の向上によって、マルチ GPU ワークロードの効果的なスケーリングを可能にすることが重要です。次に、100 つの HXNUMX GPU を使用して複数のインスタンスを作成できるマルチインスタンス GPU (MIG) テクノロジにより、リソース使用率を最大化するとともに、同時実行 AI タスクに専用のパフォーマンスを提供できます。

H100には専用のTransformer Engineも搭載されており、このエンジンは、自然言語処理（NLP）やさまざまなAIアプリケーションの主要コンポーネントであるトランスフォーマーベースのモデルのパフォーマンスを最適化します。さらに、トレーニングと推論の速度向上は、以前のモデルの最大4倍です。さらに、20nm製造プロセスにより、さらに効率的な省電力化が実現し、最大64 TFLOPS/ワットの電力効率が得られます。たとえば、完全精度演算をサポートするFP32、FP32、TF8は、AI/ML/DLを含む幅広いアプリケーションにわたる汎用コンピューティングに最適です。一方、INT4とINTXNUMXは、メモリ要件が実行時間を決定する上で重要な役割を果たすディープラーニングトレーニングに適した、精度を下げたモードをサポートします。

NVIDIA HGX H100 はビジネスにどのようなメリットをもたらしますか?

NVIDIA HGX H100 の実際の使用例

NVIDIA HGX H100 プラットフォームは、その高度な計算能力と効率性により、幅広い業界に多大なメリットをもたらします。これにより、医療分野での大規模な医療画像データの迅速な分析と処理が容易になり、迅速な診断と個別の治療計画が可能になります。一方、金融機関では、このテクノロジにより、リアルタイムの不正検出システムが改善されると同時に、大量のデータセットの処理における低遅延によりアルゴリズム取引が加速されます。自動車製造業では、自動運転車用の複雑な AI モデルの作成に役立ち、安全性と運用効率が向上します。同様に、H100 は、推奨エンジンの改善による顧客体験の向上と、消費者分析の使用による売上の増加により、e コマースにも適しています。したがって、イノベーションと競争上の優位性を求める AI 主導の組織は、多様なアプリケーションでの優れたパフォーマンスと柔軟性により、H100 を価値のあるツールと見なすでしょう。

AIとHPC業界への影響

NVIDIA の HGX H100 は、比類のない計算能力と効率性により、AI と高性能コンピューティング (HPC) の両業界に革命をもたらします。これにより、これらの分野では、さまざまな重要な分野の進歩を促進する複雑で大規模な計算を実行できるようになります。

技術的パラメータ：

製造プロセス 4nm: トランジスタ密度とエネルギー効率を向上させます。
精度のサポート: これには、FP64、FP32、TF32、BFLOAT16、INT8、INT4 が含まれ、さまざまな計算が可能になります。
ワットあたりの TFLOPS: ワットあたり最大 20 TFLOPS を提供し、エネルギー消費の最適化とパフォーマンスを向上させます。

強化されたディープラーニング:

強力な計算能力と精度のサポートにより、複雑なニューラルネットワークのトレーニングと推論が可能になり、AI の研究と応用の進歩が促進されます。

HPC におけるスケーラビリティ:

H100 プラットフォームの統合により、大量のコンピューティングリソースを必要とするシミュレーション、データ分析、科学研究に役立つ HPC 展開のスケーラビリティが実現します。

運用効率：

HGX H100 は、高性能メトリックにより、低レイテンシと高スループットを実現し、リアルタイムのデータ処理と分析が重要な環境に最適です。

幅広い業界での応用:

健康管理： 加速された医療診断技術により医療データ処理を迅速化します。
ファイナンス： 不正検出を含むリアルタイム分析が向上します。
オートモーティブ・ソリューション : 自動運転のための高度なAI開発をサポートします。
電子商取引： 推奨システムの改善など、顧客分析を強化します。

NVIDIA HGX H100 は、AI および HPC システムのパフォーマンスを向上させるだけでなく、複数の分野で競争上の優位性につながる新たな開発も可能にします。

将来の動向と潜在的な応用

AI と HPC の今後の動向は、新しいテクノロジーの統合を通じて、いくつかの業界に変革をもたらすでしょう。特に重要な分野は次のとおりです。

エッジコンピューティング：

多くのアプリケーションが集中型クラウドモデルからエッジコンピューティングに移行し、自動運転車や IoT デバイスなどの分野でレイテンシが短縮され、即時処理が可能になります。

量子コンピューティングの統合:

量子コンピューティングは継続的に開発されており、従来の HPC システムと組み合わせて、特に暗号化、材料科学、大規模シミュレーションにおける複雑な問題を効率的に解決できるようになります。

AI 駆動型パーソナライゼーション:

電子商取引やヘルスケアなどのさまざまな分野では、膨大な量のデータを分析する能力によって、高度にパーソナライズされた体験を容易に提供し、顧客満足度と治療結果を向上させることができます。

持続可能なAI開発:

今後は、エネルギー効率の高い AI および HPC ソリューションの作成に重点が置かれ、技術の進歩が世界的な持続可能性の目標と一致するようになります。

強化されたサイバーセキュリティ:

データセキュリティが最高レベルに達すると、人工知能 (AI) の進歩により、予測分析と自動脅威検出システムを組み合わせて使用することで、サイバー脅威に対する保護が強化されます。

これらの新たなパターンは、NVIDIA HGX H100 プラットフォームがイノベーションに関してリーダーシップの地位を維持し、さまざまな領域で大きな前進を遂げる可能性を秘めていることを強調しています。

参照ソース

エヌビディアDGX

グラフィック処理ユニット

Nvidia

よくある質問（FAQ）

Q: NVIDIA HGX H100 とは何ですか?

A: これは、複雑な計算タスクと AI ワークロードを高速化するように設計された H100 モデルの 100 つの Tensor Core GPU を統合した AI および HPC の強力な製品である HGX HXNUMX の紹介です。

Q: HGX H100 4 GPU プラットフォームは、ハイパフォーマンスコンピューティングにどのようなメリットをもたらしますか?

A: HGX H100 4 GPU プラットフォームは、高度なアーキテクチャと集合操作のための新しいハードウェアアクセラレーションにより、強化された並列処理と迅速なデータ処理を提供し、高性能コンピューティングを向上させます。

Q: NVIDIA HGX H100 にはどのような接続機能が含まれていますか?

A: HGX H100 の XNUMX つの Tensor Core GPU は、NVLink スイッチを使用して完全に接続されており、高速相互接続と遅延の削減を実現し、全体的なパフォーマンスを向上させます。

Q: NVIDIA HGX A100 などの以前のモデルと比較して、HGX H100 は AI タスクをどのように処理しますか?

A: たとえば、NVIDIA HGX A100 などの前世代製品と比較して処理能力が向上し、NVLink ポートが改善され、マルチキャストによるネットワーク内操作や NVIDIA SHARP ネットワーク内削減のサポートが強化され、AI アプリケーションやハイパフォーマンスコンピューティング (HPC) プラットフォームでの使用に適したものになっています。