InfiniBand ネットワークとイーサネットとの違いは何ですか?

InfiniBand ネットワークとは何ですか?

InfiniBandアーキテクチャは、データセンターにファブリックの統合をもたらします。ストレージネットワーキングは、同じインフラストラクチャ上でクラスタリング、通信、および管理ファブリックと同時に実行でき、複数のファブリックの動作を維持します。

InfiniBandは、高帯域幅、低遅延、高信頼性を備えたオープンスタンダードのネットワーク相互接続テクノロジーです。 このテクノロジーは、IBTA（InfiniBand Trade Alliance）によって定義されています。 この技術は、スーパーコンピュータークラスターの分野で広く使用されています。 同時に、人工知能の台頭により、GPUサーバーに推奨されるネットワーク相互接続テクノロジーでもあります。

高速相互接続 (HSI) は、中央処理装置 (CPU) の計算能力が非常に速いペースで増加するにつれて、高性能コンピューターの開発の鍵となっています。 HSI は、Peripheral Component Interface (PCI) のパフォーマンスを向上させるために提案された新しいテクノロジです。 何年にもわたる開発の後、ハイ パフォーマンス コンピューティング (HPC) をサポートする HSI は現在、主にギガビット イーサネットと InfiniBand であり、InfiniBand は最も急速に成長している HSI です。 InfiniBand は、InfiniBand Trade Association (IBTA) の監督の下で開発された、高性能で低遅延のテクノロジです。

IBTA は、1999 つの業界組織、Future I/O Developers Forum と NGI/O Forum の合併として XNUMX 年に設立されました。 HP、IBM、Intel、Mellanox、Oracle、QLogic、Dell、Bull などで構成される計画および運営委員会のリーダーシップの下で活動しています。 IBTA は製品のコンプライアンスと相互運用性テストを専門としており、そのメンバーは InfiniBand 仕様の確立と更新を進めるために取り組んできました。

InfiniBand標準は、レーンあたり2.5ギガビット/秒の基本レートでシングルデータレート（SDR）シグナリングをサポートし、10Xケーブル（使用される最も一般的なInfiniBandケーブルタイプ）で4ギガビット/秒の生データレートを可能にします。 ダブルデータレート（DDR）およびクアッドデータレート（QDR）シグナリングにより、シングルレーンをレーンあたりそれぞれ5Gビット/秒および10Gビット/秒にスケールアップでき、40Xおよび4Gビット/秒で最大データレートが120Gビット/秒になる可能性があります。 12Xケーブル以上。

ネットワーク技術の比較

現在、最新の InfiniBand 製品は Mellanox が製造した HDR であり、ネットワークに最大 200 Gbps のエンドツーエンド帯域幅を提供し、高性能コンピューティング、人工知能、およびその他の分野に比類のないネットワーク体験をもたらし、最大化します。クラスタ内のコンピューティングの可能性。

コンピュータ クラスタの相互接続テクノロジとして、InfiniBand は、イーサネット/ファイバ チャネルおよび時代遅れの Omni-Path テクノロジよりも大きな利点があり、InfiniBand Trade Association (IBTA) が推奨するネットワーク通信テクノロジの第 2014 位です。 500 年以降、TOP62 スーパーコンピューターのほとんどが InfiniBand ネットワーキング テクノロジを採用しています。 近年では、AI/ビッグデータ関連のアプリケーションも IB ネットワークを大規模に採用して高性能クラスター展開を実現しており、Top100 スーパーコンピューティング センターの 2022% が InfiniBand テクノロジを使用しています (XNUMX 年 XNUMX 月のデータ)。

インフィニバンドの概要

InfiniBand は、プロセッサと I/O デバイス間のデータ フローの通信リンクであり、最大 64,000 のアドレス指定可能なデバイスをサポートします。 インフィニバンドアーキテクチャ (IBA) は、サーバー、通信インフラストラクチャ、ストレージ デバイス、組み込みシステムを相互接続するためのポイントツーポイントのスイッチ入出力フレームワークを定義する業界標準仕様です。

InfiniBand は、その普及、低遅延、高帯域幅、および低管理コストにより、複数のデータ ストリーム (クラスタリング、通信、ストレージ、管理) を XNUMX つの接続で接続し、数千の相互接続されたノードを接続するのに理想的です。 完全な IBA の最小単位がサブネットであり、複数のサブネットがルーターによって接続されて、大規模な IBA ネットワークが形成されます。

InfiniBand システムは、チャネル アダプタ、スイッチ、ルータ、ケーブル、およびコネクタで構成されます。 CA は、ホスト チャネル アダプター (HCA) とターゲット チャネル アダプター (TCA) に分けられます。 IBA スイッチは、原理的には他の標準ネットワーク スイッチと似ていますが、InfiniBand の高性能と低コストの要件を満たす必要があります。 HCA は、サーバーやストレージ デバイスなどの IB エンド ノードが IB ネットワークに接続するためのデバイス ポイントです。 TCA は特殊な形式のチャネル アダプタであり、主にストレージ デバイスなどの組み込み環境で使用されます。

InfiniBand アーキテクチャを図に示します。

200G InfiniBand HDR とは?

InfiniBand は SDR/DDR/QDR/FDR/EDR 伝送をサポートし、リンク帯域幅を増加します。最近、Mellanox は HDR をサポートする 200G InfiniBand をリリースしました。最近発売されたメラノックス 200G インフィニバンド HDR サポート付き。メラノックス 200Gb / s HDR InfiniBand ネットワークは、超低遅延、高データ スループット、およびインテリジェントなネットワーク コンピューティング アクセラレーション エンジンをサポートします。 ユーザーは、ベア メタル環境と同様に、クラウド上で標準の Mellanox ソフトウェア ドライバーを使用できます。 RDMA 動詞のサポートにより、Mellanox HPC-X、MVAPICH2、Platform MPI、Intel MPI など、すべての InfiniBand ベースの MPI ソフトウェアを使用できます。

さらに、ユーザーはハードウェアを利用することもできます offMPIクラスター通信のロード機能により、パフォーマンスがさらに向上します。これにより、ビジネスアプリケーションの効率も向上します。 200G InfiniBandには、ネットワーク内コンピューティングアクセラレーションエンジン、HDR InfiniBandアダプター、HDR InfiniBand Quantumスイッチ、200Gケーブルなどの幅広いアプリケーションがあります。

InfiniBandアプリケーション

200G InfiniBandケーブルに関しては、Mellanox200Gbsソリューションの最後のピースは次のラインです。 LinkXケーブル. メラノックス off最大200メートルに達する3G銅ケーブルと2x 100Gスプリッタブレークアウトケーブルを直接接続して、HDR100リンクを有効にします。また、最大200メートルに達する100Gアクティブ光ケーブルも接続します。 200Gb / sラインのすべてのLinkXケーブルは、標準のQSFP56パッケージで提供されます。

InfiniBand ネットワークの利点は何ですか?

• シリアル高帯域幅リンク

– SDR：10Gb / s

– DDR：20Gb / s

– QDR：40Gb / s

– FDR：56Gb / s

– EDR：100Gb / s

– HDR：200Gb / s

– NDR: 400Gb/秒

• 超低レイテンシ

–1未満のアプリケーションからアプリケーションへ

• 信頼性が高く、ロスレスで、自己管理型のファブリック

–リンクレベルのフロー制御

–HOLブロッキングを防ぐための輻輳制御

• フルCPU Off負荷

–ハードウェアベースの信頼性の高いトランスポートプロトコル

–カーネルバイパス（ユーザーレベルのアプリケーションはハードウェアに直接アクセスできます）

• リモートノードアクセスにさらされるメモリ–RDMA-読み取りおよびRDMA-書き込み

–不可分操作

• サービスの質

–アダプタレベルでの独立したI / Oチャネル

–リンクレベルの仮想レーン

• クラスターのスケーラビリティ/柔軟性

–サブネットで最大48Kノード、ネットワークで最大2 ^ 128

–エンドノード間の並列ルート

–複数のクラスタートポロジが可能

• 簡素化されたクラスター管理

–一元化されたルートマネージャー

–帯域内診断とアップグレード

イーサネット ネットワークとは

イーサネットは、ゼロックス社が作成し、ゼロックス、インテル、DEC 社が共同開発したベースバンド LAN 仕様規格を指します。一般的なイーサネット標準は 30 年 1980 月 XNUMX 日に発行されました。これは、既存の LAN で採用されている最も一般的な通信プロトコル標準です。ケーブルを介してデータを送受信します。 イーサネットネットワーク は、ローカル エリア ネットワークを作成し、複数のコンピュータまたはプリンタ、スキャナなどの他のデバイスを接続するために使用されます。有線ネットワークでは、これは光ファイバー ケーブルの助けを借りて行われますが、ワイヤレス ネットワークでは、ワイヤレス ネットワーク テクノロジーによって行われます。イーサネット ネットワークの主なタイプは、ファスト イーサネット、ギガビット イーサネット、10 ギガビット イーサネット、およびスイッチ イーサネットです。

現在、IEEEが主催するIEEE 802.3標準化機構は、100GE、200GE、および400GEのイーサネットインターフェース規格を発行しています。 イーサネット ネットワークは、現時点で最高速度の伝送技術です。

インフィニバンドとイーサネットの比較：違いは何ですか？

相互接続技術として、InfiniBandとイーサネットには独自の特性と違いがあります。 それらは、さまざまなアプリケーション分野で開発および進化しており、ネットワークの世界でXNUMXつの不可欠な相互接続テクノロジーになっています。

イーサネット ネットワークの種類

イーサネット ネットワークに関しては、IP テクノロジとともに、世界中のインターネット ビルディング全体の基礎を構成しています。 すべての人々とインテリジェントなデバイスは、すべてのものの相互接続を実現するためにイーサネットに依存しています。これは、より優れた互換性を実現するという設計の当初の意図に関連しています。 さまざまなシステムをより適切に相互接続できるため、イーサネットは誕生以来、非常に強力な適応性を備えています。 数十年にわたる開発の後、インターネットの標準になりました。

InfiniBand ネットワークに関しては、高性能コンピューティングのシナリオにおけるデータ転送のボトルネックを解決するための相互接続規格です。 処方以来、ハイエンド用途として位置付けられています。 相互接続は主な矛盾ではなく、高性能通信が主な入り口です。 Infiniband は、最近リリースされた新しいタイプの接続です。 それについての素晴らしいところは、ユーザーが提供される速度です。 接続の速度は最終的に選択したワイヤによって異なりますが、それらの速度は最大 40Gbps またはそれ以上になる可能性があります。

したがって、イーサネット技術と比較して、 主に帯域幅、遅延、ネットワークの信頼性、およびネットワーク モードが異なるため、Ethernet とは本質的に異なります。 InfiniBand は、スイッチを介してノード間にプライベートで保護されたチャネルを直接作成し、CPU がリモート ダイレクト メモリ アクセス (RDMA) に参加することなく、データとメッセージを送信します。 アダプターの一方の端は PCI Express インターフェイスを介して CPU に接続され、もう一方の端は InfiniBand ネットワーク ポートを介して InfiniBand サブネットに接続されます。 他のネットワーク通信プロトコルと比較すると、これにより、帯域幅の拡大、待ち時間の短縮、スケーラビリティの向上など、明らかな利点が得られます。

InfiniBand vs Omni-Path: Omni-Path に対する InfiniBand の利点

NVIDIA は InfiniBand 400G NDR ソリューションを開始しましたが、一部の顧客はまだ 100G ソリューションを使用しています。 100G の高性能ネットワークには、Omni-Path と InfiniBand という 400 つの一般的なソリューションがあり、どちらも同じ速度で同様のパフォーマンスを実現しますが、ネットワーク構造は大きく異なります。 たとえば、15 ノードのクラスターの場合、InfiniBand には 8000 個の NVIDIA Quantum 200 シリーズ スイッチと 200 本の 200G 分岐ケーブル、および 200 本の 24G 直接ケーブルのみが必要ですが、Omni-Path には 876 個のスイッチと 100 本の 384G 直接ケーブル (XNUMX ノード) が必要です。 InfiniBand は、初期の設備コストとその後の運用保守コストの点で非常に有利であり、全体の消費電力は、より環境に優しい Omni-Path よりもはるかに低くなります。

InfiniBand HDR 製品紹介

EDR は、クライアントの需要の観点から市場から段階的に廃止されつつあります。NDR 率が高すぎて、主要な顧客だけがそれを使用しようとしています。 HDR は、HDR 100G と HDR 200G の柔軟性で広く使用されています。

HDR スイッチ

HDR スイッチには 8500 種類あります。 29つはHDR CS800です。 200U スイッチは最大 200 個の HDR 2Gb/s ポートを提供し、各 100 GB ポートを 1600X100G に分割して、100 個の HDRXNUMX XNUMXGb/s ポートをサポートできます。

もう8000つのタイプはQM1シリーズです。 40U パネルには 200 個の 56G QSFP80 ポートがあり、100G HDR ネットワーク カードを接続するために最大 100 個の HDR 200G ポートに分割できます。 同時に、各ポートは EDR もサポートし、EDR のネットワーク カードに直接接続します。 100G HDR ポートは 2G まで減速して EDR ネットワーク アダプターに接続することしかできず、100XXNUMXG に分割して XNUMX つの EDR ネットワーク アダプターを接続することはできないことに注意してください。

200G HDR スイッチには、QM8700 と QM8790 の 8700 つのオプションがあります。 8790 つのモデルの唯一の違いは、管理モードです。 QMXNUMX は帯域外管理用の制御インターフェースを提供しますが、QMXNUMX は管理のために NVIDIA ユニファイド ファブリック マネージャー (UFM®) プラットフォームを必要とします。

QM8700 および QM8790 の場合、スイッチのモデルごとに 8790 つのエアフロー オプションがあります。 それらの 2 つは、P2C エアフロー (前面および背面のエアフロー) 用の XNUMX-HSXNUMXF です。 ファン モジュールは青色でマークされています。 マーキングがわからない場合は、スイッチの吸気口と排気口に手をかざして確認することもできます。

8790-HS2R は、C2P エアフロー (リア フロント ダクト) ファン モジュールの赤いマークです。 ここで、P2C および C2P P は電源を意味し、C は Cable (ライン インターフェイス)、P2C (Power to Cable)、C2P (Cable to Power) を意味します。

QM8700 と QM8790 は、一般的に実際には 200 つの方法で使用されます。200 つは、XNUMXG を直接使用して XNUMXG HDR NIC と相互接続することです。 200G AOC/DAC; もう 100 つの一般的な用途は、200G から 2X100G ケーブルを使用して 200G HDR NIC と相互接続することです。このケーブルでは、スイッチの 4 つの物理 50G (56X2G) QSFP100 ポートが 2 つの仮想 50G (4X50G) ポートに分割されます。 56X100G) スイッチの QSFP2 ポートは 50 つの仮想 1,2G (XNUMXXXNUMXG) ポートに分割され、分割後、ポートの記号は x/y から x/Y/z に変更されます。ここで、「x/Y」は以前の分割前のポートの記号、「z」は結果のシングル レーン ポートの番号 (XNUMX) を示し、各サブ物理ポートはシングル ポートとして扱われます。

HDR ネットワーク アダプタ

HDR ネットワーク アダプターは、スイッチよりもはるかに多様です。 HDR100 ネットワーク アダプタは、100G の伝送速度をサポートします。 100 つの HDR200 ポートは、2G から 100x100G ケーブルを介して HDR スイッチに接続できます。 100G EDR ネットワーク カードとは異なり、HDR100 ネットワーク カードの 4G ポートは、25X2G NRZ と 50X4G PAM200 伝送の両方をサポートします。 HDR NIC は 200G の伝送速度をサポートし、XNUMXG ダイレクト ケーブルを介してスイッチに接続できます。 XNUMX つのインターフェイス レートに加えて、サービス要件に基づいて各レートのシングル ポート、デュアル ポート、および PCIe ネットワーク アダプタを選択できます。 FiberMall が提供する一般的な InfiniBand HDR ネットワーク アダプター モデルは次のとおりです。

InfiniBand ネットワーク アーキテクチャはシンプルですが、ソリューションの選択肢はさまざまです。 100G レートには、100G EDR ソリューションと 100G HDR ソリューションの両方があります。 200 レートには、HDR と 200G NDR の XNUMX つのオプションもあります。 さまざまなソリューションで使用されるネットワーク アダプタ、コネクタ、およびスイッチは、まったく異なります。

InfiniBand パケットとデータ転送

パケットは、InfiniBand データ伝送の基本単位です。 InfiniBand ネットワークで情報を効率的に伝達するために、情報はチャネル アダプターによって複数のパケットに分割されます。 完全な IBA パケットは、次の図に示すように、ローカル ルート ヘッダー、グローバル ルート ヘッダー、ベース トランスポート ヘッダー、拡張トランスポート ヘッダー、ペイロード (PYLD)、インバリアント CRC (ICRC)、およびバリアント CRC (VCRC) フィールドで構成されます。

LRH: 8 バイト。パケットを転送するときにローカルの送信元ポートと宛先ポートを決定し、パケット伝送のサービス クラスと仮想レーン (VL) を調整するためにスイッチによって使用されます。

人事管理: 40 バイト。サブネット間でパケットをルーティングし、サブネット間でパケットが適切に転送されるようにするために使用されます。 これは、RFC 6 で定義された IPv2460 ヘッダー仕様を使用して、LRH の Link Next Header (LNH) フィールドによって指定されます。

BTH: 宛先キュー ペア (QP)、表示オペコード、パケット シリアル番号、およびセグメンテーションを指定する 12 バイト。

ETH: 4 ～ 28 バイト。信頼性の高いデータグラム サービスを提供します。 ペイロード (PYLD): 0 ～ 4096 バイト、エンドツーエンドのアプリケーション データが送信されます。

ICRC: 4 バイト。送信元アドレスから宛先アドレスに送信されるときにパケット内で変更されないデータをカプセル化します。

VCRC: 2 バイト。リンク中に可変 IBA および raw (raw) パケットをカプセル化します。

VCRC はファブリックで再構成できます。

InfiniBand レイヤード アーキテクチャ

InfiniBand アーキテクチャは、IBTA の定義によると、物理層、リンク層、ネットワーク層、トランスポート層で構成され、その階層化されたアーキテクチャを図に示します。

物理層: 物理層はリンク層を提供し、これら XNUMX つの層の間の論理インターフェイスを提供します。 物理層は、ポート信号コネクタ、物理接続 (電気および光)、ハードウェア管理、電源管理、コーディング ラインなどのモジュールで構成され、主な役割は次のとおりです。

(1) 物理接続の確立。

(2) 物理接続が有効かどうかをリンク層に通知する。

(3) 物理接続の状態を監視し、物理接続が有効な場合に制御信号とデータをリンク層に渡し、リンク層からの制御情報とデータ情報を送信します。

リンク層: リンク層は、パケット内のリンク データの送受信を処理し、アドレス指定、バッファリング、フロー制御、エラー検出、データ交換などのサービスを提供します。 サービスの品質 (QoS) は、主にこの層によって反映されます。 ステート マシンは、リンク層の論理操作を外部からアクセス可能な操作として定義するために使用され、内部操作を指定しません。

ネットワーク層: ネットワーク層は、ユニキャストおよびマルチキャスト操作を含む、IBA サブネット間のパケットのルーティングを担当します。 ネットワーク層は、マルチプロトコル ルーティング (非 IBA タイプ上の IBA ルーティングなど) を指定せず、元のパケットが IBA サブネット間でルーティングされる方法も指定しません。

トランスポート層: 各 IBA データには、トランスポート ヘッダーが含まれています。 トランスポート ヘッダーには、エンド ノードが指定された操作を実行するために必要な情報が含まれています。 QP を操作することにより、トランスポート層の IBA チャネル アダプター通信クライアントは、「送信」ワーク キューと「受信」ワーク キューを形成します。

InfiniBand の切り替えメカニズム

InfiniBand で使用されるスイッチド ファブリックは、システムのフォールト トレランスとスケーラビリティを目的としたスイッチ ベースのポイント ツー ポイント相互接続アーキテクチャです。

IBA スイッチは、内部サブネット ルーティングの基本的なルーティング ビルディング ブロックです (サブネット間ルーティング機能は IBA ルーターによって提供されます)。 スイッチの相互接続は、リンク間でパケットを中継することによって実現されます。

InfiniBand スイッチは、Subnet Manager Agent (SMA)、Performance Manager Agent (PMA)、および Baseboard Manager Agent (BMA) などの機能を実装します。 SMA は、サブネット マネージャがサブネット管理パケットを介してスイッチ内のレコードおよびテーブル データを取得するためのインターフェイスを提供し、メッセージ通知、サービス レベル (SL) から仮想レーン (VL) へのマッピング、VL アービトレーション、マルチキャスト転送、ベンダー特性などの機能を実装します。 . PMA は、パフォーマンス マネージャがデータ スループットやスイッチのエラー蓄積などのパフォーマンス情報を監視するためのインターフェイスを提供します。BMA は、ベースボード マネージャとボトム シェルフ マネージャ間の通信チャネルを提供します。

InfiniBand スイッチでのデータ転送の主な機能は次のとおりです。

(1) 出力ポートの選択: パケットの宛先ローカル識別子 (DLID) に基づいて、スイッチは転送テーブルから出力ポートのポート番号を見つけます。

(2) 出力 VL の選択: SL と VL がサポートされており、スイッチは、SL-VL マッピング テーブルに基づいて、異なる優先レベルのパケットが使用する出力ポートの VL を決定します。

(3) データフロー制御: クレジット ベースのリンク レベル フロー制御メカニズムが使用されます。

(4) ユニキャスト、マルチキャスト、ブロードキャストをサポート: スイッチは、交換のためにマルチキャスト パケットまたはブロードキャスト パケットを複数のユニキャスト パケットに変換できます。

(5) パーティショニング: 同じパーティション内のホストのみが相互に通信できます。 各パーティションには一意のパーティション キーがあり、スイッチはパケットの DLID がキーに対応するパーティション内にあるかどうかをチェックします。

(6) エラーチェック: 不整合エラー チェック、エンコーディング エラー チェック、フレーミング エラー チェック、パケット長チェック、パケット ヘッダー バージョン チェック、サービス レベルの有効性チェック、フロー制御コンプライアンス、および最大伝送ユニット チェックを含みます。

(7) VL仲裁: サブネット VL (管理 VL15 およびデータ VL を含む) をサポートします。 スイッチは VL アービトレーションを使用して、優先度の高いパケットがより適切に処理されるようにします。

現在、InfiniBand スイッチの主なメーカーは、Mallanox、QLogic、Cisco、IBM などです。

ホストの場合、トランスポート層のクライアント側は動詞ソフトウェア層であり、クライアントはこれらのキューとの間でバッファーまたはコマンドを渡し、ハードウェアはそれらとの間でバッファー データを渡します。 QP が確立されると、XNUMX つの IBA トランスポート サービス タイプ (信頼できる接続、信頼できるセルフ アドレッシング情報、信頼できないセルフ アドレッシング情報、信頼できない接続) のいずれか、または非 IBA プロトコル カプセル化サービスが組み込まれます。 トランスポート サービスは、信頼性と QP トランスポート データがどのように機能し、何が送信されるかを記述します。

NVIDIA Elite レベルのパートナーとして、FiberMall は完全なサービスを提供できます。 InfiniBand ソリューション さまざまな顧客のニーズに応じて、シニア テクニカル エンジニアは InfiniBand 高性能ネットワーク ソリューションの設計とプロジェクトの実装サービスで豊富な経験を持ち、さまざまなアプリケーション シナリオに応じて最適なソリューションを提供できます。 QM8700/QM8790 スイッチ、HDR NIC、AOC/DAC/光モジュール ポートフォリオ ソリューションを提供して、優れたパフォーマンスとスケーラビリティを実現し、低コストと優れたパフォーマンスで HPC、AI、およびその他のアプリケーションの ROI を向上させることができます。