NVIDIA ConnectX-7 400GbE および NDR Infiniband NIC の概要

NVIDIA ConnectX-7 ファミリのネットワーク アダプターは、InfiniBand プロトコルとイーサネット プロトコルの両方をサポートし、幅広いネットワーク ニーズに対応する多用途のソリューションを提供します。 これらのアダプターは、インテリジェントでスケーラブルで機能豊富なネットワーキング機能を提供するように設計されており、従来のエンタープライズ アプリケーションの要件だけでなく、AI、科学技術コンピューティング、ハイパースケール クラウド データ センターの高性能ワークロードにも対応します。

ConnectX-7 ネットワーク アダプタは、スタンドアップ PCIe カードと Open Compute Project (OCP) Spec 3.0 カードの XNUMX つの異なるフォーム ファクタで利用できます。 この柔軟性により、ユーザーは特定の導入要件に最も適したアダプターを選択できます。

400Gbps ネットワークは、PCIe Gen5 x16 スロットで処理できる新しい機能です。 NDR 400Gbpsを使用するための構成を見てみましょう /400GbE。

NVIDIA ConnectX 1 7G OSFPのアングル400ショット

アングル1ショット NVIDIA ConnectX 7 400G OSFP の

MCX75310AAS-NEAT アダプターのハードウェア概要

ConnectX-7 (MCX75310AAS-NEAT) は、PCIe Gen5 x16 スロット用に設計されたロープロファイル カードです。 下の画像はフルハイト ブラケットを示していますが、ボックスにはロープロファイル ブラケットも含まれています。

NVIDIA ConnectX 7 400G OSFP の前面

正面の NVIDIA ConnectX 7 400G OSFP

冷却ソリューションの寸法に注目する価値があります。 ただし、NVIDIA はこれらのネットワーク アダプターの電力仕様を公開していません。

NVIDIA ConnectX 2 7G OSFPのアングル400ショット

角度 2 ショット NVIDIA ConnectX 7 400G OSFP の

これは、ヒートシンク バックプレートを備えたカードの背面です。

NVIDIA ConnectX 7 400G OSFP カードの背面

NVIDIA ConnectX 7 400G OSFP カードの背面

これは、PCIe Gen5 x16 コネクタから見たカードの側面図です。

NVIDIA ConnectX 7 400G OSFP コネクタの角度

NVIDIA ConnectX 7 400G OSFP コネクタの角度

これはカードをカードの上から見た別の図です。

NVIDIA ConnectX 7 400G OSFP 上面角度

NVIDIA ConnectX 7 400G OSFP 上面角度

これは、ほとんどのサーバーの空気の流れの方向から見た図です。

NVIDIA ConnectX 7 400G OSFP 背面から前面へのエアフロー 2

これは、400 Gbps の速度で動作するフラット シングル ポート カードです。 膨大な量の帯域幅を提供します。

NVIDIA ConnectX-7 400G アダプターの取り付け

このようなカードの最も重要な側面の XNUMX つは、その速度を活用できるシステムにカードを取り付けることです。

ConnectX-7 アダプター カードの取り付け手順には、次の手順が含まれます。

  1. システムのハードウェア要件とソフトウェア要件を確認してください。
  2. ホスト システム内のエアフローの考慮事項に注意してください。
  3. 安全上の注意事項に従ってください。
  4. パッケージを開梱します。
  5. インストール前のチェックリストに従ってください。
  6. (オプション) フルハイト取り付けブラケットを付属の短いブラケットと交換します。
  7. ConnectX-7 PCle x16 アダプター カード/ConnectX-7 2x PCle x16 ソケット ダイレクト アダプター カードをシステムに取り付けます。
  8. ケーブルまたはモジュールをカードに接続します。
  9. システム内の ConnectX-7 を識別します。
Supermicro SYS 111C NR (NVIDIA ConnectX 7 400Gbps アダプター 1 付き)

Supermicro SYS 111C NR (NVIDIA ConnectX 7 400Gbps アダプター 1 付き)

幸いなことに、これらのデバイスは Supermicro SYS-111C-NR 1U サーバーおよび Supermicro SYS-221H-TNR 2U サーバーに正常にインストールされ、正常に動作しています。

Supermicro SYS 111C NR (NVIDIA ConnectX 7 400Gbps アダプター 2 付き)

Supermicro SYS 111C NR (NVIDIA ConnectX 7 400Gbps アダプター 2 付き)

SYS-111C-NR は、システムをセットアップする際にスロット間の接続を気にする必要がないため、より柔軟なシングルスロット ノード サーバーです。 10/40Gbps、さらには 25/50Gbps の速度では、CPU スロット間の接続によるパフォーマンスの課題について議論されてきました。 100GbE の出現により、クロススロット接続を回避するために各 CPU にネットワーク アダプターを設けるという問題がより顕著になり、広く普及しました。 400GbE 速度のネットワークを使用すると、その影響はさらに顕著で深刻になります。 単一の 400GbE NIC を使用するデュアルスロット サーバーの場合、各 CPU に直接接続する複数のホスト アダプターを検討することは、検討に値するオプションかもしれません。

OSFP と QSFP-DD の比較

カードを取り付けたら、次の課題が始まりました。 これらのカードは OSFP ケージを使用しますが、当社の 400GbE スイッチは OSFP ケージを使用します。 QSFP-DD.

Supermicro SYS 111C NR (NVIDIA ConnectX 7 400Gbps アダプター 4 付き)

Supermicro SYS 111C NR (NVIDIA ConnectX 7 400Gbps アダプター 4 付き)

これら XNUMX つの規格には、電力レベルと物理設計にいくつかの違いがあります。 変換可能です QSFP-DD OSFP に変換されますが、その逆は不可能です。 OSFP 光学部品や DAC を見たことがない方のために説明しておきますが、これらには独自の熱管理ソリューションがあります。 QSFP-DD は通常、ソケットの上部にヒートシンクを使用しますが、OSFP には通常、ラボの OSFP DAC および光学部品の冷却ソリューションが含まれています。

OSFP および QSFP-DD コネクタ 1

OSFP および QSFP-DD コネクタ 1

これは難しい問題です。 OSFP DAC と OSFP to QSFP-DD DAC はどちらもヒートシンク冷却ソリューションを使用します。 また、DAC が直接冷却されるため、OSFP プラグは DAC の OSFP ポートに挿入されません。 ConnectX-7 NIC.

NVIDIA は、電力レベルが高いため、OSFP を使用している可能性があります。 OSFP は 15W の光ファイバーをサポートしますが、QSFP-DD は 12W のみをサポートします。 電力上限が高いと、初期導入段階での早期導入が容易になります。これが、24W CFP8 モジュールのような製品が利用できる理由の XNUMX つです。

可能な限り、ConnectX-7 インサートの OSFP 側のヒートシンクのサイズに注意してください。 QSFP/QSFP-DD に慣れている場合は、すべてのデバイスが接続されて正常に動作しますが、コネクタ サイズなどの小さな問題が発生すると、より大きな課題が発生する可能性があります。 ただし、ソリューション プロバイダーの場合、これは専門的なサービス サポートを提供する機会でもあります。 NVIDIA や PNY などの代理店も LinkX ケーブルを販売していますが、これはより便利なオプションでした。 これは貴重な教訓です。

次に、これをすべて設定して作業を始めましょう。

ソフトウェアセットアップNDR InfiniBandと400GbEの比較

物理的なインストールに加えて、サーバー上のソフトウェアにも取り組みました。 幸いなことに、これは最も簡単な部分でした。 Supermicro の MT2910 シリーズ ConnectX-7 アダプターを使用しました。

NVIDIA MT2910 Lshw

NVIDIA MT2910 Lshw

OFED (OpenFabrics Enterprise Distribution) を簡単にインストールして再起動すると、

システムの準備ができました。

OFED インストール後の NVIDIA MT2910 Lshw

OFED インストール後の NVIDIA MT2910 Lshw

ここではイーサネットで Broadcom Tomahawk 4 スイッチを使用し、InfiniBand モードで直接実行しているため、リンク タイプも変更する必要があります。

このプロセスは単純で、Linux で Mellanox ConnectX VPI ポートをイーサネットまたは InfiniBand に変更するのと似ています。

基本的なプロセスは次のとおりです。

0. OF​​EDをインストールし、ファームウェアをアップデートする

これは、カードが正しく動作することを確認するために必要な手順です。

MLNX_OFED_LINUX インストール中、NVIDIA ConnectX 7 Mellanox Technologies MT2910 MT2910 シリーズ

MLNX_OFED_LINUX インストール中、NVIDIA ConnectX 7 Mellanox Technologies MT2910 MT2910 シリーズ

プロセスは非常に簡単です。 まず、オペレーティング システムに必要なバージョンをダウンロードし、ダウンロードで提供されるスクリプトを使用してドライバーをインストールします。 標準インストーラーはカードのファームウェアも更新します。

NVIDIA ConnectX 7 MT2910 MT2910 MLNX_OFED_LINUX ファームウェア アップデートのインストール

NVIDIA ConnectX 7 MT2910 MT2910 MLNX_OFED_LINUX ファームウェア アップデートのインストール

サーバーを再起動して OFED をインストールすると、NVIDIA ConnectX-7 MCX75310AAS-NEAT が 400GbE および NDR IB (InfiniBand) 対応であることがわかります。 NDR IB はデフォルト モードに設定されています。

NVIDIA ConnectX 7 MCX75310AAS NEAT Mlxconfig

NVIDIA ConnectX 7 MCX75310AAS NEAT Mlxconfig

これをイーサネットに変えたい場合、必要な手順は XNUMX つだけです。

1. ConnectX-7 デバイスを見つけます

特にシステム内に他のデバイスがある場合は、変更する適切なデバイスを見つける必要があります。 カードが XNUMX 枚しかない場合は、簡単に実行できます。

| grep メラノックス

16:00.0 Infiniband コントローラー: Mellanox Technologies MT2910 ファミリ [ConnectX-7]

ここで、デバイスの時刻が 16:00.0 であることがわかります (上のスクリーンショットからわかるように)。

2。 mlxconfig を使用して、ConnectX-7 デバイスを NDR Infiniband からイーサネットに変更します。

次に、デバイス ID を使用して、Infiniband のリンク タイプを変更します。

sudo mlxconfig -d 16:00.0 set LINK_TYPE_P1=2

NVIDIA ConnectX 7 MCX75310AAS NEAT Mlxconfig はリンク タイプをイーサネットに設定します

NVIDIA ConnectX 7 MCX75310AAS NEAT Mlxconfig はリンク タイプをイーサネットに設定します

ここで、LINK_TYPE_P1=2 は、P1 (ポート 1) を 2 (イーサネット) に設定します。 デフォルトの LINK_TYPE_P1=1 は、P1 (ポート 1) が 1 (NDR InfiniBand) に設定されていることを意味します。これを元に戻す必要がある場合は、プロセスを逆に実行するだけです。

3. システムを再起動します

簡単に再起動すると、ConnectX-7 イーサネット アダプターが使用できるようになります。

NVIDIA ConnectX 7 MT2910 の多数のイーサネット速度オプション

NVIDIA ConnectX 7 MT2910 の多数のイーサネット速度オプション

この 400Gbps アダプターは引き続き 1GbE 速度をサポートします。

Fの機能と互換性 NVIDIA ConnectX-7

NVIDIA ConnectX-7の特徴
NVIDIA ConnectX-7 の機能と互換性

性能

NVIDIA ConnectX 7 400Gbps NDR インフィニバンド

NVIDIA ConnectX 7 400Gbps NDR インフィニバンド

もちろん、他にも多くのパフォーマンス オプションが利用可能です。 InfiniBand と Ethernet では 300Gbps ~ 400Gbps の速度を実現できます。 イーサネットの場合、初期接続は 400GbE しかないため、200GbE の速度に到達するには多少の工夫が必要ですが、パフォーマンスのチューニングに関してはあまり行っていません。

NVIDIA ConnectX 7 400GbE のパフォーマンス

NVIDIA ConnectX 7 400GbE のパフォーマンス

これらの速度は達成可能な 400 Gbps の範囲内にあり、これまでの速度の XNUMX 倍をはるかに超えています。 100Gbpsアダプター、そして非常に短い時間で。しかし、400GbEの速度でのオフロードが非常に重要であることを強調しておくことが重要です。25GbEと100GbEの速度では、一般的なネットワークタスクのためにCPUをオフロードするためにDPUなどのデバイスが使用されています。過去20年間で、最新のCPUコアの速度は40〜100%向上し、ネットワーク帯域幅は400GbEからXNUMXGbEに増加しました。その結果、次のようなテクノロジーが生まれました。 RDMA オフロードと OVS/チェック オフロードは、CPU の使用を最小限に抑えるために重要になっています。これが、旧 Nvidia Mellanox 部門が現在 400Gbps アダプターを提供している数少ない企業の XNUMX つである理由です。

Supermicro SYS 111C NR (NVIDIA ConnectX 7 400Gbps アダプター付き)

コメント

上へスクロール