NVIDIA ConnectX-7 ファミリのネットワーク アダプターは、InfiniBand プロトコルとイーサネット プロトコルの両方をサポートし、幅広いネットワーク ニーズに対応する多用途のソリューションを提供します。 これらのアダプターは、インテリジェントでスケーラブルで機能豊富なネットワーキング機能を提供するように設計されており、従来のエンタープライズ アプリケーションの要件だけでなく、AI、科学技術コンピューティング、ハイパースケール クラウド データ センターの高性能ワークロードにも対応します。
ConnectX-7 ネットワーク アダプタは、スタンドアップ PCIe カードと Open Compute Project (OCP) Spec 3.0 カードの XNUMX つの異なるフォーム ファクタで利用できます。 この柔軟性により、ユーザーは特定の導入要件に最も適したアダプターを選択できます。
400Gbps ネットワークは、PCIe Gen5 x16 スロットで処理できる新しい機能です。 NDR 400Gbpsを使用するための構成を見てみましょう /400GbE。

アングル1ショット NVIDIA ConnectX 7 400G OSFP の
MCX75310AAS-NEAT アダプターのハードウェア概要
ConnectX-7 (MCX75310AAS-NEAT) は、PCIe Gen5 x16 スロット用に設計されたロープロファイル カードです。 下の画像はフルハイト ブラケットを示していますが、ボックスにはロープロファイル ブラケットも含まれています。

正面の NVIDIA ConnectX 7 400G OSFP
冷却ソリューションの寸法に注目する価値があります。 ただし、NVIDIA はこれらのネットワーク アダプターの電力仕様を公開していません。

角度 2 ショット NVIDIA ConnectX 7 400G OSFP の
これは、ヒートシンク バックプレートを備えたカードの背面です。

NVIDIA ConnectX 7 400G OSFP カードの背面
これは、PCIe Gen5 x16 コネクタから見たカードの側面図です。

NVIDIA ConnectX 7 400G OSFP コネクタの角度
これはカードをカードの上から見た別の図です。

NVIDIA ConnectX 7 400G OSFP 上面角度
これは、ほとんどのサーバーの空気の流れの方向から見た図です。

これは、400 Gbps の速度で動作するフラット シングル ポート カードです。 膨大な量の帯域幅を提供します。
NVIDIA ConnectX-7 400G アダプターの取り付け
このようなカードの最も重要な側面の XNUMX つは、その速度を活用できるシステムにカードを取り付けることです。
ConnectX-7 アダプター カードの取り付け手順には、次の手順が含まれます。
- システムのハードウェア要件とソフトウェア要件を確認してください。
- ホスト システム内のエアフローの考慮事項に注意してください。
- 安全上の注意事項に従ってください。
- パッケージを開梱します。
- インストール前のチェックリストに従ってください。
- (オプション) フルハイト取り付けブラケットを付属の短いブラケットと交換します。
- ConnectX-7 PCle x16 アダプター カード/ConnectX-7 2x PCle x16 ソケット ダイレクト アダプター カードをシステムに取り付けます。
- ケーブルまたはモジュールをカードに接続します。
- システム内の ConnectX-7 を識別します。

Supermicro SYS 111C NR (NVIDIA ConnectX 7 400Gbps アダプター 1 付き)
幸いなことに、これらのデバイスは Supermicro SYS-111C-NR 1U サーバーおよび Supermicro SYS-221H-TNR 2U サーバーに正常にインストールされ、正常に動作しています。

Supermicro SYS 111C NR (NVIDIA ConnectX 7 400Gbps アダプター 2 付き)
SYS-111C-NR は、システムをセットアップする際にスロット間の接続を気にする必要がないため、より柔軟なシングルスロット ノード サーバーです。 10/40Gbps、さらには 25/50Gbps の速度では、CPU スロット間の接続によるパフォーマンスの課題について議論されてきました。 100GbE の出現により、クロススロット接続を回避するために各 CPU にネットワーク アダプターを設けるという問題がより顕著になり、広く普及しました。 400GbE 速度のネットワークを使用すると、その影響はさらに顕著で深刻になります。 単一の 400GbE NIC を使用するデュアルスロット サーバーの場合、各 CPU に直接接続する複数のホスト アダプターを検討することは、検討に値するオプションかもしれません。
OSFP と QSFP-DD の比較
カードを取り付けたら、次の課題が始まりました。 これらのカードは OSFP ケージを使用しますが、当社の 400GbE スイッチは OSFP ケージを使用します。 QSFP-DD.

Supermicro SYS 111C NR (NVIDIA ConnectX 7 400Gbps アダプター 4 付き)
これら XNUMX つの規格には、電力レベルと物理設計にいくつかの違いがあります。 変換可能です QSFP-DD OSFP に変換されますが、その逆は不可能です。 OSFP 光学部品や DAC を見たことがない方のために説明しておきますが、これらには独自の熱管理ソリューションがあります。 QSFP-DD は通常、ソケットの上部にヒートシンクを使用しますが、OSFP には通常、ラボの OSFP DAC および光学部品の冷却ソリューションが含まれています。

OSFP および QSFP-DD コネクタ 1
これは難しい問題です。 OSFP DAC と OSFP to QSFP-DD DAC はどちらもヒートシンク冷却ソリューションを使用します。 また、DAC が直接冷却されるため、OSFP プラグは DAC の OSFP ポートに挿入されません。 ConnectX-7 NIC.
NVIDIA は、電力レベルが高いため、OSFP を使用している可能性があります。 OSFP は 15W の光ファイバーをサポートしますが、QSFP-DD は 12W のみをサポートします。 電力上限が高いと、初期導入段階での早期導入が容易になります。これが、24W CFP8 モジュールのような製品が利用できる理由の XNUMX つです。
可能な限り、ConnectX-7 インサートの OSFP 側のヒートシンクのサイズに注意してください。 QSFP/QSFP-DD に慣れている場合は、すべてのデバイスが接続されて正常に動作しますが、コネクタ サイズなどの小さな問題が発生すると、より大きな課題が発生する可能性があります。 ただし、ソリューション プロバイダーの場合、これは専門的なサービス サポートを提供する機会でもあります。 NVIDIA や PNY などの代理店も LinkX ケーブルを販売していますが、これはより便利なオプションでした。 これは貴重な教訓です。
次に、これをすべて設定して作業を始めましょう。
ソフトウェアセットアップNDR InfiniBandと400GbEの比較
物理的なインストールに加えて、サーバー上のソフトウェアにも取り組みました。 幸いなことに、これは最も簡単な部分でした。 Supermicro の MT2910 シリーズ ConnectX-7 アダプターを使用しました。

NVIDIA MT2910 Lshw
OFED (OpenFabrics Enterprise Distribution) を簡単にインストールして再起動すると、
システムの準備ができました。

OFED インストール後の NVIDIA MT2910 Lshw
ここではイーサネットで Broadcom Tomahawk 4 スイッチを使用し、InfiniBand モードで直接実行しているため、リンク タイプも変更する必要があります。
このプロセスは単純で、Linux で Mellanox ConnectX VPI ポートをイーサネットまたは InfiniBand に変更するのと似ています。
基本的なプロセスは次のとおりです。
0. OFEDをインストールし、ファームウェアをアップデートする
これは、カードが正しく動作することを確認するために必要な手順です。

MLNX_OFED_LINUX インストール中、NVIDIA ConnectX 7 Mellanox Technologies MT2910 MT2910 シリーズ
プロセスは非常に簡単です。 まず、オペレーティング システムに必要なバージョンをダウンロードし、ダウンロードで提供されるスクリプトを使用してドライバーをインストールします。 標準インストーラーはカードのファームウェアも更新します。

NVIDIA ConnectX 7 MT2910 MT2910 MLNX_OFED_LINUX ファームウェア アップデートのインストール
サーバーを再起動して OFED をインストールすると、NVIDIA ConnectX-7 MCX75310AAS-NEAT が 400GbE および NDR IB (InfiniBand) 対応であることがわかります。 NDR IB はデフォルト モードに設定されています。

NVIDIA ConnectX 7 MCX75310AAS NEAT Mlxconfig
これをイーサネットに変えたい場合、必要な手順は XNUMX つだけです。
1. ConnectX-7 デバイスを見つけます
特にシステム内に他のデバイスがある場合は、変更する適切なデバイスを見つける必要があります。 カードが XNUMX 枚しかない場合は、簡単に実行できます。
| grep メラノックス
16:00.0 Infiniband コントローラー: Mellanox Technologies MT2910 ファミリ [ConnectX-7]
ここで、デバイスの時刻が 16:00.0 であることがわかります (上のスクリーンショットからわかるように)。
2。 mlxconfig を使用して、ConnectX-7 デバイスを NDR Infiniband からイーサネットに変更します。
次に、デバイス ID を使用して、Infiniband のリンク タイプを変更します。
sudo mlxconfig -d 16:00.0 set LINK_TYPE_P1=2

NVIDIA ConnectX 7 MCX75310AAS NEAT Mlxconfig はリンク タイプをイーサネットに設定します
ここで、LINK_TYPE_P1=2 は、P1 (ポート 1) を 2 (イーサネット) に設定します。 デフォルトの LINK_TYPE_P1=1 は、P1 (ポート 1) が 1 (NDR InfiniBand) に設定されていることを意味します。これを元に戻す必要がある場合は、プロセスを逆に実行するだけです。
3. システムを再起動します
簡単に再起動すると、ConnectX-7 イーサネット アダプターが使用できるようになります。

NVIDIA ConnectX 7 MT2910 の多数のイーサネット速度オプション
この 400Gbps アダプターは引き続き 1GbE 速度をサポートします。
Fの機能と互換性 NVIDIA ConnectX-7


性能

NVIDIA ConnectX 7 400Gbps NDR インフィニバンド
もちろん、他にも多くのパフォーマンス オプションが利用可能です。 InfiniBand と Ethernet では 300Gbps ~ 400Gbps の速度を実現できます。 イーサネットの場合、初期接続は 400GbE しかないため、200GbE の速度に到達するには多少の工夫が必要ですが、パフォーマンスのチューニングに関してはあまり行っていません。

NVIDIA ConnectX 7 400GbE のパフォーマンス
これらの速度は達成可能な 400 Gbps の範囲内にあり、これまでの速度の XNUMX 倍をはるかに超えています。 100Gbpsアダプター、そして非常に短い時間で。しかし、400GbEの速度でのオフロードが非常に重要であることを強調しておくことが重要です。25GbEと100GbEの速度では、一般的なネットワークタスクのためにCPUをオフロードするためにDPUなどのデバイスが使用されています。過去20年間で、最新のCPUコアの速度は40〜100%向上し、ネットワーク帯域幅は400GbEからXNUMXGbEに増加しました。その結果、次のようなテクノロジーが生まれました。 RDMA オフロードと OVS/チェック オフロードは、CPU の使用を最小限に抑えるために重要になっています。これが、旧 Nvidia Mellanox 部門が現在 400Gbps アダプターを提供している数少ない企業の XNUMX つである理由です。

関連製品:
-
OSFP-400G-SR4-FLT 400G OSFP SR4 フラットトップ PAM4 850nm OM30 で 3m/OM50 で 4m MTP/MPO-12 マルチモード FEC 光トランシーバ モジュール $650.00
-
OSFP-400G-DR4 400G OSFP DR4 PAM4 1310nm MTP / MPO-12 500m SMFFEC光トランシーバーモジュール $900.00
-
OSFP-400G-SR8 400G SR8 OSFP PAM4 850nm MTP/MPO-16 100m OM3 MMF FEC 光トランシーバー モジュール $480.00
-
NVIDIA Mellanox MCX653105A-ECAT-SP ConnectX-6 InfiniBand/VPI アダプター カード、HDR100/EDR/100G、シングルポート QSFP56、PCIe3.0/4.0 x16、トール ブラケット $965.00
-
NVIDIA MCX623106AN-CDAT SmartNIC ConnectX®-6 Dx EN ネットワーク インターフェイス カード、100GbE デュアル ポート QSFP56、PCIe4.0 x 16、トール & ショート ブラケット $1200.00
-
NVIDIA Mellanox MCX75510AAS-NEAT ConnectX-7 InfiniBand/VPI アダプター カード、NDR/400G、シングル ポート OSFP、PCIe 5.0x 16、トール ブラケット $1650.00
-
NVIDIA MMA1Z00-NS400 互換 400G QSFP112 SR4 PAM4 850nm 100m MTP/MPO-12 OM3 FEC 光トランシーバー モジュール $650.00
-
NVIDIA MMA4Z00-NS400 互換 400G OSFP SR4 フラットトップ PAM4 850nm OM30 で 3m/OM50 で 4m MTP/MPO-12 マルチモード FEC 光トランシーバ モジュール $650.00
-
NVIDIA MMS4X00-NS400 互換 400G OSFP DR4 フラットトップ PAM4 1310nm MTP/MPO-12 500m SMF FEC 光トランシーバー モジュール $800.00
-
QDD-OSFP-FLT-AEC2M 2m (7フィート) 400G QSFP-DDからOSFPへのフラットトップPAM4アクティブ電気銅線ケーブル $1500.00
-
OSFP-FLT-400G-PC2M 2m (7フィート) 400G NDR OSFP - OSFP PAM4パッシブ直接接続ケーブル、一方の端がフラットトップ、もう一方の端がフラットトップ $125.00
-
OSFP-FLT-400G-PC3M 3m (10フィート) 400G NDR OSFP - OSFP PAM4パッシブ直接接続ケーブル、一方の端がフラットトップ、もう一方の端がフラットトップ $135.00
-
NVIDIA MCA7J60-N004 互換 4 メートル (13 フィート) 800G ツインポート OSFP から 2x400G OSFP InfiniBand NDR ブレークアウト アクティブ銅線ケーブル $800.00
-
NVIDIA MCP7Y00-N003-FLT 互換 3m (10 フィート) 800G ツインポート OSFP ~ 2x400G フラットトップ OSFP InfiniBand NDR ブレイクアウト DAC $275.00
-
QSFP-DD-400G-SR4 QSFP-DD 400G SR4 PAM4 850nm 100m MTP/MPO-12 OM4 FEC 光トランシーバ モジュール $600.00
-
NVIDIA MFP7E10-N010 互換 10 メートル (33 フィート) 8 ファイバー 低挿入損失 メス - メス MPO トランク ケーブル 極性 B APC - APC LSZH マルチモード OM3 50/125 $47.00