InfiniBand の何がそんなに特別なのでしょうか?

InfiniBand は、RDMA (リモート ダイレクト メモリ アクセス) のネイティブ ネットワーク テクノロジとして、多くのお客様に好まれ、使用されています。しかし、同様に RDMA プロトコルと互換性があり、サポートしているロスレス イーサネットである ROCE (RDMA over Converged Ethernet) と比較して、InfiniBand には他にどのような独自の利点があるのでしょうか?

従来の SDN の「オリジナルの信者」: ネットワークを効率的かつシンプルにする

InfiniBand は、SDN に従って真にネイティブに設計された最初のネットワーク アーキテクチャです。これはサブネット マネージャー (つまり、SDN コントローラー) によって管理されます。従来のイーサネット (ROCE ロスレス イーサネットを含む) とは異なり、InfiniBand スイッチはルーティング プロトコルを実行せず、ネットワーク全体の転送テーブルは集中サブネット マネージャーによって計算および配布されます。テーブルの転送に加えて、サブネット マネージャーは、ゾーニングや QoS など、InfiniBand サブネット内の構成の管理も担当します。 InfiniBand ネットワークは、フォワーディング テーブルの学習のために ARP などのブロードキャスト メカニズムに依存しなくなり、ブロードキャスト ストームや帯域幅の追加の浪費がなくなりました。

従来のイーサネット (ROCE ロスレス イーサネットを含む) も SDN コントローラ ネットワーキングをサポートしていますが、さまざまなネットワーク メーカーは、「ノーブランド マシン」になることを避けるために、OpenSlow フロー テーブル転送の初期の概念から逸脱し、代わりに netconf+VXLAN+EVPN ソリューションを採用しています。 " メーカー。 SDN コントローラーは、関連する制御ポリシーの配布のみを提供する、より高度な「大規模ネットワーク管理」になりました。転送レベルは依然としてデバイス間の学習 (MAC テーブル エントリの学習、ARP テーブルの学習、ルーティング テーブル エントリの学習など) に基づいているため、ROCE ロスレス イーサネットは InfiniBand のような効率的でシンプルなネットワーキングの利点を失います。

InfiniBand の効率的でシンプルなネットワーキング

人生における例を使って説明しましょう。

高速鉄道旅行を InfiniBand ネットワークに例えることができます。高速鉄道の旅行全体は、ディスパッチャー (サブネットワーク マネージャー) によって管理およびスケジュールされます。乗客 (ネットワーク トラフィック) は、目的地に行くためのルートを学習したり検索したりする必要はありません。予定されている列車番号（回送表）に従ってバスに乗ればいいのです。このモードでは、冗長なアナウンスや一時的なルート変更がなく、旅行全体が効率的かつスムーズに行われ、乗客の旅行の質と速度が保証されます。

比較すると、自動運転走行は従来のイーサネットと ROCE ロスレス イーサネットを代表します。ナビゲーション用のナビゲーションシステム（SDNコントローラー）も搭載されていますが、ドライバー（ネットワークデバイス）は道路状況に応じてリアルタイムに判断し、進行方向を調整する必要があります（デバイス間学習）。このプロセスには、地図 (ブロードキャスト メカニズム) の複数回のクエリ、信号待ち (帯域幅の無駄)、または渋滞を避けるために迂回すること (複雑なネットワーク構成) が含まれる場合があり、移動プロセス全体が比較的非効率になります。

事前クレジット輻輳回避メカニズム: ネイティブロスレスネットワークの実現

InfiniBand ネットワークは、クレジット ベースのメカニズムを使用して、バッファ オーバーフローやパケット損失の問題を根本的に回避します。このメカニズムにより、送信者は、受信者が対応する数のメッセージを受け入れるのに十分なクレジットを持っていることを確認した場合にのみパケット送信を開始することが保証されます。

このクレジットベースのメカニズムは次のように機能します。各 InfiniBand ネットワーク リンクには、送信されるパケットを格納するための所定のバッファがあります。送信者は、データを送信する前に受信者の利用可能なクレジットを確認します。このクレジットは、受信機が現在利用可能なバッファ サイズとして理解できます。送信者は、このクレジット値に基づいてパケット送信を開始するかどうかを決定します。受信者のクレジットが不十分な場合、送信者は受信者が十分なバッファを解放し、新しい利用可能なクレジットを報告するまで待機します。

受信者が転送を完了すると、使用されているバッファを解放し、現在利用可能なスケジュールされたバッファ サイズを送信者に継続的に報告します。このようにして、送信者は受信者のバッファ状況をリアルタイムで把握し、データ パケットの送信を調整できます。このリンク レベルのフロー制御メカニズムにより、送信者が大量のデータを送信しないようにし、ネットワーク バッファのオーバーフローやパケット損失を効果的に防止します。

このクレジットベースのメカニズムの利点は、効率的で信頼性の高いフロー制御方法が提供されることです。データパケットの送信をリアルタイムで監視および調整することで、 ネットワークは、ネットワークの輻輳やパフォーマンスの低下を回避しながら、データのスムーズな送信を保証できます。さらに、このメカニズムによりネットワークの予測可能性と安定性が向上し、アプリケーションがネットワーク リソースをより効率的に利用できるようになります。

InfiniBand ネットワークは、クレジット ベースのメカニズムを使用して、リンク レベルのフロー制御を通じてバッファ オーバーフローとパケット損失の問題を根本的に回避しますが、ROCE ロスレス イーサネットは「ポストイベント」輻輳管理メカニズムを採用しています。メッセージが送信される前に、受信者とリソースをネゴシエートせず、メッセージを直接転送します。受信スイッチにポート バッファの輻輳（または輻輳が差し迫っている）がある場合にのみ、PFC および ECN プロトコルを通じて輻輳管理メッセージが送信され、ピア スイッチおよびピア ネットワーク カードがメッセージの送信を削減または一時停止できるようになります。この「事後」の方法では輻輳の影響をある程度軽減できますが、パケットロスやネットワークの不安定化を完全に回避することはできません。

InfiniBandネットワークにおけるロスレスデータ伝送の概略図

別の例を使って説明しましょう。

InfiniBand ネットワークのクレジットベースの仕組みは、電話による座席予約をサポートするホテルのようなものです。レストランで食事をしたいときは、事前にホテルに電話して十分な座席があることを確認しておくと、レストランに到着してから席がなかったという恥ずかしい事態を避けることができます。この方法により、顧客の食事体験が保証され、リソースの無駄や不満が回避されます。

レストランに到着した後の顧客の行列は、イベント後の混雑管理メカニズムに似ています。 ロセ ロスレスイーサネット。事前にご予約のない方は状況に応じてお待ちいただくのみとなります。ホテルは混雑を緩和するための措置を講じますが、それでも座席不足や顧客の喪失のリスクに直面する可能性があります。 「事後」の混雑管理の仕組みでもある程度は対応できますが、顧客の不満や損失を完全に回避できるわけではありません。

カットスルー転送モード: ネットワークの遅延を低減できるようにします。

イーサネット (ROCE ロスレス イーサネットを含む) は、デフォルトでストア アンド フォワード モードを使用します。スイッチはデータ パケット全体を完全に受信してキャッシュに保存し、宛先アドレスとデータ パケットの整合性を確認してから転送する必要があります。このアプローチでは、特に大量のパケットを処理する場合に、多少の遅延が発生する可能性があります。

カットスルー転送モード技術では、データ パケットのヘッダー情報を読み取り、宛先ポートを決定するだけで済み、スイッチがデータ パケットを受信するとすぐにデータ パケットの転送を開始します。このテクノロジーにより、スイッチ内でのデータ パケットの滞留時間が大幅に短縮され、送信遅延が減少します。

InfiniBand スイッチはカットスルー転送モードを使用するため、メッセージの転送処理が非常に簡単になります。転送パスをすばやく見つけるには、16 ビットの LID (サブネット マネージャーによって直接与えられる) のみが必要です。このようにして、転送遅延は 100 ナノ秒未満に短縮されます。イーサネット スイッチは通常、MAC テーブル ルックアップ アドレス指定とストア アンド フォワード方式を使用してデータを処理します。ただし、IP、MPLS、QinQ などの多くの複雑なサービスも処理する必要があるため、処理時間は比較的長く、数マイクロ秒、またはそれ以上かかる場合があります。一部のイーサネット スイッチがカットスルー テクノロジーを使用している場合でも、転送遅延は依然として 200 ナノ秒を超える可能性があります。

転送遅延

別の例を使って説明しましょう。

イーサネットは、壊れやすい品物を郵送する場合と同様にパケットを処理します。郵便配達員は特に注意して荷物を受け取り、目的地に転送する前にその完全性をチェックして損傷がないことを確認する必要があります。郵便配達員の配達に時間がかかるため、ある程度の遅延が発生します。

InfiniBand スイッチは、通常のアイテムを郵送するのと同じようにパケットを処理します。郵便配達員は、荷物の完全な検査を待たずに、荷物の住所をざっと見るだけですぐに転送します。この方法はより高速で、パッケージのポストにかかる時間を大幅に短縮します。 offこれにより、伝送遅延が軽減されます。