InfiniBand vs. Ethernet: AIスケールアウトの覇権をめぐるBroadcomとNVIDIAの戦い

2025 年 11 月 19 日

キャサリン

光通信エンジニア

高性能コンピューティング相互接続における核心の戦い

イーサネットはスケールアウト型データセンターにおいて再び主流の地位を取り戻そうとしており、一方、InfiniBandはハイパフォーマンスコンピューティング（HPC）とAIトレーニング分野で力強い勢いを維持しています。BroadcomとNVIDIAは、市場リーダーシップをめぐって熾烈な競争を繰り広げています。

人工知能モデルの規模が指数関数的に拡大するにつれ、データセンターのスケーリングは、従来の垂直スケールアップ（単一システム）アーキテクチャから、数万個の相互接続ノードを含む大規模な水平スケールアウトアーキテクチャへと移行しています。スケールアウト型ネットワーク市場は現在、以下の2つの競合する技術によって支配されています。

: NVIDIA の子会社 Mellanox が推進する長年のパフォーマンスリーダーは、ネイティブ RDMA プロトコルを活用して、超低遅延 (2 マイクロ秒未満) とパケット損失ゼロを実現します。
イーサネットBroadcom などの積極的なサポートにより、オープンエコシステムと大幅に低いコストのメリットが得られます。

2025年6月、イーサネットは強力な反撃を開始しました。Ultra Ethernet Consortium（UEC）は、ネットワークプロトコルスタックを全面的に再構築し、InfiniBandに匹敵するパフォーマンスを実現するUEC 1.0仕様を正式にリリースしました。イーサネットは様々な利点を活かし、徐々に市場シェアを拡大していくと予想されています。この技術革新は、スケールアウト市場における競争環境全体を大きく変貌させています。

スケールアウトにおける主要な戦場：InfiniBandの優位性 vs. Ethernetの反撃

主流のスケールアウト型InfiniBandアーキテクチャは、リモートダイレクトメモリアクセス（RDMA）をネイティブにサポートしています。その動作原理は次のとおりです。

データ転送中、DMA コントローラは RDMA 対応ネットワークインターフェイスカード (RNIC) にデータを送信します。
RNIC はデータをカプセル化し、受信側の RNIC に直接送信します。
このプロセスは従来の TCP/IP とは異なり CPU を完全にバイパスするため、InfiniBand は非常に低いレイテンシ (<2 µs) を実現します。

さらに、InfiniBand はリンク層でクレジットベースのフロー制御 (CBFC) を採用し、受信側に使用可能なバッファスペースがある場合にのみデータが送信されるようにすることで、パケット損失がゼロになることを保証します。

ネイティブRDMAが適切に機能するには、InfiniBandスイッチが必要です。長年にわたり、これらのスイッチはNVIDIAのMellanox部門によって独占されており、その結果、調達コストと保守コストが高く、比較的閉鎖的なエコシステムが形成されています。ハードウェアコストは、同等のイーサネットスイッチの約3倍にもなります。

オープンなエコシステム、多数のサプライヤー、柔軟な導入オプション、低いハードウェアコストのおかげで、イーサネットは徐々に広く採用されるようになりました。

RDMA 機能をイーサネットに導入するために、InfiniBand Trade Association (IBTA) は 2010 年に RDMA over Converged Ethernet (RoCE) を導入しました。

RoCE v1リンク層にイーサネットヘッダーを追加するだけで、同じレイヤー 2 サブネットへの通信が制限され、ルータ間または異なるサブネット間での送信が防止されます。
RoCE v2 （2014年リリース）：レイヤー3のInfiniBandグローバルルーティングヘッダー（GRH）をIP/UDPヘッダーに置き換えました。この変更により、標準的なイーサネットスイッチとルーターがRoCEパケットを認識して転送できるようになり、サブネット間およびルーター間の伝送が可能になり、導入の柔軟性が大幅に向上します。

ただし、RoCE v2 のレイテンシはネイティブ RDMA (約 5 µs) よりもわずかに高いままであり、パケット損失のリスクを軽減するには、Priority Flow Control (PFC) や Explicit Congestion Notification (ECN) などの追加のメカニズムが必要です。

元の文書の比較表では、InfiniBand とオープン RoCE テクノロジーの主な違いが強調されています。

InfiniBand は、完全に独自のクローズドプロトコルスタックを使用して、可能な限り低いレイテンシを実現します。
RoCE v1 は、イーサネット上で InfiniBand アーキテクチャをシミュレートしますが、同じレイヤー 2 サブネットに限定されます。
RoCE v2 は IP ネットワーク層を使用し、サブネット間の通信をサポートし、既存のイーサネットデータセンターインフラストラクチャとの最高の互換性を提供します。

InfiniBandは、超低レイテンシとパケットロスゼロという固有の利点を維持しており、今日のAIデータセンターにおいて最適な選択肢となっています。しかし、ハードウェアコストとメンテナンスコストの高さに加え、ベンダーの選択肢が限られていることから、イーサネットベースのアーキテクチャへの徐々に移行が進んでいます。

AIデータセンターの需要の爆発的な増加とコスト／エコシステムに関する懸念を背景に、NVIDIAはイーサネット市場に本格的に参入しました。NVIDIAは、自社製のInfiniBand Quantumシリーズスイッチに加え、Spectrumシリーズのイーサネット製品も提供しています。

2025では：

Quantum-X800: 800 Gbps/ポート × 144ポート = 合計115.2 Tbps
Spectrum-X800: 800 Gbps/ポート × 64ポート = 合計51.2 Tbps
Quantum-X800 と Spectrum-X800 の CPO (Co-Packaged Optics) バージョンは、それぞれ 2025 年後半と 2026 年後半にリリースされる予定です。

Spectrum スイッチは競合する Ethernet スイッチよりも高価ですが、NVIDIA の強みは、ハードウェアとソフトウェアの緊密な統合 (BlueField-3 DPU と DOCA 2.0 プラットフォームなど) により、非常に効率的な適応型ルーティングを可能にすることにあります。

スイッチASICのコストとCPO導入競争：イーサネットがリード、InfiniBandが僅差で追随

イーサネット分野において、Broadcomはイーサネットスイッチシリコンにおいて一貫して技術的リーダーシップを維持してきました。同社のTomahawkシリーズは、「約2年ごとに総帯域幅を倍増させる」という原則に従っています。

2025年までに、Broadcomは当時世界最高帯域幅のスイッチチップであるTomahawk 6を発売しました。総容量は102.4 Tbpsで、64 × 1.6 Tbpsポートをサポートしていました。Tomahawk 6は、Ultra Ethernet Consortium（UEC）1.0プロトコルをネイティブにサポートし、マルチパス・パケット・スプレー、リンク層リトライ（LLR）、クレジットベース・フロー制御（CBFC）を実装することで、レイテンシとパケットロスのリスクをさらに低減しました。

Broadcom は、Co-Packaged Optics (CPO) テクノロジーでもリードしています。

2022年：トマホーク4 フンボルトCPOバージョン
2024年：トマホーク5バイリー
2025: トマホーク 6 デイヴィソン

Broadcomが2025年に発売した102.4 TbpsのTomahawk 6と比較すると、NVIDIAの102.4 Tbps Spectrum-X1600は2026年後半まで発売されない見込みで、約2年遅れています。NVIDIAの102.4 Tbps Spectrum-X Photonics CPOバージョンも2026年後半に発売が予定されています。

BroadcomとNVIDIAの対決を超えて:

マーベルは2023年に51.2 TbpsのTeralynx 10を発売した。
シスコは2023年にCPOプロトタイプとともに51.2 TbpsのSilicon One G200シリーズをリリースした。

電気的な相互接続は限界に達し、光統合が焦点となる

従来の銅線ベースの電気接続は物理的な限界に達しつつあります。伝送距離が長くなるにつれて、スケールアウトシナリオにおいて光ファイバー接続は、損失の低減、帯域幅の拡大、電磁干渉耐性の向上、そして伝送距離の延長といった明確な利点を発揮します。

現在の光ソリューションでは、主にプラグ可能なトランシーバーが使用され、シングルレーン 200 Gbps、合計 1.6 Tbps (8×200 Gbps) が実現されています。

速度が上昇するにつれて、PCB上の消費電力と信号損失は深刻化します。シリコンフォトニクス（SiPh）は、これらの問題に対処するために開発されました。SiPhは、微小なトランシーバー部品をシリコン上に直接集積し、光集積回路（PIC）を形成します。そして、これらをチップ内に一括パッケージ化することで、電気経路を短縮し、光経路に置き換えます。これがCo-Packaged Optics（CPO）です。

より広範な CPO コンセプトには、オンボードオプティクス (OBO)、コパッケージオプティクス (CPO)、光 I/O (OIO) など、複数の形式が含まれます。

光学エンジン (OE) のパッケージングは、メイン ASIC にますます近づいています。

OBO: PCB 上の OE (現在ではほとんど使用されていない)
狭い CPO: 基板上の OE (現在の主流) → 電力 <0.5× プラガブル (~5 pJ/ビット)、レイテンシ <0.1× (~10 ns)
OIO: インターポーザー上の OE (将来の方向) → 電力 <0.1× (<1 pJ/ビット)、レイテンシ <0.05× (~5 ns)

CPOは依然として熱管理、接合、結合において課題を抱えています。光通信が限界に近づくにつれ、CPOとシリコンフォトニクスのブレークスルーが次の競争環境を決定づけるでしょう。

イーサネットキャンプが集結：UECがUEC 1.0標準を推進

前述の通り、InfiniBandは超低レイテンシにより、生成AI分野で早期に大きなシェアを獲得しました。しかし、主流の高性能ネットワークエコシステムであるイーサネットも、同様のレイテンシの実現に取り組んでいます。

Ultra Ethernet Consortium（UEC）は2023年8月に設立され、初期メンバーにはAMD、Arista、Broadcom、Cisco、Eviden、HPE、Intel、Meta、Microsoftなどが名を連ねています。NVIDIAが主導するInfiniBandエコシステムとは異なり、UECは単一ベンダーへのロックインを回避するため、オープンスタンダードと相互運用性を重視しています。

2025 年 6 月、UEC は UEC 1.0 をリリースしました。これは、RoCE v2 の単なる機能強化ではなく、すべてのレイヤー (ソフトウェア、トランスポート、ネットワーク、リンク、物理) を完全に再構築したものです。

主な遅延削減の改善には、トランスポート層のパケット配信サブ層 (PDS) が含まれます。

複数の等コスト、等速度パス（レーン/トラック）を介したマルチパス伝送
NICはエントロピーを利用してすべてのパスにパケットを散布し、帯域幅を最大化する。

この多層構造により、超高速ネットワーク回復と InfiniBand に近い適応型ルーティングが可能になります。

パケット損失を最小限に抑えるために、UEC 1.0 では 2 つの主要なメカニズムが導入されています。

オプションのリンク層再試行（LLR）：パケット損失時の高速ローカル再送信要求により、PFCへの依存を軽減
オプションのクレジットベースフロー制御（CBFC）：送信者は送信前に受信側からクレジットを取得する必要があり、InfiniBand CBFCと同じ真のロスレス動作を実現します。

中国の大規模開発：国際基準と自主革新の調和

中国のAIインフラスケールアウトアーキテクチャは、自律性と国際互換性という二つの原則に沿って進化しています。中国の大手企業は、グローバルイーサネット標準に準拠しながらも、独自のアーキテクチャに多額の投資を行い、徐々に中国独自のスケールアウトシステムを形成しつつあります。

Alibaba、Baidu、Huawei、Tencentをはじめとする多くの企業がUECに加わり、この標準規格を共同開発しています。同時に、各社は低レイテンシとゼロパケットロスを目標としたスケールアウトファブリックを独自に開発し、InfiniBandを直接ベンチマークしています。

注目すべき先住民建築:

中国移動 – GSE（一般スケジューリングイーサネット）: 2023年5月にUECに先駆けてリリース。GSE 1.0は、ポートレベルの負荷分散とエンドポイント輻輳認識により既存のRoCEを最適化します。GSE 2.0は、マルチパススプレーとDGSQフロー制御を備えた完全なプロトコルスタックの再構築です。
Alibaba Cloud – 高性能ネットワーク (HPN)HPN 7.0は「デュアルアップリンク + マルチレーン + デュアルプレーン」設計を採用しています。次世代HPN 8.0は、完全に自社製の102.4 Tbps 800Gスイッチチップを搭載します。
Huawei – UB-Mesh相互接続: 多次元 nD フルメッシュトポロジを使用して Ascend NPU プラットフォームに展開され、3D 以上の次元でのスケールアップと真のスケールアウトの両方をサポートします。

中国は、ZTE、Accelinkなどの参加により、完全な国産光モジュールおよびシリコンフォトニクスのサプライチェーンを急速に構築しています。

次世代AIデータセンター：技術変革と機会

NVIDIAのInfiniBandは長年にわたり、2マイクロ秒未満のレイテンシとパケットロスゼロという性能でAIスケールアウト市場を席巻してきました。しかし、2025年6月にUEC 1.0がリリースされ、イーサネットはレイテンシと信頼性の差を急速に縮め、競争力を取り戻しつつあります。Broadcomは2年ごとの帯域幅倍増サイクルを継続し、イーサネットハードウェアの性能を着実に向上させています。

速度が1.6Tbpsを超えると、プラガブル光技術の電力と遅延がボトルネックとなり、CPOが将来の主流となるでしょう。Broadcomは2022年からCPOの導入を主導しており、NVIDIAは2025年下半期にInfiniBand CPOの導入を計画しています。

イーサネットと CPO が成熟するにつれて、AI データセンターネットワークは高速光相互接続に完全に移行し、光トランシーバーと上流サプライチェーン (シリコンフォトニクスチップ、レーザー、ファイバーモジュール) に大きなチャンスが生まれます。

スケールアウトドメインの場合: