GoogleのTPUアーキテクチャを公開：OCS光回線スイッチング - 4x4x4キューブから9216チップのアイアンウッドへの進化エンジン

AIスーパーコンピューティングの競争において、GoogleのTPUクラスターが際立っている理由は何でしょうか？3DトーラストポロジーとOCS（光回線交換）技術を組み合わせることで、低レイテンシと最適なTCO（総所有コスト）を維持しながら、大規模なスケーリングを実現した理由は何でしょうか？

この詳細なブログ記事では、Google の TPU インテリジェント コンピューティング クラスタの進化を深く掘り下げ、3D トーラス トポロジと OCS テクノロジーの相乗効果メカニズムに焦点を当てます。最小のトポロジ単位である 4x4x4 キューブから始めて、TPUv4 4096 ポッドの標準 3D トーラスと、TPUv7 9216 ポッドのツイステッド 3D トーラスを再構築します。これを TPUv5e/v6e のコスト効率の高い 2D トーラス メッシュと比較し、Google が数万チップ規模で決定論的な低レイテンシを実現する方法を探り、AWS や NVIDIA のアプローチと対比させ、「チップレベルの発光と全光直接接続」を可能にする CPO (Co-Packaged Optics) などの将来のトレンドについても考察します。

01 序章: TPUスーパーノードの進化のまとめ

以前、TPUv1（AlphaGoの背後）からOCS + ICI + 3D Torusを搭載したTPUv7（9216チップのIronwoodスーパーノード）までの道のりを考察しました。TPUv7はNVIDIAのGB200/GB300に匹敵します。また、AlibabaとNVIDIAとの比較を行い、AI時代においてツールの販売と金採掘の両方によって真に利益を得るのは誰かについても議論しました。

ここでは、48 個の OCS ユニットが 4096 チップの TPUv4 Pod をサポートする方法に関する Google の公開論文を基に、4096 チップの TPUv4 クラスターから最新の 9216 チップの TPUv7 クラスターまで、段階的にレイヤーを剥がし、2D/3D Torus + OCS 光スイッチング + ICI ネットワークの進化と、成熟した上流/下流のサプライ チェーンがこれをどのように完璧に補完するかを強調します。

02 基礎: TPUv4 と 3D Torus/OCS の実装

4096チップを搭載したTPUv4 Podは、GoogleのOCS光スイッチングネットワークの成熟した応用を示す画期的な製品であり、公開チャンネルで公開されている数少ない典型的な事例の一つです。最小のモジュールから完全なクラスタアーキテクチャまで構築してみましょう。

2.1 最小の位相単位：4×4×4立方体

Google TPUv4 Podネットワークにおける最小のトポロジカルユニットは、TPUキューブ（または4×4×4キューブ）です。物理的にはサーバーキャビネットのようなものですが、論理的には緊密に統合された全体です。

• 構成: 4 (X) × 4 (Y) × 4 (Z) = 64 個の TPU チップ。4 次ルービック キューブに似ています。
• リンク: 各 TPU チップには、±X、±Y、±Z 方向に 6 つの ICI (Inter-Chip Interconnect) 高速リンクがあり、3D トーラス グリッドの基盤を形成します。

2.2 単一キューブ内のリンクレイヤリングと光電気境界

標準的な 4×4×4 キューブでは、ICI リンクは位置と媒体に基づいて 2 つのカテゴリに分割され、TPU 独自のハイブリッド光電気ネットワークが形成されます。

• 内部相互接続 (キューブ コア): 内部リンク (コアと露出していない面) では、完全な電気信号伝達に短い PCB バックプレーンと銅ケーブルを使用します。OCS や光変換は使用されません。
• 外部相互接続 (キューブ サーフェス): 6 つの外側サーフェス上のリンクのみが公開され、キューブごとに合計 96 の光リンクが OCS に接続され、動的なルーティングと大規模なスケーリングが実現します。

2.3 TPUv4ポッドクラスタで48個のOCSユニットを導出する

上記の通り、各キューブには64個のチップが搭載されています。4096チップのポッドの場合：4096 / 64 = 64個のキューブ。

光リンクの合計: 64 キューブ × 96 リンク/キューブ = 6144 リンク。

GoogleのPalomar OCSは通常136×136ポートですが、実効ポート数は128（バイナリアライメント＋8冗長）となるように設計されています。つまり、6144リンク÷128ポート/OCS = 48 OCSユニットとなります。

3Dトーラスに厳密に整合させるため、48個のOCSはX/Y/Zトラフィック用に3つの直交グループに編成されています。例えば、X軸グループには16個のOCSがあり、各OCSは「同一次元相互接続」の原則に基づき、すべてのキューブにわたって±X面のリンクのみを処理します。これにより、直交分離が確保され、ルーティングアルゴリズムが簡素化され、デッドロックが回避されます。

3Dトーラスでは、OCSは巨大な動的パッチパネルとして機能し、トーラスのジオメトリを物理的に実現します。ノードのX+インターフェースから出力されたデータは、隣接ノードのX-インターフェースに入ります（標準TPUv4ではステップサイズ1、ツイストTPUv7では可変N）。エッジノードはOCSを介してラップアラウンドします。

2.4 TPUv4ポッドのコア：パロマーOCS微細構造

ロスレス パケット スイッチとは異なり、Palomar OCS はヘッダーを読み取ったり、O/E 変換を実行したりせず、純粋に物理層の「光反射」を行います。

内部パスは従来の「W」字型を形成し、挿入損失を最小限に抑え、あらゆる接続を可能にします。

W パス: コリメータ > ダイクロイック ミラー > 2D MEMS アレイ I > ダイクロイック ミラー > 2D MEMS アレイ II > ダイクロイック ミラー > レシーバー コリメータ。

主要コンポーネント：3Dビームステアリング用のデュアル2D MEMS。ダイクロイックミラーは1310nmのトラフィックを透過し、850nmの監視光を反射します。インジェクション+カメラモジュールと組み合わせることで、リアルタイムのインバンドO&Mとマイクロ秒単位のMEMS調整を実現します。この閉ループアライメントは、Palomar OCSの商用化における最大の障壁となっています。

03 アーキテクチャの進化: ねじれた3Dトーラスと2Dトーラス

シングルチップのTDPが600Wに上昇し、クラスターチップ数が9,216個を超える中、TPUv7（Ironwood）は冷却とレイテンシの面でより厳しい課題に直面しています。Googleは、ツイストトポロジーとエクストリームスケール拡張という2つの主要なアップグレードを導入しました。

3.1 TPUv7 ツイスト 3D トーラストポロジーと 9216 チップ導出

TPUv7 ポッドは、TPUv4 の 4096 チップに対して 9216 チップまで拡張されます。最小単位は 4x4x4 キューブ (64 チップ) のままです: 9216 / 64 = 144 キューブ。

合計リンク数: 144 キューブ × 96 リンク/キューブ = 13,824 ポート。

Google は依然として 48 OCS ユニットを使用していると報告されています。(図 4 は、キューブ A が 96 個のリンクを 48 OCS に展開している様子を示しています。)

これを処理するために、OCS は 144×144 ポート (144 個のキューブに一致、実際はおそらく 320×320) にアップグレードされ、非ブロッキング通信用に 800G/1.6T の Twisted 3D Torus リンクが採用されました。

トポロジーのアップグレード：Twisted 3D Torus に可変ステップサイズ N を導入し、ホップ数を削減します。最適な N は Dimension_Size / 2 です。

• 左: 標準 2D トーラス (ステップ = 1、連続ホップ)。
• 右: ねじれた 2D トーラス (ステップ = N、OCS による「ワームホール」ジャンプ)。

3D への拡張: (図 6 は、キューブ A からキューブ B への Z 軸ジャンプなど、128 個の TPU スライス (4x4x8) 接続を示しています。)

3.2 TPUv5e/v6e と 2D トーラス メッシュ

レイテンシに敏感な推論と中規模トレーニングの場合、TPUv5e/v6e (Trillium) はコスト最適化設計を採用します。高価な OCS を削除し、静的 2D Torus Mesh を使用します。

ポッド最大256 TPU（16×16トポロジの液冷キャビネット4台）。Y軸はPCB/バックプレーン経由で垂直、X軸はQSFP-DD DAC銅ケーブル経由で水平、ループは長いケーブルで閉じます。

04 業界情勢の詳細な比較とサプライチェーンの検証

4.1 Google (ICI) vs. AWS (Trainium) vs. NVIDIA

4.2 業界の障壁: Google のモデルを複製するのはなぜ難しいのか?

TPUv7 Pod の堀は、原子からエコシステムまでの垂直統合です。

• 高精度 MEMS + 閉ループ制御は、光学、機械、半導体を横断するため、一般ベンダーにとっては困難です。
• 3D Torus の有効性は、正確な配置/配線を実現する Orion SDN + XLA コンパイラの相乗効果に依存します。
• フルスタック: Chip + PyTorch XLA/JAX + TF/JAX + Gemini + 10 億人のユーザーを抱えるアプリ - 複製不可能なデータ フライホイール。

4.3 サプライチェーン：OCSエコシステムの完全な工業化

最近のレポートでは、クロス検証されたサプライ チェーンを通じて Google の OCS 展開が確認されています。

• MEMS: Silex Microsystems は高収率の 2D MEMS を習得しました。
• 統合: Accelink (192×192)、Dekoli は 320×320 で Lumentum と提携。
• 光学：ダイクロイックミラーの騰晶。
• モジュール: 800G/1.6T 用 Coherent/Zhongji。

このエコシステムにより、「Hardware as a Service」(HaaS) が実現します。つまり、OCS をインフラストラクチャとして長期にわたって利用し、TCO を削減します。

05 将来の進化：ポストムーア時代のCPOと全光インターコネクトに向けて

TPUv8が224Gbps以上のSerDesで進化するにつれ、従来のプラガブル光技術は限界に達します。CPOはI/Oの限界を打ち破ります。

将来の Google TPU は、「チップレベルの光放出、全光直接」に移行する可能性があります。つまり、光エンジンが TPU 基板上にパッケージ化され、高密度バックプレーン OCS (320×320+) に直接光を出力します。

ムーア以降の AGI 時代: ユニバーサル Ethernet/InfiniBand が勝利するのか、それともフォトニクスを活用した Google の垂直統合型「ウォールド ガーデン」が勝利するのか?

Google の TPU ネットワークの進化において、特に興味深い点は何でしょうか？レイテンシの短縮を実現するツイストトーラス、OCS サプライチェーンの成熟、あるいは CPO への移行の可能性などでしょうか？NVIDIA の NVLink オプティカルなどの競合製品と比較して、この技術の将来性についてどのようにお考えですか？ぜひご意見をお聞かせください。