AI サーバー: インターフェース相互接続チップ技術

TrendForce のデータによると、AI サーバーの出荷台数は約 130,000 台で、世界のサーバー出荷台数の約 1% を占めています。 2023 年に向けて、Microsoft、Meta、Baidu、ByteDance は生成 AI に基づく製品やサービスを次々と投入し、積極的に受注を増やしています。 2023 年の AI サーバー出荷の年間成長率は 15.4% に達すると推定されており、AI サーバーに対する ChatGPT の将来的な需要により、AI サーバーは 12.2 年から 2023 年にかけて年平均 2027% で成長すると予想されています。 。

DGX H100 は 2022 年に発売され、NVIDIA の DGX システムの最新バージョンであり、NVIDIA DGX SuperPOD の基盤でもあります。DXG サーバーは 8 つの H100 GPU と 640 億個のトランジスタを搭載し、新しい FP6 精度で前世代よりも 8 倍高い AI パフォーマンスを提供し、900GB/秒の帯域幅を提供します。

出典：NVIDIA

DGX H100 サーバー内部の青いブロックは IP ネットワーク カードで、ネットワーク カードとして機能するほか、PCIe スイッチ拡張の役割も果たし、CPU と GPU (H100) の間のブリッジになります。内部的には PCle 5.0 標準を使用します。さらに、CX7 はサーバーに接続するネットワーク カード チップの形で 2 枚のカードに構成されており、各カードは 4 つの CX7 チップで構成され、2 つの 800G OSFP 光モジュール ポートを出力します。

GPU (H100) 間の相互接続は、主に NV スイッチ チップによって実現されます。 DGXH100 の各 GPU は、リンクあたり 18 GB/秒の双方向帯域幅で 50 個の NVLink を外側に拡張し、合計 18*50GB/秒=900GB/秒の双方向帯域幅になります。これは 4 つのオンボード NV スイッチに分割されるため、各 NV スイッチは以下に対応します。 4 ～ 5 個の OSFP 光モジュール（合計 18 個）。それぞれ OSFP光モジュール 8 つの光チャネルを使用し、チャネルごとの伝送速度が 100 Gbps であるため、合計速度は 800Gbps、高速データ転送が可能になります。

CPU、GPUなどのコンポーネントの相互接続: PCIEスイッチ、リタイマーチップ

PCIe スイッチまたは PCIe ハブとも呼ばれる PCIe スイッチは、主に PCIe デバイスを相互接続するために使用され、PCIe スイッチ チップとそのデバイスの通信プロトコルは PCIe です。 PCIe リンク通信はエンドツーエンドのデータ伝送の一種であるため、PCIe チャネル数が不十分であるという問題を解決するには、より多くのデバイスが PCle ポートに接続できるように、スイッチは拡張機能または集約機能を提供する必要があります。現在、PCIe スイッチは従来のストレージ システムで広く使用されているだけでなく、データ転送速度を向上させるために一部のサーバー プラットフォームでも徐々に普及しています。

PCIeバス技術のアップグレード、PCIeスイッチの速度は世代ごとに向上。PCIeバスは、PCIバスの高速シリアル代替品です。2001年、IntelはPCIバスに代わる第3世代のI/O技術「2002GIO」を発表しました。2003年、この技術はPCI Special Interest Group（PCI-SIG）による審査を経て正式に「PCI Express」に改名され、PCIeが誕生しました。1.0年、PCIe 250が正式にリリースされ、チャネルあたり2.5MB/秒の伝送速度と合計2007GT/秒の伝送速度をサポートしました。2.0年、PCI-SIGはPCI Express Base 1.0仕様の発表を発表しました。PCIe 5に基づいて、合計伝送速度は250GT/秒に倍増し、チャネルあたりの伝送速度は500MB/秒から2022MB/秒に向上しました。 6.0 年、PCI-SIG は PCIe 64 仕様を正式にリリースし、総帯域幅を XNUMX GT/s に増加しました。

出典：ウィキペディア

PCIe のサーバーへの応用が進むにつれて、PCIe スイッチの市場需要も高まっています。 QYResearchの統計と予測によると、世界のPCIeチップ市場の売上高は790年に2021億1.8万米ドルに達し、2028年には11.9億米ドルに達し、年平均成長率(CAGR)はXNUMX%になると予想されています。

出典: Asmedia、BroadCom、Microchip

中国は PCIe スイッチの最大の市場です。サーバーでの大規模なデータの保存と送信の需要が高まるにつれ、ビッグデータ、クラウド コンピューティング、人工知能などの分野で大規模なデータ送信を実現するために、多数の高速インターコネクト ソリューションが必要になります。ソリューションとして、PCIe スイッチは中国市場で大きな需要があります。

AI サーバーでは、GPU と CPU が接続されているときに信号品質を確保するために、少なくとも XNUMX つの Retimer チップが必要です。具体的には、AI アクセラレータで XNUMX つの Retimer チップを構成する Astera Labs など、多くの AI サーバーは複数の Retimer チップを構成します。

出典: アステラ研究所

PCIe Retimer は、大手メーカー 4.0 社と多くの潜在的な競合企業が存在するブルー オーシャン市場です。現在、Parade Technologies、Astera Labs、Montage Technology が PCIe Retimer ブルー オーシャン市場の 5.0 つの主要ベンダーとなり、支配的な地位を占めています。その中で、Montage Technology は早くから PCIe を導入しており、PCIe XNUMX リタイマーを量産できる唯一の中国本土のサプライヤーであり、PCIe XNUMX リタイマーの開発は順調に進んでいます。

出典: Montage Technology、Astera Labs、Parade Technologies

さらに、ルネサス、TI、マイクロチップテクノロジーなどのチップメーカーもPCIeリタイマーの製品開発に積極的に取り組んでいます。公式サイトの情報によると、ルネサスは3.0HT89APと0816HT89Pという0832つのPCIe 16リタイマー製品を提供でき、TIは8Gbps 4.0チャネルPCIe 160リタイマーであるDS801PT2020を提供できます。同様に、マイクロチップテクノロジーは5.0年32月にPCIe XNUMXのXNUMXGT/sレートをサポートできるXpressConnectシリーズのリタイマーチップをリリースしました。

GPU-GPU接続: NVLink、NVSwitch

世界のチップメーカーは高速インターフェースの関連技術に注目している。 NVIDIA の NVLink に加えて、AMD の Infinity Fabric と Intel の CXL (Compute Express Link) もサーバー内の高速相互接続のソリューションを提供します。

継続的に更新される NVlink は、高速相互接続テクノロジーに革命を引き起こしました。 NVLink は、NVIDIA が開発した高速相互接続テクノロジーで、CPU と GPU、GPU と GPU 間のデータ転送速度を高速化し、システム パフォーマンスを向上させることを目的としています。 2016 年から 2022 年にかけて、NVLink は第 2016 世代まで繰り返されました。 100 年、NVIDIA は、Pascal GP40 GPU に搭載された新しい高速インターフェイス チップ NVLink をリリースしました。これは NVLink の第 160 世代です。 NVLink は高速シグナリング インターコネクト (NVHS) テクノロジーを使用しており、主に GPU と GPU、GPU と CPU 間の信号伝送に使用されます。 GPU は、差動インピーダンス電気信号を NRZ (Non-Return-to-Zero) エンコード形式で送信します。第 XNUMX 世代の NVLink シングル リンクは XNUMX GB/秒の双方向帯域幅を実現でき、単一チップで XNUMX つのリンク、つまり合計 XNUMX GB/秒の双方向帯域幅をサポートできます。

出典：NVIDIA

NVLinkテクノロジー は何度かの反復と更新を経て、高速相互接続技術に革新の波を引き起こしました。 2017 年に、Volta アーキテクチャに基づく第 50 世代の NVLink がリリースされました。これは、リンクあたり 300 GB/秒の双方向帯域幅を達成でき、チップあたり 2020 つのリンク、つまり合計 50 GB/秒の双方向帯域幅をサポートします。 12 年に、Ampere アーキテクチャに基づく第 600 世代の NVLink がリリースされました。これは、リンクあたり 2022 GB/秒の双方向帯域幅を達成でき、チップあたり 4 リンク、つまり合計 50 GB/秒の双方向帯域幅をサポートします。 18 年に、ホッパー アーキテクチャに基づいた NVLink の第 900 世代がリリースされました。これは、送信信号を PAMXNUMX 変調電気信号に変更し、リンクあたり XNUMX GB/秒の双方向帯域幅を達成でき、チップあたり XNUMX リンクをサポートします。合計双方向帯域幅 XNUMX GB/秒。

2018 年、NVDIA は第 12 世代の NVSwitch をリリースしました。これは、帯域幅を改善し、遅延を削減し、サーバー内の複数の GPU 間の通信を可能にするソリューションを提供しました。第 18 世代の NVSwitch は、TSMC の 2.0nm FinFET プロセスを使用して製造され、16 個の NVLink 100 インターフェイスを備えていました。サーバーは 12 個の NVSwitch を通じて XNUMX 個の VXNUMX GPU をサポートし、NVLink による最高の相互接続速度を実現します。

出典：NVIDIA

現在、NVSwitch は第 4 世代まで繰り返されています。第 64 世代の NVSwitch は TSMC の 4.0N プロセスを使用して構築されており、各 NVSwitch チップには 900 個の NVLink XNUMX ポートがあります。 GPU 間の通信速度は XNUMXGB/秒に達し、NVLink スイッチで接続されたこれらの GPU は、ディープラーニング機能を備えた単一の高性能アクセラレータとして使用できます。

CPU と DRAM 間の高速相互接続により、メモリ インターフェイス チップの需要が高まります。

サーバー メモリ モジュールの主なタイプは RDIMM と LRDIMM で、他のタイプのメモリ モジュールよりも安定性、エラー訂正、低消費電力に対する高い要件があります。メモリ インターフェイス チップは、サーバー メモリ モジュールのコア ロジック デバイスであり、サーバー CPU がメモリ データにアクセスするために必要なパスです。その主な機能は、メモリ データ アクセスの速度と安定性を向上させ、メモリ モジュールに対するサーバー CPU の高性能化と大容量化のニーズに応えることです。

出典：CSDN

メモリ インターフェイス チップの速度は、DDR4 から DDR5 へと増加し続けています。 2016 年以降、DDR4 はメモリ市場の主流のテクノロジーになりました。より高速な伝送速度を実現し、より大きなメモリ容量をサポートするために、JEDEC 組織は DDR4 メモリ インターフェイス チップの技術仕様をさらに更新し、改善しました。 DDR4 世代では、Gen1.0、Gen1.5、Gen2.0 から Gen2plus まで、各サブ世代のメモリ インターフェイス チップがサポートする最高伝送​​速度が向上し続けており、DDR4 の最後のサブ世代製品は、 Gen2plus、最大3200MT/sの伝送をサポートします。 JEDEC 組織が DDR5 メモリ インターフェイス製品の仕様定義を改善し続けるにつれて、DDR5 メモリ テクノロジが徐々に DDR4 メモリ テクノロジに取って代わりつつあります。

現在、DDR5 メモリ インターフェイス チップは、サポート レートがそれぞれ 4800MT/s、5600MT/s、6400MT/s の 1 つのサブ世代を計画しています。業界は、将来さらに 2 ～ XNUMX 世代のサブ世代が登場する可能性があると予想しています。

メモリインタフェースチップは、その機能に応じてレジスタバッファ(RCD)とデータバッファ(DB)のXNUMX種類に分けられます。 RCD はメモリ コントローラからのアドレス、コマンド、および制御信号をバッファするために使用され、DB はメモリ コントローラまたはメモリ グラニュールからのデータ信号をバッファするために使用されます。

出典: モンタージュテクノロジー

DDR5 メモリ モジュールのアップグレードは、メモリ インターフェイス チップとモジュールをサポートするチップに新たな機会をもたらします。 2016年の世界のメモリインターフェースチップ市場規模は約280億570万米ドルでしたが、2018年には約40億5万米ドルに達し、4年間の年率成長率は5%でした。 DDR5 のアップグレードにより、メモリ インターフェイス チップの市場規模は新たなレベルに引き上げられます。 DDR4 と比較して、DDR5 はサポート率が高く、設計がより複雑であるため、DDR5 メモリ インターフェイス チップの最初のサブ世代の開始価格は、DDRXNUMX メモリ インターフェイス チップよりも高くなっています。同時に、サーバーやPCにおけるDDRXNUMXメモリの普及率が徐々に高まるにつれ、DDRXNUMX関連のメモリインターフェイスチップの市場規模は急速な成長を遂げると予想されています。

メモリインターフェースチップ業界の壁は高く、三股パターンが形成されている。メモリインターフェースチップは技術集約型産業であり、CPU、メモリ、OEMメーカーによるあらゆる面での厳密な検証を経て初めて大規模に使用できるため、新規参入が難しい。技術的な難しさの増大に伴い、メモリ インターフェイス チップ プレーヤーの数は、DDR10 世代では 2 個以上ありましたが、DDR3 世代ではわずか 4 個に減少しました。業界は淘汰され、二人三脚のパターンが形成された。 DDR5 世代では、DDR5 の最初のサブ世代の量産製品を提供できるサプライヤーは世界で XNUMX 社だけです。つまり、Montage Technology、Renesas Electronics (IDT)、および Rambus です。