DPU技術開発

クラウドコンピューティングや仮想化技術の発展に伴い、ネットワークカードも進化しており、機能やハードウェア構成の観点からXNUMX段階に分けられます。

従来のベーシックネットワークカード（NIC）

少ないハードウェアでデータ パケットの送受信を担当します offローディング機能。ハードウェアは、ASIC ハードウェア ロジックを使用してネットワーク物理リンク層と MAC 層のパケット処理を実装し、その後の NIC 標準カードでは CRC チェックなどの機能もサポートされました。プログラミング機能はありません。

スマートネットワークカード（SmartNIC）

特定のデータプレーンハードウェアを備えています offOVS/vRouter ハードウェアなどのロード機能 offロード中。ハードウェア構造は、FPGA または FPGA とプロセッサ コアを備えた統合プロセッサ (ここではプロセッサ機能は弱い) を使用して、データ プレーン ハードウェアを実現します。 off読み込み中。

FPGAベースのDPU

データプレーンとコントロールプレーンの両方をサポートするスマートネットワークカードです。 offロードに加えて、コントロール プレーンとデータ プレーンに対するある程度のプログラム可能性も備えています。ハードウェア構成の開発に関しては、Intel CPUなどのFPGAベースの汎用CPUプロセッサを追加します。

シングルチップ DPU

これは、豊富なハードウェアを備えたシングルチップの汎用プログラマブル DPU チップです。 offロードの高速化とプログラマビリティ機能を備え、さまざまなクラウド コンピューティング シナリオと統合リソース管理機能をサポートします。ハードウェア面ではシングルチップSoC形式を採用し、性能と消費電力のバランスをとりました。ハードウェア設計における FPGA ベースの DPU の主な課題は、チップ面積と消費電力にあります。面積に関しては、PCIe インターフェイスの構造サイズによってボード上のチップ面積が制限されます。消費電力の点では、ボードの放熱設計はチップおよびボード全体の消費電力と密接に関係しています。これら XNUMX つの要因により、FPGA ソリューションの継続的な開発が制限されます。 DPU SoC ソリューションは、NIC から FPGA ベースの DPU までのソフトウェアとハ​​ードウェアの経験と実績を活用しており、DPU を中心としたデータセンター アーキテクチャの重要な進化の道筋です。

DPUはソフトウェアデファインドチップの代表格であり、「ソフトウェアデファインド、ハードウェアアクセラレーション」の概念に基づき、中核となるデータ処理をチップ上に集積した汎用プロセッサです。 DPUの汎用プロセッシングユニットでコントロールプレーン業務を処理し、専用プロセッシングユニットでデータプレーンの処理性能を確保することで、性能と汎用性のバランスを実現しています。 DPU 専用プロセッシング ユニットは一般的なインフラストラクチャ仮想化のパフォーマンス ボトルネックを解決するために使用され、汎用プロセッシング ユニットは DPU の汎用性を確保することで、DPU をクラウド インフラストラクチャのさまざまなシナリオに幅広く適用できるようにし、仮想化ソフトウェア フレームワークのスムーズな移行を実現します。 DPUに。

NICの開発と応用

従来の基本的なネットワーク カード NIC (ネットワーク アダプタとも呼ばれる) は、コンピュータ ネットワーク システムにおける最も基本的かつ重要な接続デバイスです。その主な機能は、送信する必要があるデータをネットワーク デバイスが認識できる形式に変換することです。ネットワーク技術の発展により、従来の基本的なネットワーク カードもより多くの機能を備え、当初はいくつかの単純なハードウェアを備えていました。 offロード機能 (CRC チェック、TSO/UF0、LSO/LR0、VLAN など)、SR-IOV およびトラフィック管理 QoS のサポート。従来の基本的なネットワーク カードのネットワーク インターフェイス帯域幅も、当初の 100M、1000M から 10G、25G、さらには 100G へと発展しました。

クラウド コンピューティング仮想化ネットワークでは、従来の基本ネットワーク カードは、主に XNUMX つの方法で仮想マシンへのネットワーク アクセスを提供します。

(1) ネットワーク カードはトラフィックを受信し、オペレーティング システムのカーネル プロトコル スタックを通じて仮想マシンに転送します。

(2) DPDK ユーザー モード ドライバーがネットワーク カードを引き継ぎ、データ パケットがオペレーティング システムのカーネル プロトコル スタックをバイパスして、仮想マシンのメモリに直接コピーできるようにします。

(3) SR-IOV テクノロジーを使用して、物理ネットワーク カード PF をネットワーク カード機能を備えた複数の仮想 VF に仮想化し、VF を仮想マシンに直接渡します。

VxLAN などのトンネル プロトコルや OpenFlow、0VS などの仮想スイッチング テクノロジにより、ネットワーク処理の複雑さは徐々に増しており、より多くの CPU リソースが必要になります。そこで、SmartNIC が誕生しました。

SmartNICの開発と応用

SmartNICは、従来の基本的なネットワークカードのネットワーク伝送機能に加え、豊富なハードウェアも提供します offロード加速機能。これにより、クラウド コンピューティング ネットワークの転送速度が向上し、ホスト CPU コンピューティング リソースが解放されます。

SmartNIC には汎用プロセッサ CPU が搭載されていないため、コントロール プレーンを管理するにはホスト CPU が必要です。メイン offSmartNIC の読み込み高速化オブジェクトは、データ プレーン ファストパスなどのデータ プレーンです off仮想スイッチ0VS/vRouter、RDMAネットワークのロード offロード中、NVMe-oF ストレージ offロード、および IPsec/TLS データ プレーン セキュリティ off積み込みなど

ただし、クラウド コンピューティング アプリケーションのネットワーク速度は向上し続けているため、ホストは依然としてトラフィックの分類、追跡、制御のために貴重な CPU リソースを大量に消費しています。ホスト CPU の「ゼロ消費」を実現する方法が、クラウド ベンダーの次の研究の方向性になりました。

FPGAベースのDPUの開発と応用

SmartNIC と比較して、FPGA ベースの DPU はハードウェア アーキテクチャに汎用 CPU 処理ユニットを追加し、FPGA+CPU アーキテクチャを形成し、高速化と高速化を促進します。 offネットワーク、ストレージ、セキュリティ、管理などの一般的なインフラストラクチャの負荷。現段階では、DPU の製品形態は主に FPGA+CPU になります。 FPGA + CPU ハードウェア アーキテクチャに基づく DPU は、ソフトウェアおよびハードウェアのプログラマビリティに優れています。

DPU 開発の初期段階では、ほとんどの DPU メーカーがこのスキームを選択しました。このスキームは開発時間が比較的短く、反復が速いため、カスタマイズされた機能の開発を迅速に完了できるため、DPU メーカーが製品を迅速に発売して市場を掌握するのに便利です。しかし、ネットワーク帯域幅が 25G から 100G に移行すると、FPGA+CPU ハードウェア アーキテクチャに基づく DPU はチップ プロセスと FPGA 構造によって制限されるため、より高いスループットを追求する際にチップ面積と消費電力を適切に制御することが困難になります。したがって、この DPU アーキテクチャの継続的な開発が制限されます。

DPU SoC NIC の開発と応用

DPU SoC は、ASIC をベースとしたハードウェア アーキテクチャであり、ASIC と CPU の利点を組み合わせ、専用アクセラレータの優れたパフォーマンスと汎用プロセッサのプログラム可能な柔軟性のバランスをとります。これは、クラウド コンピューティング テクノロジーの開発を推進するシングルチップ DPU テクノロジー ソリューションです。

前の段落で述べたように、DPU はクラウド コンピューティングにおいて重要な役割を果たしますが、従来の DPU ソリューションは主に FPGA ベースのスキームで提供されます。 25G サーバーから次世代 100G サーバーへのサーバーの移行に伴い、コスト、消費電力、機能などが深刻な課題に直面しています。シングルチップ DPU SoC は、コストと消費電力の面で大きな利点があるだけでなく、高いスループットと柔軟なプログラミング機能も備えています。アプリケーションの管理と仮想マシンとコンテナの展開だけでなく、ベアメタル アプリケーションもサポートします。

DPU テクノロジーの継続的な開発により、汎用プログラマブル DPU SoC は、クラウド ベンダーのデータセンター構築における重要なコンポーネントになりつつあります。 DPU SoC は、データセンター内のコンピューティング リソースとネットワーク リソースの経済的かつ効率的な管理を実現します。豊富な機能とプログラム可能な機能を備えた DPU SoC は、さまざまなクラウド コンピューティング シナリオと統合リソース管理をサポートし、データ センター コンピューティング リソースの利用を最適化できます。

DPU の設計、開発、使用において、国内外のチップ大手と大手クラウド サービス プロバイダーは多くの研究開発リソースを投資し、継続的な探求と実践を通じて優れた費用対効果を実現しています。

AWS (Amazon クラウド) の DPU

AWS は、世界をリードするクラウド コンピューティング サービスおよびソリューション プロバイダーです。 AWS Nitro DPU システムは、AWS クラウド サービスの技術的基盤となっています。 AWS は Nitro DPU システムを使用して、ネットワーク、ストレージ、セキュリティ、監視機能を分解して専用のハードウェアとソフトウェアに転送し、サーバー上のほぼすべてのリソースをサービス インスタンスに提供することでコストを大幅に削減します。 Amazon Cloud に Nitro DPU を適用すると、サーバーの年間収益が数千ドル増加します。 Nitro DPU システムは主に次の部分で構成されます。

(1) ニトロカード。システム全体のパフォーマンスを向上させる、ネットワーク、ストレージ、制御用の一連の専用ハードウェア。

(2) Nitro セキュリティチップ。仮想化とセキュリティ機能を専用のハードウェアとソフトウェアに移管し、攻撃対象領域を削減し、安全なクラウド プラットフォームを実現します。

(3) ニトロハイパーバイザー。メモリと CPU の割り当てを管理し、ベアメタルと区別できないパフォーマンスを提供できる軽量のハイパーバイザー管理プログラム。

Nitro DPU システムは、キー、ネットワーク、セキュリティ、サーバー、モニタリング機能を提供し、顧客の仮想マシンの基盤となるサービス リソースを解放し、AWS がより多くのベアメタル インスタンス タイプを提供できるようにし、特定のインスタンスのネットワーク パフォーマンスを向上させることもできます。 100Gbps.

NVIDIA DPU

NVIDIA は、AI およびハイ パフォーマンス コンピューティング (HPC) 分野で広く使用されているグラフィックス プロセッシング ユニット (GPU) を主に設計および販売する半導体会社です。 2020 年 6.9 月、NVIDIA はネットワーク チップおよびデバイス企業である Mellanox を XNUMX 億ドルで買収し、BlueField シリーズの DPU を発売しました。

NVIDIA BlueField-3 DPU (図 7 を参照) は、BlueField-2 DPU の高度な機能を継承しており、AI およびアクセラレーション コンピューティング用に設計された最初の DPU です。 BlueField-3 DPU は、最大で次のことを実現します。 400Gbpsネットワーク 接続と缶 offロード、加速、分離を行い、ソフトウェア デファインド ネットワーク、ストレージ、セキュリティ、管理機能をサポートします。

インテルIPU

Intel IPU は、強化されたアクセラレータとイーサネット接続を備えた高度なネットワーク デバイスであり、密結合された専用のプログラマブル コアを使用してインフラストラクチャ機能を高速化および管理できます。 IPU は完全なインフラストラクチャを提供します off負荷を軽減し、インフラストラクチャ アプリケーションを実行するためのホスト コントロール ポイントとして機能し、追加のセキュリティ層を提供します。 Intel IPU を使用すると、すべてのインフラストラクチャ サービスを利用できます。 offサーバーから IPU にロードされるため、サーバーの CPU リソースが解放され、クラウド サービス プロバイダーに独立した安全なコントロール ポイントが提供されます。

2021 年、インテルはインテル アーキテクチャー デイでオーク スプリングス キャニオンおよびマウント エバンスの IPU 製品を発表しました。このうち、Oak Springs Canyon は FPGA ベースの IPU 製品であり、Mount Evans IPU は ASIC ベースの IPU 製品です。

Intel Oak Springs Canyon IPU には、Intel Agilex FPGA と Xeon-D CPU が搭載されています。 Intel Mount Evans IPU は、Intel と Google が共同設計した SoC (System-on-a-Chip) です。 Mount Evans は主に、I0 サブシステムとコンピューティング サブシステムの 16 つの部分に分かれています。ネットワーク部分ではパケット処理に ASIC を使用しており、FPGA よりもはるかに高いパフォーマンスと低い消費電力を実現します。コンピューティング サブシステムは、非常に強力なコンピューティング能力を備えた 1 個の ARM Neoverse NXNUMX コアを使用します。

Alibaba Cloud の DPU

Alibaba Cloud はまた、DPU テクノロジーを常に研究しています。 2022 年の Alibaba Cloud サミットでは、Alibaba Cloud offShenlong アーキテクチャに基づくクラウド インフラストラクチャ プロセッサ CIPU を正式にリリースしました。 CIPU の前身は MoC カード (Micro Server on a Card) であり、機能と位置付けの点で DPU の定義を満たしています。 MoC カードには独立した I0、ストレージ、および処理ユニットがあり、ネットワーク、ストレージ、デバイスの仮想化作業を引き受けます。第 XNUMX 世代と第 XNUMX 世代の MoC カードは、狭義のコンピューティング仮想化ゼロオーバーヘッドの問題を解決し、ソフトウェアは引き続き仮想化のネットワークとストレージ部分を実装します。第 XNUMX 世代 MoC カードは、一部のネットワーク転送機能の強化を実現し、ネットワーク パフォーマンスが大幅に向上しました。第 XNUMX 世代 MoC カードは、フルハードウェアを実現します。 offネットワークとストレージの負荷を軽減し、RDMA 機能もサポートします。

Feitian システム用に設計されたデータセンター プロセッサ システムとして、Alibaba Cloud CIPU は、Alibaba Cloud が新世代の完全なソフトウェアおよびハードウェア クラウド コンピューティング アーキテクチャ システムを構築する上で重要な意味を持ちます。

火山エンジンの DPU

Volcano Engine も自社開発 DPU の道を常に模索しています。自社開発の DPU はソフトとハードの統合仮想化テクノロジーを採用しており、ユーザーに柔軟でスケーラブルなハイパフォーマンス コンピューティング サービスを提供することを目指しています。 Volcano Engine のエラスティック コンピューティング製品では、第 XNUMX 世代エラスティック ベア メタル サーバーと第 XNUMX 世代クラウド サーバーに自社開発の DPU が搭載されており、製品機能とアプリケーション シナリオで広範囲に検証されています。 Volcano Engine の第 XNUMX 世代 EBM インスタンス。 off2022年に正式に商用化され、自社開発のVolcano EngineのDPUを初めて搭載しました。従来の物理マシンの安定性とセキュリティの利点を保持し、安全な物理分離を実現できるだけでなく、仮想マシンの弾力性と柔軟性の利点も備えています。これは、複数の利点を備えた新世代の高性能クラウド サーバーです。 2023 年前半にリリースされた Volcano Engine の第 XNUMX 世代 ECS インスタンスも、Volcano Engine が自社開発した最新の DPU のアーキテクチャと自社開発の仮想スイッチと仮想化テクノロジーを組み合わせており、ネットワークとストレージの IO パフォーマンスが向上しています。大幅に改善されました。