Entwicklung der DPU-Technologie

Mit der Entwicklung von Cloud-Computing- und Virtualisierungstechnologien haben sich auch Netzwerkkarten weiterentwickelt und lassen sich hinsichtlich Funktionalität und Hardwarestruktur in vier Stufen einteilen.

Herkömmliche Basisnetzwerkkarte (NIC)

Verantwortlich für die Übertragung und den Empfang von Datenpaketen, mit weniger Hardware offLademöglichkeiten. Die Hardware implementiert die Netzwerk-Physical-Link-Layer- und MAC-Layer-Paketverarbeitung mit ASIC-Hardwarelogik, und spätere NIC-Standardkarten unterstützten auch Funktionen wie CRC-Prüfung. Es verfügt nicht über Programmierfunktionen.

Intelligente Netzwerkkarte (SmartNIC)

Es verfügt über eine bestimmte Datenebenen-Hardware offLadefähigkeit, z. B. OVS/vRouter-Hardware offWird geladen. Die Hardwarestruktur verwendet FPGA oder einen integrierten Prozessor mit FPGA und Prozessorkern (hier ist die Prozessorfunktion schwach), um Hardware auf Datenebene zu erreichen offWird geladen.

FPGA-basierte DPU

Dabei handelt es sich um eine intelligente Netzwerkkarte, die sowohl die Datenebene als auch die Steuerungsebene unterstützt offLaden sowie ein gewisses Maß an Programmierbarkeit für die Steuerungs- und Datenebene. In Bezug auf die Entwicklung der Hardwarestruktur wird ein Allzweck-CPU-Prozessor auf Basis von FPGA hinzugefügt, beispielsweise eine Intel-CPU.

Single-Chip-DPU

Dies ist ein programmierbarer Allzweck-DPU-Chip mit einem Chip und umfangreicher Hardware offLadebeschleunigung und Programmierbarkeit und unterstützt verschiedene Cloud-Computing-Szenarien sowie einheitliche Ressourcenverwaltungsfunktionen. Auf der Hardwareseite verwendet es eine Single-Chip-SoC-Form, die Leistung und Stromverbrauch in Einklang bringt. Die größten Herausforderungen FPGA-basierter DPUs beim Hardwaredesign ergeben sich aus der Chipfläche und dem Stromverbrauch. Flächenmäßig begrenzt die Strukturgröße der PCIe-Schnittstelle die Chipfläche auf der Platine; In Bezug auf den Stromverbrauch hängt das Wärmeableitungsdesign der Platine eng mit dem Stromverbrauch des Chips und der gesamten Platine zusammen. Diese beiden Faktoren schränken die kontinuierliche Weiterentwicklung von FPGA-Lösungen ein. Die DPU-SoC-Lösung basiert auf den Software- und Hardware-Erfahrungen und Errungenschaften von NIC bis hin zu FPGA-basierten DPUs und ist ein wichtiger Entwicklungspfad für die auf DPU zentrierte Rechenzentrumsarchitektur.

DPU als typischer Vertreter softwaredefinierter Chips basiert auf dem Konzept „softwaredefiniert, hardwarebeschleunigt“ und ist ein Allzweckprozessor, der die Datenverarbeitung als Kernfunktion auf dem Chip integriert. Die DPU-Allzweck-Verarbeitungseinheit wird zur Abwicklung des Steuerebenengeschäfts verwendet, und die dedizierte Verarbeitungseinheit stellt die Verarbeitungsleistung der Datenebene sicher und sorgt so für ein Gleichgewicht zwischen Leistung und Allgemeingültigkeit. Die dedizierte DPU-Verarbeitungseinheit wird verwendet, um den Leistungsengpass der allgemeinen Infrastrukturvirtualisierung zu lösen, und die Allzweckverarbeitungseinheit stellt die Allgemeingültigkeit der DPU sicher, wodurch die DPU in verschiedenen Szenarien der Cloud-Infrastruktur umfassend anwendbar ist und eine reibungslose Migration des Virtualisierungssoftware-Frameworks realisiert wird zur DPU.

Die Entwicklung und Anwendung von NIC

Die herkömmliche Netzwerkkarten-NIC, auch Netzwerkadapter genannt, ist das grundlegendste und wichtigste Verbindungsgerät im Computernetzwerksystem. Seine Hauptfunktion besteht darin, die zu übertragenden Daten in ein Format umzuwandeln, das das Netzwerkgerät erkennen kann. Aufgrund der Entwicklung der Netzwerktechnologie verfügt die traditionelle Basis-Netzwerkkarte auch über mehr Funktionen und verfügt zunächst über einige einfache Hardware offLadefunktionen (wie CRC-Prüfung, TSO/UF0, LSO/LR0, VLAN usw.), Unterstützung von SR-IOV und Verkehrsmanagement-QoS. Die Netzwerkschnittstellenbandbreite der herkömmlichen Basisnetzwerkkarte hat sich ebenfalls von ursprünglich 100 M, 1000 M auf 10 G, 25 G und sogar 100 G entwickelt.

Im Cloud-Computing-Virtualisierungsnetzwerk bietet die herkömmliche Basisnetzwerkkarte im Wesentlichen drei Möglichkeiten für den Netzwerkzugriff auf die virtuelle Maschine.

(1) Die Netzwerkkarte empfängt den Datenverkehr und leitet ihn über den Kernel-Protokollstapel des Betriebssystems an die virtuelle Maschine weiter.

(2) Der DPDK-Benutzermodustreiber übernimmt die Netzwerkkarte und ermöglicht es den Datenpaketen, den Kernel-Protokollstapel des Betriebssystems zu umgehen und direkt in den Speicher der virtuellen Maschine zu kopieren.

(3) Mithilfe der SR-IOV-Technologie wird der physische Netzwerkkarten-PF in mehrere virtuelle VFs mit Netzwerkkartenfunktionen virtualisiert und der VF dann direkt an die virtuelle Maschine übergeben.

Mit Tunnelprotokollen wie VxLAN und virtuellen Switching-Technologien wie OpenFlow, 0VS usw. nimmt die Komplexität der Netzwerkverarbeitung allmählich zu und es werden mehr CPU-Ressourcen benötigt. Daher wurde die SmartNIC geboren.

Die Entwicklung und Anwendung von SmartNIC

SmartNIC verfügt nicht nur über die Netzwerkübertragungsfunktion der herkömmlichen Basisnetzwerkkarte, sondern bietet auch umfangreiche Hardware offLadebeschleunigungsfunktionen, die die Weiterleitungsrate des Cloud-Computing-Netzwerks verbessern und die Rechenressourcen der Host-CPU freigeben können.

SmartNIC verfügt nicht über eine Allzweck-Prozessor-CPU und benötigt die Host-CPU zur Verwaltung der Steuerungsebene. Das Wichtigste offDas Ladebeschleunigungsobjekt von SmartNIC ist die Datenebene, z. B. die Datenebene Fastpath offLaden virtueller Switches 0VS/vRouter, RDMA-Netzwerk offLaden, NVMe-oF-Speicher offLaden und IPsec/TLS-Datenebenensicherheit offLaden usw.

Da jedoch die Netzwerkgeschwindigkeit in Cloud-Computing-Anwendungen immer weiter zunimmt, verbraucht der Host immer noch viele wertvolle CPU-Ressourcen, um den Datenverkehr zu klassifizieren, zu verfolgen und zu kontrollieren. Wie man einen „Nullverbrauch“ der Host-CPU erreicht, ist für Cloud-Anbieter die nächste Forschungsrichtung.

Die Entwicklung und Anwendung von FPGA-basierten DPUs

Im Vergleich zu SmartNIC fügt die FPGA-basierte DPU der Hardwarearchitektur eine Allzweck-CPU-Verarbeitungseinheit hinzu und bildet eine FPGA+CPU-Architektur, die die Beschleunigung und erleichtert offBelastung der allgemeinen Infrastruktur wie Netzwerk, Speicher, Sicherheit und Verwaltung. Zu diesem Zeitpunkt besteht die Produktform der DPU hauptsächlich aus FPGA + CPU. Die auf der FPGA+CPU-Hardwarearchitektur basierende DPU verfügt über eine gute Software- und Hardware-Programmierbarkeit.

In der frühen Phase der DPU-Entwicklung entschieden sich die meisten DPU-Hersteller für dieses Schema. Dieses Schema hat eine relativ kurze Entwicklungszeit und eine schnelle Iteration und kann die Entwicklung individueller Funktionen schnell abschließen, was für DPU-Hersteller praktisch ist, um Produkte schnell auf den Markt zu bringen und den Markt zu erobern. Bei der Migration der Netzwerkbandbreite von 25G auf 100G ist die auf der FPGA+CPU-Hardwarearchitektur basierende DPU jedoch durch den Chipprozess und die FPGA-Struktur begrenzt, was es schwierig macht, eine gute Kontrolle über die Chipfläche und den Stromverbrauch zu erreichen, wenn ein höherer Durchsatz angestrebt wird , was die kontinuierliche Weiterentwicklung dieser DPU-Architektur einschränkt.

Die Entwicklung und Anwendung von DPU SoC NIC

DPU SoC ist eine auf ASIC basierende Hardwarearchitektur, die die Vorteile von ASIC und CPU kombiniert und die hervorragende Leistung dedizierter Beschleuniger mit der programmierbaren Flexibilität von Allzweckprozessoren in Einklang bringt. Es handelt sich um eine Single-Chip-DPU-Technologielösung, die die Entwicklung der Cloud-Computing-Technologie vorantreibt.

Wie im vorherigen Absatz erwähnt, spielt DPU zwar eine wichtige Rolle im Cloud Computing, herkömmliche DPU-Lösungen werden jedoch meist in FPGA-basierten Schemata dargestellt. Mit der Servermigration von 25G auf den 100G-Server der nächsten Generation stehen Kosten, Stromverbrauch, Funktionalität und andere Aspekte vor ernsthaften Herausforderungen. Der Single-Chip-DPU-SoC bietet nicht nur enorme Vorteile bei Kosten und Stromverbrauch, sondern verfügt auch über einen hohen Durchsatz und flexible Programmierfunktionen. Es unterstützt nicht nur das Anwendungsmanagement und die Bereitstellung virtueller Maschinen und Container, sondern auch Bare-Metal-Anwendungen.

Mit der kontinuierlichen Weiterentwicklung der DPU-Technologie wird der universell einsetzbare programmierbare DPU-SoC zu einer Schlüsselkomponente beim Aufbau von Rechenzentren für Cloud-Anbieter. DPU SoC kann eine wirtschaftliche und effiziente Verwaltung von Rechenressourcen und Netzwerkressourcen im Rechenzentrum erreichen. Der DPU-SoC mit umfangreichen Funktionen und programmierbaren Fähigkeiten kann verschiedene Cloud-Computing-Szenarien und ein einheitliches Ressourcenmanagement unterstützen und die Nutzung der Rechenressourcen des Rechenzentrums optimieren.

In Design, Entwicklung und Einsatz von DPU haben Chip-Giganten und führende Cloud-Service-Anbieter im In- und Ausland viele Forschungs- und Entwicklungsressourcen investiert und durch kontinuierliche Erforschung und Praxis eine gute Kosteneffizienz erreicht.

DPU in AWS (Amazon Cloud)

AWS ist der weltweit führende Anbieter von Cloud-Computing-Diensten und -Lösungen. Das AWS Nitro DPU-System ist zum technischen Eckpfeiler des AWS-Cloud-Service geworden. AWS verwendet das Nitro DPU-System, um Netzwerk-, Speicher-, Sicherheits- und Überwachungsfunktionen zu zerlegen und auf dedizierte Hardware und Software zu übertragen, und stellt nahezu alle Ressourcen auf dem Server für Serviceinstanzen bereit, wodurch die Kosten erheblich gesenkt werden. Durch die Anwendung von Nitro DPU in der Amazon Cloud kann ein Server Tausende von Dollar mehr pro Jahr verdienen. Das Nitro DPU-System besteht hauptsächlich aus den folgenden Teilen.

(1) Nitro-Karte. Eine Reihe dedizierter Hardware für Netzwerk, Speicherung und Steuerung zur Verbesserung der Gesamtsystemleistung.

(2) Nitro-Sicherheitschip. Übertragen Sie Virtualisierungs- und Sicherheitsfunktionen auf dedizierte Hardware und Software, reduzieren Sie die Angriffsfläche und schaffen Sie eine sichere Cloud-Plattform.

(3) Nitro-Hypervisor. Ein leichtgewichtiges Hypervisor-Verwaltungsprogramm, das die Speicher- und CPU-Zuweisung verwalten kann und eine Leistung bietet, die von Bare-Metal nicht zu unterscheiden ist.

Das Nitro DPU-System bietet Schlüssel-, Netzwerk-, Sicherheits-, Server- und Überwachungsfunktionen, gibt die zugrunde liegenden Serviceressourcen für die virtuellen Maschinen der Kunden frei und ermöglicht es AWS, mehr Bare-Metal-Instanztypen bereitzustellen und sogar die Netzwerkleistung bestimmter Instanzen zu steigern 100Gbps.

NVIDIA-DPU

NVIDIA ist ein Halbleiterunternehmen, das hauptsächlich Grafikprozessoren (GPUs) entwickelt und verkauft, die häufig in den Bereichen KI und Hochleistungsrechnen (HPC) eingesetzt werden. Im April 2020 erwarb NVIDIA Mellanox, ein Unternehmen für Netzwerkchips und -geräte, für 6.9 Milliarden US-Dollar und brachte anschließend die BlueField-DPU-Serie auf den Markt.

NVIDIA BlueField-3 DPU (wie in Abbildung 7 dargestellt) übernimmt die erweiterten Funktionen von BlueField-2 DPU und ist die erste DPU, die für KI und beschleunigtes Computing entwickelt wurde. BlueField-3 DPU bietet bis zu 400-Gbit/s-Netzwerk Verbindung und kann offLaden, beschleunigen und isolieren und unterstützt softwaredefinierte Netzwerk-, Speicher-, Sicherheits- und Verwaltungsfunktionen.

Intel IPU

Intel IPU ist ein fortschrittliches Netzwerkgerät mit robusten Beschleunigern und Ethernet-Verbindungen, das eng gekoppelte dedizierte programmierbare Kerne verwenden kann, um Infrastrukturfunktionen zu beschleunigen und zu verwalten. IPU stellt die komplette Infrastruktur bereit offLast und fungiert als Host-Kontrollpunkt für die Ausführung von Infrastrukturanwendungen und bietet so eine zusätzliche Sicherheitsebene. Mit Intel IPU können alle Infrastrukturdienste genutzt werden offvom Server auf die IPU geladen werden, wodurch Server-CPU-Ressourcen frei werden und Cloud-Dienstanbietern außerdem ein unabhängiger und sicherer Kontrollpunkt zur Verfügung gestellt wird.

Im Jahr 2021 kündigte Intel auf dem Intel Architecture Day die IPU-Produkte Oak Springs Canyon und Mount Evans an. Unter ihnen ist Oak Springs Canyon ein FPGA-basiertes IPU-Produkt und Mount Evans IPU ist ein ASIC-basiertes IPU-Produkt.

Die Intel Oak Springs Canyon IPU ist mit Intel Agilex FPGA und Xeon-D CPU ausgestattet. Intel Mount Evans IPU ist ein SoC (System-on-a-Chip), das gemeinsam von Intel und Google entwickelt wurde. Mount Evans ist hauptsächlich in zwei Teile unterteilt: das I0-Subsystem und das Computer-Subsystem. Der Netzwerkteil verwendet ASIC für die Paketverarbeitung, das eine viel höhere Leistung und einen geringeren Stromverbrauch als FPGA aufweist. Das Computersubsystem verwendet 16 ARM Neoverse N1-Kerne, die über extrem starke Rechenkapazitäten verfügen.

DPU in Alibaba Cloud

Alibaba Cloud erforscht außerdem ständig die DPU-Technologie. Auf dem Alibaba Cloud Summit im Jahr 2022: Alibaba Cloud offKürzlich wurde der Cloud-Infrastrukturprozessor CIPU veröffentlicht, der auf der Shenlong-Architektur basiert. Der Vorgänger von CIPU ist die MoC-Karte (Micro Server on a Card), die hinsichtlich Funktion und Positionierung der Definition von DPU entspricht. Die MoC-Karte verfügt über unabhängige I0-, Speicher- und Verarbeitungseinheiten und übernimmt Netzwerk-, Speicher- und Gerätevirtualisierungsarbeiten. Die MoC-Karten der ersten und zweiten Generation lösten den engen Sinn der Computing-Virtualisierung ohne Overhead-Probleme, und die Software implementiert immer noch den Netzwerk- und Speicherteil der Virtualisierung. Die MoC-Karte der dritten Generation realisiert die Absicherung einiger Netzwerkweiterleitungsfunktionen und verbessert die Netzwerkleistung erheblich. Die MoC-Karte der vierten Generation realisiert die vollständige Hardware offLast von Netzwerk und Speicher und unterstützt auch RDMA-Fähigkeit.

Als Rechenzentrumsprozessorsystem, das für das Feitian-System entwickelt wurde, ist Alibaba Cloud CIPU für Alibaba Cloud von großer Bedeutung, um eine neue Generation vollständiger Software- und Hardware-Cloud-Computing-Architektursysteme aufzubauen.

DPU in Volcano Engine

Volcano Engine erforscht auch ständig den Weg der selbst entwickelten DPU. Die selbstentwickelte DPU nutzt eine integrierte Soft- und Hard-Virtualisierungstechnologie mit dem Ziel, Benutzern elastische und skalierbare Hochleistungs-Computing-Dienste bereitzustellen. In den Elastic-Computing-Produkten von Volcano Engine sind der elastische Bare-Metal-Server der zweiten Generation und der Cloud-Server der dritten Generation mit selbst entwickelten DPUs ausgestattet, die in Produktfähigkeiten und Anwendungsszenarien umfassend verifiziert wurden. Die EBM-Instanz der zweiten Generation von Volcano Engine offDas Unternehmen wurde offiziell im Jahr 2022 auf den Markt gebracht und war das erste Unternehmen, das über die selbst entwickelte DPU von Volcano Engine verfügte. Es behält nicht nur die Stabilitäts- und Sicherheitsvorteile herkömmlicher physischer Maschinen bei und kann eine sichere physische Isolation erreichen, sondern verfügt auch über die Elastizitäts- und Flexibilitätsvorteile virtueller Maschinen. Es handelt sich um eine neue Generation leistungsstarker Cloud-Server mit zahlreichen Vorteilen. Die ECS-Instanz der dritten Generation von Volcano Engine, die im ersten Halbjahr 2023 veröffentlicht wurde, kombiniert außerdem die Architektur der selbst entwickelten neuesten DPU von Volcano Engine und der selbst entwickelten virtuellen Switch- und Virtualisierungstechnologie sowie die Netzwerk- und Speicher-IO-Leistung stark verbessert worden.