Développement de la technologie DPU

Avec le développement des technologies de cloud computing et de virtualisation, les cartes réseau ont également évolué et peuvent être divisées en quatre étapes en termes de fonctionnalités et de structure matérielle.

Carte réseau de base traditionnelle (NIC)

Responsable de la transmission et de la réception des paquets de données, avec moins de matériel offcapacités de chargement. Le matériel implémente la couche de liaison physique du réseau et le traitement des paquets de la couche MAC avec la logique matérielle ASIC, et les cartes standard NIC ultérieures ont également pris en charge des fonctions telles que la vérification CRC. Il n'a pas de capacités de programmation.

Carte réseau intelligente (SmartNIC)

Il dispose d'un certain matériel de plan de données offcapacité de chargement, telle que le matériel OVS/vRouter offchargement. La structure matérielle utilise un FPGA ou un processeur intégré avec un FPGA et un cœur de processeur (ici la fonction du processeur est faible) pour réaliser le matériel du plan de données. offchargement.

DPU basé sur FPGA

Il s'agit d'une carte réseau intelligente qui prend en charge à la fois le plan de données et le plan de contrôle. offchargement, ainsi qu'un certain degré de programmabilité pour les plans de contrôle et de données. Concernant le développement de la structure matérielle, il ajoute un processeur CPU à usage général basé sur FPGA, tel que le processeur Intel.

DPU monopuce

Il s'agit d'une puce DPU programmable à usage général, dotée d'un matériel riche. offcapacités d'accélération de chargement et de programmabilité, et prend en charge différents scénarios de cloud computing et fonctionnalités de gestion unifiée des ressources. Côté matériel, il adopte une forme SoC monopuce, équilibrant performances et consommation d’énergie. Les principaux défis du DPU basé sur FPGA dans la conception matérielle proviennent de la surface de la puce et de la consommation d'énergie. En termes de surface, la taille de la structure de l'interface PCIe limite la surface de la puce sur la carte ; en termes de consommation d'énergie, la conception de dissipation thermique de la carte est étroitement liée à la consommation d'énergie de la puce et de l'ensemble de la carte. Ces deux facteurs limitent le développement continu de solutions FPGA. La solution DPU SoC s'appuie sur l'expérience et les réalisations logicielles et matérielles, de la carte réseau au DPU basé sur FPGA, et constitue une voie d'évolution importante pour l'architecture du centre de données centrée sur le DPU.

Le DPU, en tant que représentant typique des puces définies par logiciel, est basé sur le concept de « défini par logiciel et accéléré par le matériel » et est un processeur à usage général qui intègre le traitement des données comme fonction principale de la puce. L'unité de traitement à usage général DPU est utilisée pour gérer les activités du plan de contrôle, et l'unité de traitement dédiée assure les performances de traitement du plan de données, atteignant ainsi un équilibre entre performances et généralité. L'unité de traitement dédiée DPU est utilisée pour résoudre le goulot d'étranglement des performances de la virtualisation générale de l'infrastructure, et l'unité de traitement à usage général garantit la généralité du DPU, rendant le DPU largement applicable à divers scénarios d'infrastructure cloud et réalisant la migration en douceur du cadre logiciel de virtualisation. au DPU.

Le développement et l'application de la carte réseau

La carte réseau de base traditionnelle, également connue sous le nom d'adaptateur réseau, est le périphérique de connexion le plus basique et le plus important du système réseau informatique. Sa fonction principale est de convertir les données à transmettre dans un format reconnaissable par le périphérique réseau. Poussée par le développement de la technologie réseau, la carte réseau de base traditionnelle a également plus de fonctions et possédait initialement du matériel simple offcapacités de chargement (telles que la vérification CRC, TSO/UF0, LSO/LR0, VLAN, etc.), prenant en charge SR-IOV et la QoS de gestion du trafic. La bande passante de l'interface réseau de la carte réseau de base traditionnelle est également passée des 100M, 1000M d'origine à 10G, 25G et même 100G.

Dans le réseau de virtualisation du cloud computing, la carte réseau de base traditionnelle fournit un accès réseau à la machine virtuelle de trois manières principales.

(1) La carte réseau reçoit le trafic et le transmet à la machine virtuelle via la pile de protocoles du noyau du système d'exploitation.

(2) Le pilote en mode utilisateur DPDK prend en charge la carte réseau, permettant aux paquets de données de contourner la pile de protocoles du noyau du système d'exploitation et de les copier directement dans la mémoire de la machine virtuelle.

(3) Grâce à la technologie SR-IOV, la carte réseau physique PF est virtualisée en plusieurs VF virtuels dotés de fonctions de carte réseau, puis le VF est directement transmis à la machine virtuelle.

Avec les protocoles de tunnel tels que VxLAN et les technologies de commutation virtuelle telles que OpenFlow, 0VS, etc., la complexité du traitement réseau augmente progressivement et davantage de ressources CPU sont nécessaires. C’est ainsi que le SmartNIC est né.

Le développement et l'application de SmartNIC

SmartNIC, en plus d'avoir la fonction de transmission réseau de la carte réseau de base traditionnelle, fournit également un matériel riche offcapacités d'accélération de chargement, qui peuvent améliorer le taux de transfert du réseau de cloud computing et libérer les ressources informatiques du processeur hôte.

SmartNIC ne dispose pas de processeur à usage général et a besoin du processeur hôte pour gérer le plan de contrôle. Le principal offL'objet d'accélération de chargement de SmartNIC est le plan de données, tel que le plan de données Fastpath offchargement des switchs virtuels 0VS/vRouter, réseau RDMA offchargement, stockage NVMe-oF offchargement et sécurité du plan de données IPsec/TLS offchargement, etc

Cependant, à mesure que la vitesse du réseau dans les applications de cloud computing continue d'augmenter, l'hôte consomme toujours beaucoup de ressources CPU précieuses pour classer, suivre et contrôler le trafic. Comment atteindre la « consommation nulle » du processeur hôte est devenu la prochaine direction de recherche pour les fournisseurs de cloud.

Le développement et l'application de DPU basés sur FPGA

Par rapport à SmartNIC, le DPU basé sur FPGA ajoute une unité de traitement CPU à usage général à l'architecture matérielle, formant une architecture FPGA+CPU, qui facilite l'accélération et offchargement de l'infrastructure générale telle que le réseau, le stockage, la sécurité et la gestion. À ce stade, la forme du produit DPU est principalement FPGA+CPU. Le DPU basé sur l'architecture matérielle FPGA+CPU a une bonne programmabilité logicielle et matérielle.

Au début du développement des DPU, la plupart des fabricants de DPU ont choisi ce schéma. Ce schéma a un temps de développement relativement court et une itération rapide, et peut rapidement réaliser le développement de fonctions personnalisées, ce qui permet aux fabricants de DPU de lancer rapidement des produits et de conquérir le marché. Cependant, avec la migration de la bande passante réseau de 25G à 100G, le DPU basé sur l'architecture matérielle FPGA+CPU est limité par le processus de puce et la structure FPGA, ce qui rend difficile un bon contrôle de la zone de puce et de la consommation d'énergie lors de la recherche d'un débit plus élevé. , limitant ainsi le développement continu de cette architecture DPU.

Le développement et l’application de la carte réseau DPU SoC

DPU SoC est une architecture matérielle basée sur ASIC, qui combine les avantages de l'ASIC et du CPU et équilibre les excellentes performances des accélérateurs dédiés et la flexibilité programmable des processeurs à usage général. Il s'agit d'une solution technologique DPU monopuce qui stimule le développement de la technologie du cloud computing.

Comme mentionné dans le paragraphe précédent, bien que le DPU joue un rôle important dans le cloud computing, les solutions DPU traditionnelles sont principalement présentées dans des schémas basés sur FPGA. Avec la migration du serveur du 25G vers le serveur 100G de nouvelle génération, son coût, sa consommation d'énergie, ses fonctionnalités et d'autres aspects sont confrontés à de sérieux défis. Le SoC DPU monopuce présente non seulement d'énormes avantages en termes de coût et de consommation d'énergie, mais il possède également un débit élevé et des capacités de programmation flexibles. Il prend en charge non seulement la gestion des applications et le déploiement de machines virtuelles et de conteneurs, mais également les applications nues.

Avec le développement continu de la technologie DPU, le SoC DPU programmable à usage général devient un élément clé dans la construction de centres de données des fournisseurs de cloud. DPU SoC peut réaliser une gestion économique et efficace des ressources informatiques et des ressources réseau dans le centre de données. Le SoC DPU doté de fonctions riches et de capacités programmables peut prendre en charge différents scénarios de cloud computing et une gestion unifiée des ressources, et optimiser l'utilisation des ressources informatiques du centre de données.

Dans la conception, le développement et l'utilisation du DPU, les géants des puces et les principaux fournisseurs de services cloud nationaux et étrangers ont investi de nombreuses ressources en R&D et ont atteint une bonne rentabilité grâce à une exploration et une pratique continues.

DPU dans AWS (Amazon Cloud)

AWS est le premier fournisseur mondial de services et de solutions de cloud computing. Le système AWS Nitro DPU est devenu la pierre angulaire technique du service cloud AWS. AWS utilise le système Nitro DPU pour décomposer et transférer les fonctions de réseau, de stockage, de sécurité et de surveillance vers du matériel et des logiciels dédiés, et fournit presque toutes les ressources du serveur pour entretenir les instances, réduisant ainsi considérablement les coûts. L'application de Nitro DPU dans Amazon Cloud peut permettre à un serveur de gagner des milliers de dollars de plus par an. Le système Nitro DPU se compose principalement des éléments suivants.

(1) Carte Nitro. Une série de matériel dédié au réseau, au stockage et au contrôle, pour améliorer les performances globales du système.

(2) Puce de sécurité Nitro. Transférez les fonctions de virtualisation et de sécurité vers du matériel et des logiciels dédiés, réduisez la surface d'attaque et obtenez une plate-forme cloud sécurisée.

(3) Hyperviseur Nitro. Un programme de gestion d'hyperviseur léger capable de gérer l'allocation de mémoire et de processeur et de fournir des performances impossibles à distinguer du bare metal.

Le système Nitro DPU fournit des fonctions de clé, de réseau, de sécurité, de serveur et de surveillance, libère les ressources de service sous-jacentes pour les machines virtuelles des clients et permet à AWS de fournir davantage de types d'instances nues et même d'augmenter les performances réseau d'instances spécifiques pour 100Gbps.

DPU NVIDIA

NVIDIA est une société de semi-conducteurs qui conçoit et vend principalement des unités de traitement graphique (GPU), largement utilisées dans les domaines de l'IA et du calcul haute performance (HPC). En avril 2020, NVIDIA a acquis Mellanox, une société de puces et d'appareils réseau, pour 6.9 milliards de dollars, puis a lancé la série de DPU BlueField.

Le DPU NVIDIA BlueField-3 (comme illustré dans la figure 7) hérite des fonctionnalités avancées du DPU BlueField-2 et est le premier DPU conçu pour l'IA et le calcul accéléré. BlueField-3 DPU fournit jusqu'à Réseau 400 Gbit/s connexion et peut offcharger, accélérer et isoler, en prenant en charge les fonctions de réseau, de stockage, de sécurité et de gestion définies par logiciel.

UIP Intel

Intel IPU est un périphérique réseau avancé doté d'accélérateurs renforcés et de connexions Ethernet, qui peut utiliser des cœurs programmables dédiés étroitement couplés pour accélérer et gérer les fonctions d'infrastructure. IPU fournit une infrastructure complète offcharge et agit comme un point de contrôle hôte pour l'exécution des applications d'infrastructure, offrant ainsi une couche de sécurité supplémentaire. Grâce à Intel IPU, tous les services d'infrastructure peuvent être offchargé du serveur vers l'IPU, libérant les ressources CPU du serveur et fournissant également aux fournisseurs de services cloud un point de contrôle indépendant et sécurisé.

En 2021, Intel a annoncé les produits IPU Oak Springs Canyon et Mount Evans lors de l'Intel Architecture Day. Parmi eux, Oak Springs Canyon est un produit IPU basé sur FPGA et Mount Evans IPU est un produit IPU basé sur ASIC.

L'IPU Intel Oak Springs Canyon est équipé d'un processeur Intel Agilex FPGA et Xeon-D. Intel Mount Evans IPU est un SoC (System-on-a-Chip) conçu conjointement par Intel et Google. Le mont Evans est principalement divisé en deux parties : le sous-système I0 et le sous-système informatique. La partie réseau utilise ASIC pour le traitement des paquets, qui offre des performances bien supérieures et une consommation d'énergie inférieure à celle du FPGA. Le sous-système informatique utilise 16 cœurs ARM Neoverse N1, dotés de capacités informatiques extrêmement puissantes.

DPU dans Alibaba Cloud

Alibaba Cloud explore également constamment la technologie DPU. Lors de l'Alibaba Cloud Summit en 2022, Alibaba Cloud offa lancé ici le processeur d'infrastructure cloud CIPU, basé sur l'architecture Shenlong. Le prédécesseur du CIPU est la carte MoC (Micro Server on a Card), qui répond à la définition du DPU en termes de fonction et de positionnement. La carte MoC dispose d'unités I0, de stockage et de traitement indépendantes et entreprend les travaux de virtualisation du réseau, du stockage et des appareils. Les cartes MoC de première et deuxième génération ont résolu le sens étroit de la virtualisation informatique sans problème de surcharge, et le logiciel implémente toujours la partie réseau et stockage de la virtualisation. La carte MoC de troisième génération réalise le renforcement de certaines fonctions de transfert de réseau et les performances du réseau sont grandement améliorées. La carte MoC de quatrième génération réalise tout le matériel offcharge de réseau et de stockage et prend également en charge la capacité RDMA.

En tant que système de processeur de centre de données conçu pour le système Feitian, Alibaba Cloud CIPU a une signification importante pour Alibaba Cloud pour construire une nouvelle génération de systèmes complets d'architecture de cloud computing logiciels et matériels.

DPU dans le moteur Volcano

Volcano Engine explore également constamment la voie du DPU auto-développé. Son DPU auto-développé adopte une technologie de virtualisation intégrée douce et matérielle, visant à fournir aux utilisateurs des services informatiques hautes performances élastiques et évolutifs. Dans les produits informatiques élastiques de Volcano Engine, le serveur élastique nu de deuxième génération et le serveur cloud de troisième génération sont équipés de DPU auto-développés, qui ont été largement vérifiés dans les capacités du produit et les scénarios d'application. L'instance EBM de deuxième génération de Volcano Engine, qui a été offCommercialisé ici en 2022, a été le premier à embarquer le DPU auto-développé de Volcano Engine. Il conserve non seulement les avantages de stabilité et de sécurité des machines physiques traditionnelles et peut réaliser une isolation physique sécurisée, mais présente également les avantages d'élasticité et de flexibilité des machines virtuelles. Il s’agit d’une nouvelle génération de serveurs cloud performants aux multiples avantages. L'instance ECS de troisième génération de Volcano Engine, qui a été publiée au premier semestre 2023, combine également l'architecture du dernier DPU auto-développé de Volcano Engine et la technologie de commutateur virtuel et de virtualisation auto-développée, et les performances d'E/S du réseau et du stockage ont été grandement améliorée.