Qu'est-ce que le réseau InfiniBand et la différence avec Ethernet ?

Qu'est-ce que le réseau InfiniBand ?

L'architecture InfiniBand apporte la consolidation de la structure au centre de données La mise en réseau du stockage peut s'exécuter simultanément avec les structures de clustering, de communication et de gestion sur la même infrastructure, préservant ainsi le comportement de plusieurs structures.

InfiniBand est une technologie d'interconnexion de réseau standard ouverte avec une bande passante élevée, un faible délai et une fiabilité élevée. Cette technologie est définie par IBTA (InfiniBand trade alliance). Cette technologie est largement utilisée dans le domaine des clusters de supercalculateurs. Dans le même temps, avec l'essor de l'intelligence artificielle, c'est aussi la technologie d'interconnexion réseau privilégiée pour les serveurs GPU.

L'interconnexion à grande vitesse (HSI) est devenue la clé du développement d'ordinateurs hautes performances, car la puissance de calcul de l'unité centrale de traitement (CPU) augmente à un rythme très rapide. HSI est une nouvelle technologie proposée pour améliorer les performances de l'interface de composant périphérique (PCI). Après des années de développement, les HSI prenant en charge le calcul haute performance (HPC) sont désormais principalement Gigabit Ethernet et InfiniBand, dont InfiniBand est le HSI à la croissance la plus rapide. InfiniBand est une technologie haute performance à faible latence développée sous la supervision de l'InfiniBand Trade Association (IBTA).

IBTA a été fondée en 1999 par la fusion de deux organisations industrielles, le Future I/O Developers Forum et le NGI/O Forum. Il travaille sous la direction d'un comité de planification et d'exploitation composé de HP, IBM, Intel, Mellanox, Oracle, QLogic, Dell, Bull et autres. L'IBTA est spécialisée dans les tests de conformité et d'interopérabilité des produits, et ses membres ont travaillé pour faire avancer l'établissement et la mise à jour de la spécification InfiniBand.

La norme InfiniBand prend en charge la signalisation à débit de données unique (SDR) à un débit de base de 2.5 Gbits/s par voie pour permettre un débit de données brut de 10 Gbits/s sur des câbles 4X (le type de câble InfiniBand le plus couramment utilisé). La signalisation à double débit de données (DDR) et à quatre débits de données (QDR) permet d'adapter les voies simples jusqu'à 5 Gbits/s et 10 Gbits/s par voie, respectivement, pour un débit de données maximal potentiel de 40 Gbits/s sur 4X et 120 Gbits/s plus de câbles 12X.

Comparaison des technologies de mise en réseau

À l'heure actuelle, le dernier produit InfiniBand est le HDR produit par Mellanox, qui peut fournir une bande passante de bout en bout allant jusqu'à 200 Gbit/s pour le réseau, apporter une expérience réseau inégalée pour le calcul haute performance, l'intelligence artificielle et d'autres domaines, et maximiser le potentiel de calcul dans le cluster.

En tant que technologie d'interconnexion de grappes d'ordinateurs, InfiniBand présente des avantages significatifs par rapport à Ethernet/Fibre Channel et à la technologie obsolète Omni-Path, et est la principale technologie de communication réseau recommandée par l'InfiniBand Trade Association (IBTA). Depuis 2014, la plupart des supercalculateurs TOP500 ont adopté la technologie réseau InfiniBand. Ces dernières années, les applications liées à l'IA/au Big Data ont également adopté les réseaux IB à grande échelle pour réaliser des déploiements de clusters hautes performances, avec 62 % des centres de supercalcul Top100 utilisant la technologie InfiniBand (données de juin 2022).

Présentation d'Infiniband

InfiniBand est un lien de communication pour le flux de données entre les processeurs et les périphériques d'E/S, prenant en charge jusqu'à 64,000 XNUMX périphériques adressables. Architecture InfiniBand (IBA) est une spécification standard de l'industrie qui définit un cadre d'entrée/sortie commuté point à point pour l'interconnexion des serveurs, des infrastructures de communication, des périphériques de stockage et des systèmes embarqués.

InfiniBand est idéal pour connecter plusieurs flux de données (clustering, communication, stockage, gestion) en une seule connexion, avec des milliers de nœuds interconnectés, en raison de son omniprésence, de sa faible latence, de sa bande passante élevée et de son faible coût de gestion. La plus petite unité IBA complète est un sous-réseau, et plusieurs sous-réseaux sont connectés par des routeurs pour former un grand réseau IBA.

Les systèmes InfiniBand se composent d'adaptateurs de canal, de commutateurs, de routeurs, de câbles et de connecteurs. Le CA est divisé en un adaptateur de canal hôte (HCA) et un adaptateur de canal cible (TCA). Les commutateurs IBA sont similaires en principe aux autres commutateurs réseau standard, mais doivent répondre aux exigences de haute performance et de faible coût d'InfiniBand. Un HCA est un point de périphérique par lequel un nœud d'extrémité IB, tel qu'un serveur ou un périphérique de stockage, se connecte à un réseau IB. Les TCA sont une forme spéciale d'adaptateurs de canal, principalement utilisés dans les environnements embarqués tels que les périphériques de stockage.

L'architecture InfiniBand est illustrée dans la figure.

Qu'est-ce que le HDR InfiniBand 200G ?

InfiniBand prend en charge la transmission SDR/DDR/QDR/FDR/EDR pour augmenter la bande passante de la liaison. Récemment, Mellanox a publié 200G InfiniBand prenant en charge le HDR. Mellanox récemment sorti InfiniBand 200G avec prise en charge HDR. Mellanox 200Gb / s Les réseaux HDR InfiniBand prennent en charge une latence ultra-faible, un débit de données élevé et des moteurs d'accélération de calcul réseau intelligents. Les utilisateurs peuvent utiliser les pilotes logiciels Mellanox standard sur le cloud, comme ils le feraient dans un environnement Bare Metal. Avec la prise en charge des verbes RDMA, tous les logiciels MPI basés sur InfiniBand tels que Mellanox HPC-X, MVAPICH2, Platform MPI, Intel MPI, etc. peuvent être utilisés.

De plus, les utilisateurs peuvent également profiter du matériel offchargez la fonction de communication de cluster MPI pour des gains de performances supplémentaires, ce qui améliore également l'efficacité des applications métier. 200G InfiniBand propose une large gamme d'applications, notamment des moteurs d'accélération informatique en réseau, des adaptateurs HDR InfiniBand, des commutateurs HDR InfiniBand Quantum et un câblage 200G.

Applications InfiniBand

En ce qui concerne le câblage InfiniBand 200G, la dernière pièce de la solution Mellanox 200Gbs est sa gamme de Câbles LinkX. Mellanox offIl utilise des câbles en cuivre 200G à connexion directe atteignant jusqu'à 3 mètres et des câbles répartiteurs 2 x 100G pour permettre des liaisons HDR100, ainsi que des câbles optiques actifs 200G pouvant atteindre 100 mètres. Tous les câbles LinkX de la gamme 200 Gb/s sont fournis dans des boîtiers QSFP56 standard.

Quels sont les avantages du réseau InfiniBand ?

• Liens série à large bande passante

– SDR : 10Gb/s

– DDR : 20Gb/s

– QDR : 40Gb/s

– FDR : 56 Go/s

– EDR : 100Gb/s

– HDR : 200Gb/s

- Rapport de non-remise : 400 Gb/s

• Latence ultra faible

– Moins de 1 us application à application

• Tissu fiable, sans perte et autogéré

– Contrôle de flux au niveau du lien

– Contrôle de la congestion pour éviter le blocage HOL

• Processeur complet Offcharge

– Protocole de transport fiable basé sur le matériel

– Kernel Bypass (les applications de niveau utilisateur ont un accès direct au matériel)

• Mémoire exposée à l'accès aux nœuds distants – lecture RDMA et écriture RDMA

– Opérations atomiques

• Qualité de service

– Canaux d'E/S indépendants au niveau de l'adaptateur

– Voies virtuelles au niveau du lien

• Évolutivité/flexibilité du cluster

– Jusqu'à 48K nœuds dans le sous-réseau, jusqu'à 2^128 dans le réseau

– Routes parallèles entre les nœuds d'extrémité

– Plusieurs topologies de clusters possibles

• Gestion de cluster simplifiée

– Gestionnaire de tournées centralisé

– Diagnostics et mises à niveau intrabandes

Qu'est-ce qu'un réseau Ethernet ?

Ethernet fait référence à la norme de spécification LAN en bande de base créée par la société Xerox et développée conjointement par Xerox, Intel et la société DEC. La norme générale Ethernet a été publiée le 30 septembre 1980. Il s'agit de la norme de protocole de communication la plus générale adoptée par le réseau local existant. Il transmet et reçoit des données via des câbles. Réseau Ethernet est utilisé pour créer des réseaux locaux et connecter plusieurs ordinateurs ou autres appareils tels que des imprimantes, des scanners, etc. Dans un réseau filaire, cela se fait à l'aide de câbles à fibres optiques, tandis que dans un réseau sans fil, cela se fait via la technologie de réseau sans fil. Les principaux types de réseaux Ethernet sont Fast Ethernet, Gigabit Ethernet, 10 Gigabit Ethernet et Switch Ethernet.

À l'heure actuelle, l'organisation de normalisation IEEE 802.3 organisée par l'IEEE a publié des normes d'interface Ethernet de 100GE, 200GE et 400GE. Le réseau Ethernet est la technologie de transmission avec le débit le plus élevé à l'heure actuelle.

InfiniBand contre Ethernet: Quelle est la différence?

En tant que technologies d'interconnexion, InfiniBand et Ethernet ont leurs propres caractéristiques et différences. Elles se développent et évoluent dans leurs différents domaines d'application, et sont devenues deux Technologies d'Interconnexion indispensables dans notre monde des réseaux.

Types de réseaux Ethernet

En termes de réseau Ethernet, avec la technologie IP, ils constituent la pierre angulaire de tout l'édifice Internet dans le monde. Toutes les personnes et tous les appareils intelligents comptent sur Ethernet pour réaliser l'interconnexion de toutes choses, ce qui est lié à l'intention initiale de sa conception d'obtenir une meilleure compatibilité. Il peut rendre différents systèmes mieux interconnectés, ce qui confère à Ethernet une très forte adaptabilité depuis sa naissance. Après des décennies de développement, il est devenu le standard d'Internet.

En termes de réseau InfiniBand, il s'agit d'une norme d'interconnexion pour résoudre le goulot d'étranglement de la transmission de données dans les scénarios de calcul haute performance. Il se positionne comme une application haut de gamme depuis sa formulation. L'interconnexion n'est pas la principale contradiction et la communication performante est le principal point d'entrée. Infiniband est un type de connexion plus récent qui a été récemment publié. La grande chose à ce sujet est la vitesse dont les utilisateurs disposent. Alors que la vitesse de votre connexion dépendra en fin de compte du fil que vous choisissez, les vitesses pour eux peuvent aller jusqu'à 40 Gbps ou plus.

Par conséquent, par rapport à la technologie Ethernet, InfiniBand est intrinsèquement différent d'Ethernet en raison d'un positionnement différent, principalement en termes de bande passante, de délai, de fiabilité du réseau et de mode de mise en réseau. InfiniBand crée directement un canal privé et protégé entre les nœuds via des commutateurs pour transmettre des données et des messages sans que le processeur ne participe à l'accès direct à la mémoire à distance (RDMA). Une extrémité de l'adaptateur est connectée au CPU via l'interface PCI Express, et l'autre extrémité est connectée au sous-réseau InfiniBand via le port réseau InfiniBand. Par rapport à d'autres protocoles de communication réseau, cela offre des avantages évidents, notamment une bande passante plus élevée, une latence plus faible et une évolutivité améliorée.

InfiniBand vs Omni-Path : Avantages d'InfiniBand par rapport à Omni-Path

Bien que NVIDIA ait lancé la solution InfiniBand 400G NDR, certains clients utilisent encore la solution 100G. Pour les réseaux hautes performances 100G, il existe deux solutions communes, Omni-Path et InfiniBand, qui ont le même débit et des performances similaires, mais la structure du réseau est très différente. Par exemple, pour un cluster de 400 nœuds, InfiniBand ne nécessite que 15 commutateurs NVIDIA Quantum série 8000 et 200 câbles de dérivation 200G et 200 câbles directs 200G, tandis qu'Omni-Path nécessite 24 commutateurs et 876 câbles directs 100G (384 nœuds). InfiniBand est très avantageux en termes de coût d'équipement initial et de coût d'exploitation et de maintenance ultérieur, et la consommation d'énergie globale est bien inférieure à celle d'Omni-Path, qui est plus respectueuse de l'environnement.

Présentation du produit HDR InfiniBand

L'EDR est progressivement retiré du marché en termes de demande des clients, le taux de NDR est trop élevé et seuls les principaux clients essaient de l'utiliser. Le HDR est largement utilisé avec la flexibilité du HDR 100G et du HDR 200G.

Commutateur HDR

Il existe deux types de commutateurs HDR. L'un est HDR CS8500. Un commutateur 29U fournit un maximum de 800 ports HDR 200Gb/s, et chaque port de 200 Go peut être divisé en 2X100G pour prendre en charge 1600 ports HDR100 100Gb/s.

L'autre type est la série QM8000. Le panneau 1U dispose de 40 ports QSFP200 56G, qui peuvent être divisés en 80 ports HDR 100G au maximum pour connecter des cartes réseau 100G HDR. Dans le même temps, chaque port prend également en charge EDR et se connecte directement à la carte réseau d'EDR. Il convient de noter que le port HDR 200G ne peut être ralenti qu'à 100G et connecté à l'adaptateur réseau EDR, et ne peut pas être divisé en 2X100G pour connecter deux adaptateurs réseau EDR.

Il existe deux options pour le commutateur HDR 200G : QM8700 et QM8790. La seule différence entre les deux modèles est le mode de gestion. Le QM8700 fournit l'interface de contrôle pour la gestion hors bande, tandis que le QM8790 nécessite la plate-forme NVIDIA Unified Fabric Manager (UFM®) pour la gestion.

Pour QM8700 et QM8790, il existe deux options de débit d'air pour chaque modèle de commutateur. L'un d'eux est le 8790-HS2F pour le flux d'air P2C (flux d'air avant et arrière). Le module de ventilation est marqué en bleu. Si vous ne reconnaissez pas les marquages, vous pouvez également les identifier en faisant flotter votre main sur l'entrée et la sortie d'air du commutateur.

8790-HS2R est la marque rouge sur le module de ventilation du flux d'air C2P (conduit avant arrière). Ici P2C et C2P P signifie Power power, C signifie Cable (line interface), P2C (Power to Cable), C2P (Cable to Power) ici le système de référence est Power power power pour l'avant, Cable line interface side pour l'arrière.

Les QM8700 et QM8790 sont généralement utilisés de deux manières dans la pratique, l'une consiste à s'interconnecter avec des cartes réseau HDR 200G en utilisant directement 200G pour 200G AOC/DAC ; l'autre utilisation courante consiste à s'interconnecter avec des cartes réseau HDR 100G à l'aide de câbles 200G à 2X100G, dans lesquels un port physique QSFP200 4G (50X56G) du commutateur est divisé en 2 ports virtuels 100G (2X50G). 4X50G) Le port QSFP56 du commutateur est divisé en deux ports virtuels 100G (2X50G), et après la division, le symbole du port est modifié de x/y à x/Y/z, où "x/Y" indique le précédent symbole du port avant la scission, et "z" désigne le numéro du port à voie unique résultant (1,2), puis chaque port sous-physique est traité comme un port unique.

Adaptateur réseau HDR

Les adaptateurs réseau HDR sont beaucoup plus diversifiés que les commutateurs. L'adaptateur réseau HDR100 prend en charge un taux de transmission de 100G. Les deux ports HDR100 peuvent être connectés au commutateur HDR via des câbles 200G à 2x100G. Contrairement à la carte réseau 100G EDR, le port 100G de la carte réseau HDR100 prend en charge les transmissions 4X25G NRZ et 2X50G PAM4. La carte réseau HDR prend en charge un taux de transmission de 200G et peut être connectée au commutateur via un câble direct de 200G. En plus des deux débits d'interface, vous pouvez sélectionner des adaptateurs réseau à port unique, à double port et PCIe de chaque débit en fonction des exigences de service. Les modèles courants d'adaptateurs réseau InfiniBand HDR fournis par FiberMall sont les suivants :

L'architecture du réseau InfiniBand est simple, mais la sélection de solutions est variée. Le débit 100G a à la fois une solution EDR 100G et une solution HDR 100G; Le taux 200 a également deux options HDR et 200G NDR. Les adaptateurs réseau, les connecteurs et les commutateurs utilisés dans différentes solutions sont assez différents.

Paquets InfiniBand et transfert de données

Un paquet est l'unité de base de la transmission de données InfiniBand. Pour que les informations se propagent efficacement dans un réseau InfiniBand, les informations sont divisées par l'adaptateur de canal en un certain nombre de paquets. Un paquet IBA complet comprend les champs Local Route Header, Global Route Header, Base Transport Header, Extended Transport Header, Payload (PYLD), Invariant CRC (ICRC) et Variant CRC (VCRC), comme illustré dans la figure ci-dessous.

LRH: 8 octets, utilisés par le commutateur pour déterminer les ports source et destination locaux lors de la transmission de paquets et pour réguler la classe de service et la voie virtuelle (VL) pour la transmission de paquets.

GRH: 40 octets, utilisé pour router les paquets entre les sous-réseaux et assurer une bonne transmission des paquets entre les sous-réseaux. Il est spécifié par le champ Link Next Header (LNH) dans le LRH, en utilisant la spécification d'en-tête IPv6 définie dans la RFC 2460.

BTH: 12 octets, spécifiant la paire de file d'attente (QP) de destination, l'opcode d'indication, le numéro de série du paquet et la segmentation.

ETH: 4-28 octets, fournissant un service datagramme fiable. Charge utile (PYLD) : 0-4096 octets, les données d'application de bout en bout étant envoyées.

CICR: 4 octets, encapsule les données qui restent inchangées dans le paquet lors de son envoi de l'adresse source à l'adresse de destination.

CRVC: 2 octets, encapsule la variable IBA et les paquets bruts (raw) pendant la liaison.

VCRC peut être reconfiguré dans la matrice.

Architecture en couches InfiniBand

Selon la définition de l'IBTA, l'architecture InfiniBand se compose d'une couche physique, d'une couche de liaison, d'une couche réseau et d'une couche de transport, et son architecture en couches est illustrée dans la figure.

Couche physique: La couche physique dessert la couche liaison et assure l'interface logique entre ces deux couches. La couche physique se compose de modules tels que les connecteurs de signal de port, les connexions physiques (électriques et optiques), la gestion du matériel, la gestion de l'alimentation et les lignes de codage, dont les rôles principaux sont de :

(1) Établir des connexions physiques ;

(2) Notifier à la couche liaison si une connexion physique est valide ;

(3) Surveiller l'état de la connexion physique, transmettre des signaux de contrôle et des données à la couche liaison lorsque la connexion physique est valide, et transmettre les informations de contrôle et de données provenant de la couche liaison.

Lier la couche: La couche liaison est responsable de la gestion de l'envoi et de la réception des données de liaison par paquets, fournissant des services tels que l'adressage, la mise en mémoire tampon, le contrôle de flux, la détection d'erreurs et l'échange de données. La qualité de service (QoS) est principalement reflétée par cette couche. La machine d'état est utilisée pour définir les opérations logiques de la couche de liaison en tant qu'opérations accessibles de l'extérieur et ne spécifie pas les opérations internes.

Couche réseau: La couche réseau est responsable du routage des paquets entre les sous-réseaux IBA, y compris les opérations de monodiffusion et de multidiffusion. La couche réseau ne spécifie pas le routage multiprotocole (par exemple, le routage IBA sur des types non IBA) et ne spécifie pas non plus comment les paquets d'origine sont acheminés entre les sous-réseaux IBA.

Couche de transport: Chaque donnée IBA contient un en-tête de transport. L'en-tête de transport contient les informations requises par le nœud final pour effectuer l'opération spécifiée. En manipulant QP, les clients de communication de l'adaptateur de canal IBA au niveau de la couche transport forment une file d'attente de travail « d'envoi » et une file d'attente de travail « de réception ».

Le mécanisme de commutation d'InfiniBand

La structure commutée utilisée dans InfiniBand est une architecture d'interconnexion point à point basée sur un commutateur, orientée vers la tolérance aux pannes et l'évolutivité du système.

Les commutateurs IBA sont les blocs de construction de routage de base pour le routage de sous-réseau interne (la fonctionnalité de routage inter-sous-réseau est fournie par les routeurs IBA). L'interconnexion des commutateurs est réalisée en relayant les paquets entre les liaisons.

Les commutateurs InfiniBand implémentent des fonctions telles que Subnet Manager Agent (SMA), Performance Manager Agent (PMA) et Baseboard Manager Agent (BMA). SMA fournit une interface permettant aux gestionnaires de sous-réseau d'obtenir des données d'enregistrement et de table à l'intérieur du commutateur via des paquets de gestion de sous-réseau, mettant en œuvre des fonctions telles que la notification de message, le mappage du niveau de service (SL) à la voie virtuelle (VL), l'arbitrage VL, le transfert multidiffusion et les caractéristiques du fournisseur. . PMA fournit une interface permettant aux gestionnaires de performances de surveiller les informations de performances telles que le débit de données et l'accumulation d'erreurs du commutateur. BMA fournit un canal de communication entre le gestionnaire de plinthes et le gestionnaire d'étagère inférieure.

Les principales fonctions de transfert de données dans les commutateurs InfiniBand sont :

(1) Sélection du port de sortie: Sur la base de l'identificateur local de destination (DLID) du paquet, le commutateur trouve le numéro de port du port de sortie à partir de la table de transfert.

(2) Sélectionner la sortie VL: SL et VL sont pris en charge et le commutateur détermine le VL du port de sortie utilisé par les paquets de différents niveaux de priorité en fonction de la table de mappage SL-VL.

(3) Contrôle du flux de données: Un mécanisme de contrôle de flux au niveau de la liaison basé sur le crédit est utilisé.

(4) Prise en charge de la monodiffusion, de la multidiffusion et de la diffusion: Le commutateur peut convertir des paquets de multidiffusion ou des paquets de diffusion en plusieurs paquets de monodiffusion pour échange.

(5) Partitionnement: Seuls les hôtes d'une même partition peuvent communiquer entre eux. Chaque partition a une clé de partition unique et le commutateur vérifie si le DLID du paquet se trouve dans la partition correspondant à la clé.

(6) Vérification des erreurs: y compris la vérification des erreurs d'incohérence, la vérification des erreurs de codage, la vérification des erreurs de cadrage, la vérification de la longueur des paquets, la vérification de la version de l'en-tête des paquets, la vérification de la validité du niveau de service, la conformité du contrôle de flux et la vérification de l'unité de transmission maximale.

(7) Arbitrage VL: Prend en charge le sous-réseau VL (y compris la gestion VL15 et les données VL). Le commutateur utilise l'arbitrage VL pour s'assurer que les paquets de haute priorité sont mieux servis.

À l'heure actuelle, les principaux fabricants de commutateurs InfiniBand sont Mallanox, QLogic, Cisco, IBM, etc.

Pour les hôtes, le côté client de la couche de transport est une couche logicielle Verbs, où le client transmet des tampons ou des commandes vers et depuis ces files d'attente, et le matériel transmet des données de tampon vers et depuis celles-ci. Lorsque QP est établi, il intègre l'un des quatre types de service de transport IBA (connexion fiable, informations d'auto-adressage fiables, informations d'auto-adressage non fiables, connexion non fiable) ou un service encapsulé dans un protocole non IBA. Le service de transport décrit comment fonctionnent les données de transport de fiabilité et QP et ce qui est transmis.

En tant que partenaire de niveau NVIDIA Elite, FiberMall peut fournir des Solutions InfiniBand selon les besoins des différents clients, et nos ingénieurs techniques seniors ont une riche expérience dans la conception de solutions réseau haute performance InfiniBand et les services de mise en œuvre de projets et peuvent fournir des solutions optimales en fonction de différents scénarios d'application. Nous pouvons fournir des solutions de portefeuille de commutateurs QM8700/QM8790, HDR NIC, AOC/DAC/modules optiques pour obtenir des performances et une évolutivité exceptionnelles, et améliorer le retour sur investissement pour le HPC, l'IA et d'autres applications avec un coût inférieur et d'excellentes performances.