InfiniBand contre Ethernet : la bataille entre Broadcom et NVIDIA pour la domination du scale-out IA

La bataille fondamentale dans les interconnexions de calcul haute performance

L'Ethernet est en passe de redevenir la norme dans les centres de données à architecture évolutive, tandis qu'InfiniBand maintient une forte dynamique dans les secteurs du calcul haute performance (HPC) et de l'entraînement de l'IA. Broadcom et NVIDIA se livrent une concurrence féroce pour la domination du marché.

Avec la croissance exponentielle des modèles d'intelligence artificielle, l'architecture des centres de données est passée des architectures verticales traditionnelles (système unique) aux architectures horizontales massives (scale-out) impliquant des dizaines de milliers de nœuds interconnectés. Le marché des réseaux à extension horizontale est actuellement dominé par deux technologies concurrentes :

• InfiniBandCe leader de longue date en matière de performances, piloté par Mellanox, filiale de NVIDIA, exploite le protocole RDMA natif pour offrir une latence ultra-faible (inférieure à 2 microsecondes) et aucune perte de paquets.
• EthernetSoutenu activement par Broadcom et d'autres, il bénéficie d'un écosystème ouvert et d'un coût nettement inférieur.

En juin 2025, Ethernet a lancé une offensive majeure. L'Ultra Ethernet Consortium (UEC) a officiellement publié la spécification UEC 1.0, qui reconstruit entièrement la pile de protocoles réseau et offre des performances comparables à celles d'InfiniBand. Fort de ses nombreux atouts, Ethernet devrait progressivement accroître sa part de marché. Cette évolution technologique redessine en profondeur le paysage concurrentiel du marché du scale-out.

Principaux enjeux du scale-out : avantages d’InfiniBand face à la contre-offensive Ethernet

L'architecture InfiniBand à extension horizontale standard prend en charge nativement l'accès direct à la mémoire à distance (RDMA). Son principe de fonctionnement est le suivant :

• Lors du transfert de données, le contrôleur DMA envoie des données à une carte d'interface réseau compatible RDMA (RNIC).
• L'interface RNIC encapsule les données et les transmet directement à l'interface RNIC de réception.
• Parce que ce processus contourne complètement le CPU, contrairement au TCP/IP traditionnel, InfiniBand atteint une latence extrêmement faible (<2 µs).

De plus, InfiniBand utilise le contrôle de flux basé sur le crédit (CBFC) au niveau de la couche liaison, garantissant que les données ne sont transmises que lorsque le récepteur dispose d'espace tampon disponible, assurant ainsi une perte de paquets nulle.

Le protocole RDMA natif nécessite des commutateurs InfiniBand pour fonctionner correctement. Pendant de nombreuses années, ces commutateurs ont été dominés par la division Mellanox de NVIDIA, ce qui a engendré un écosystème relativement fermé et des coûts d'acquisition et de maintenance plus élevés — le coût du matériel étant environ trois fois supérieur à celui des commutateurs Ethernet équivalents.

Grâce à son écosystème ouvert, ses nombreux fournisseurs, ses options de déploiement flexibles et ses coûts matériels plus faibles, Ethernet a progressivement conquis une large adoption.

Pour apporter les capacités RDMA à Ethernet, l'InfiniBand Trade Association (IBTA) a introduit RDMA over Converged Ethernet (RoCE) en 2010 :

• RoCEv1: On a simplement ajouté un en-tête Ethernet au niveau de la couche liaison, limitant la communication au même sous-réseau de couche 2 et empêchant la transmission à travers les routeurs ou les sous-réseaux différents.
• RoCEv2 (Publié en 2014) : Remplacement de l’en-tête de routage global InfiniBand (GRH) de couche 3 par des en-têtes IP/UDP. Cette modification permet aux commutateurs et routeurs Ethernet standard de reconnaître et de transférer les paquets RoCE, autorisant ainsi la transmission entre sous-réseaux et routeurs et améliorant considérablement la flexibilité de déploiement.

Cependant, la latence de RoCE v2 reste légèrement supérieure à celle du RDMA natif (~5 µs) et nécessite des mécanismes supplémentaires tels que le contrôle de flux prioritaire (PFC) et la notification explicite de congestion (ECN) pour réduire le risque de perte de paquets.

Le tableau comparatif du document original met en évidence les principales différences entre la technologie InfiniBand et la technologie ouverte RoCE :

• InfiniBand utilise une pile de protocoles fermée et entièrement propriétaire pour atteindre la latence la plus faible possible.
• RoCE v1 simule l'architecture InfiniBand sur Ethernet mais est limité au même sous-réseau de couche 2.
• RoCE v2 utilise la couche réseau IP, prend en charge la communication inter-sous-réseaux et offre la plus haute compatibilité avec l'infrastructure de centre de données Ethernet existante.

InfiniBand conserve des avantages intrinsèques en matière de latence ultra-faible et d'absence de perte de paquets, ce qui en fait la solution privilégiée dans les centres de données d'IA actuels. Cependant, ses coûts matériels et de maintenance plus élevés, conjugués à un choix limité de fournisseurs, entraînent une transition progressive vers les architectures basées sur Ethernet.

Face à la demande croissante de centres de données pour l'IA et aux enjeux de coûts et d'écosystème, NVIDIA s'est imposée sur le marché Ethernet. Outre ses commutateurs InfiniBand Quantum, NVIDIA propose désormais la gamme de produits Ethernet Spectrum.

En 2025:

• Quantum-X800 : 800 Gbit/s/port × 144 ports = 115.2 Tbit/s au total
• Spectrum-X800 : 800 Gbit/s/port × 64 ports = 51.2 Tbit/s au total
• Les versions CPO (Co-Packaged Optics) des Quantum-X800 et Spectrum-X800 sont attendues respectivement au cours du second semestre 2025 et du second semestre 2026.

Bien que les commutateurs Spectrum soient plus chers que les commutateurs Ethernet concurrents, la force de NVIDIA réside dans une intégration matérielle et logicielle poussée (par exemple, avec les DPU BlueField-3 et la plateforme DOCA 2.0) permettant un routage adaptatif très efficace.

Course au coût des ASIC de commutation et au déploiement des CPO : Ethernet en tête, InfiniBand suit de près

Dans le domaine de l'Ethernet, Broadcom a toujours conservé son leadership technique en matière de puces pour commutateurs Ethernet. Sa gamme Tomahawk repose sur le principe de « doubler la bande passante totale environ tous les deux ans ».

En 2025, Broadcom a lancé le Tomahawk 6, alors la puce de commutation offrant la plus grande bande passante au monde, avec une capacité totale de 102.4 Tbit/s et prenant en charge 64 ports de 1.6 Tbit/s. Le Tomahawk 6 prend également en charge nativement le protocole UEC 1.0 (Ultra Ethernet Consortium), implémentant la pulvérisation de paquets multi-chemins, la retransmission au niveau de la couche liaison (LLR) et le contrôle de flux basé sur le crédit (CBFC), réduisant ainsi la latence et le risque de perte de paquets.

Broadcom est également leader dans la technologie des optiques co-emballées (CPO) :

• 2022 : Tomahawk 4 Humboldt CPO version
• 2024 : Tomahawk 5 Bailly
• 2025 : Tomahawk 6 Davisson

Comparé au Tomahawk 6 de Broadcom (102.4 Tbit/s) lancé en 2025, le Spectrum-X1600 de NVIDIA (102.4 Tbit/s) ne devrait pas être disponible avant le second semestre 2026, soit environ un an plus tard. La version CPO du Spectrum-X Photonics de NVIDIA (102.4 Tbit/s) est également prévue pour le second semestre 2026.

Au-delà du duel Broadcom–NVIDIA :

• Marvell a lancé le Teralynx 10 de 51.2 Tbps en 2023.
• Cisco a lancé la série Silicon One G200 de 51.2 Tbit/s en 2023, ainsi que des prototypes CPO.

Les interconnexions électriques atteignent leurs limites ; l'intégration optique devient le centre d'intérêt.

Les interconnexions électriques traditionnelles en cuivre atteignent leurs limites physiques. À mesure que les distances de transmission augmentent, les interconnexions par fibre optique présentent des avantages indéniables pour les déploiements à grande échelle : pertes réduites, bande passante plus élevée, meilleure résistance aux interférences électromagnétiques et portée accrue.

Les solutions optiques actuelles utilisent principalement des émetteurs-récepteurs enfichables, atteignant 200 Gbit/s sur une seule voie et 1.6 Tbit/s agrégés (8 × 200 Gbit/s).

Avec l'augmentation des vitesses, la consommation d'énergie et les pertes de signal sur les circuits imprimés deviennent critiques. La photonique sur silicium (SiPh) a été développée pour remédier à ces problèmes en intégrant des composants émetteurs-récepteurs miniatures directement sur le silicium, formant ainsi des circuits intégrés photoniques (PIC). Ces composants sont ensuite co-encapsulés dans la puce, ce qui raccourcit les trajets électriques et les remplace par des trajets optiques : c'est l'optique co-encapsulée (CPO).

Le concept plus large de CPO englobe plusieurs formes : optique embarquée (OBO), optique co-emballée (CPO) et E/S optiques (OIO).

L'intégration du moteur optique (OE) se rapproche de plus en plus du circuit intégré spécifique (ASIC) principal :

• OBO : OE sur PCB (désormais rarement utilisé)
• CPO étroit : OE sur substrat (courant dominant) → puissance <0.5× enfichable (~5 pJ/bit), latence <0.1× (~10 ns)
• OIO : OE sur interposeur (direction future) → puissance <0.1× (<1 pJ/bit), latence <0.05× (~5 ns)

La technologie CPO reste confrontée à des défis en matière de gestion thermique, de collage et de couplage. Alors que les communications optiques atteignent leurs limites, les avancées dans le domaine de la CPO et de la photonique sur silicium détermineront le paysage concurrentiel de demain.

Le camp Ethernet se mobilise : l’UEC promeut la norme UEC 1.0

Comme mentionné précédemment, InfiniBand a rapidement conquis une part de marché importante dans le domaine de l'IA générative grâce à sa latence ultra-faible. Cependant, Ethernet, l'écosystème dominant des réseaux hautes performances, s'est également engagé à atteindre une latence similaire.

Le consortium Ultra Ethernet (UEC) a été fondé en août 2023. Parmi ses membres initiaux figuraient AMD, Arista, Broadcom, Cisco, Eviden, HPE, Intel, Meta et Microsoft. Contrairement à l'écosystème InfiniBand, dominé par NVIDIA, l'UEC privilégie les standards ouverts et l'interopérabilité afin d'éviter la dépendance à un fournisseur unique.

En juin 2025, UEC a publié UEC 1.0, non pas une simple amélioration de RoCE v2, mais une reconstruction complète de chaque couche (logiciel, transport, réseau, liaison et physique).

Les principales améliorations en matière de réduction de la latence comprennent la sous-couche de livraison des paquets (PDS) dans la couche transport, qui comprend :

• Transmission multivoies sur plusieurs chemins (voies/pistes) de coût et de vitesse égaux
• Les cartes réseau utilisent l'entropie pour répartir les paquets sur tous les chemins afin d'optimiser la bande passante.

Cette structure à plusieurs niveaux permet une récupération réseau ultra-rapide et un routage adaptatif proche de l'InfiniBand.

Pour minimiser la perte de paquets, UEC 1.0 introduit deux mécanismes principaux :

• Tentative de retransmission au niveau de la couche liaison (LLR) optionnelle : requête de retransmission locale rapide en cas de perte de paquets, réduisant la dépendance au PFC.
• Contrôle de flux optionnel basé sur les crédits (CBFC) : l’émetteur doit obtenir des crédits du récepteur avant de transmettre, ce qui permet d’obtenir un comportement sans perte identique à celui du CBFC InfiniBand.

Le développement à grande échelle de la Chine : coordonner les normes internationales et l'innovation indépendante

L'architecture d'infrastructure d'IA à grande échelle de la Chine évolue selon deux principes : l'autonomie et la compatibilité internationale. Tout en respectant les normes Ethernet mondiales, les grandes entreprises nationales investissent massivement dans des architectures locales, formant progressivement des systèmes à grande échelle spécifiquement chinois.

Alibaba, Baidu, Huawei, Tencent et bien d'autres ont rejoint l'UEC pour co-développer la norme. Parallèlement, ils développent indépendamment des architectures évolutives visant une faible latence et une absence totale de perte de paquets, en les comparant directement aux performances d'InfiniBand.

Architectures indigènes remarquables :

• China Mobile – GSE (Ethernet de planification générale)Lancé avant l'UEC en mai 2023, GSE 1.0 optimise RoCE existant grâce à l'équilibrage de charge au niveau des ports et à la détection de la congestion des terminaux. GSE 2.0 consiste en une refonte complète de la pile de protocoles avec pulvérisation multi-chemin et contrôle de flux DGSQ.
• Alibaba Cloud – Réseau haute performance (HPN)HPN 7.0 utilise une architecture « double liaison montante + multivoies + double plan de masse ». La génération suivante, HPN 8.0, intégrera des puces de commutation 800G de 102.4 Tbit/s entièrement conçues en interne.
• Huawei – Interconnexion UB-MeshDéployé sur des plateformes Ascend NPU utilisant une topologie maillée complète multidimensionnelle nD, prenant en charge à la fois la mise à l'échelle verticale et horizontale réelle à plus de 3 dimensions.

Avec la participation de ZTE, d'Accelink et d'autres, la Chine met rapidement en place une chaîne d'approvisionnement nationale complète en modules optiques et en photonique sur silicium.

Centres de données d'IA de nouvelle génération : transformation technologique et opportunités

Depuis de nombreuses années, la technologie InfiniBand de NVIDIA domine le marché du déploiement horizontal pour l'IA grâce à une latence inférieure à 2 µs et une absence totale de perte de paquets. Cependant, avec la sortie de l'UEC 1.0 en juin 2025, l'Ethernet réduit rapidement l'écart en termes de latence et de fiabilité, tout en regagnant en compétitivité. Broadcom poursuit son cycle de doublement de la bande passante tous les deux ans, améliorant sans cesse les performances matérielles de l'Ethernet.

Avec des débits atteignant 1.6 Tbit/s et plus, la consommation et la latence des optiques enfichables deviennent des facteurs limitants, faisant de l'optique enfichable (CPO) la technologie d'avenir. Broadcom est à la pointe du déploiement de la CPO depuis 2022 ; NVIDIA prévoit InfiniBand CPO au second semestre 2025.

À mesure que l'Ethernet et le CPO gagnent en maturité, les réseaux des centres de données d'IA passent entièrement aux interconnexions optiques à haut débit, créant ainsi d'énormes opportunités pour les émetteurs-récepteurs optiques et les chaînes d'approvisionnement en amont (puces de photonique sur silicium, lasers, modules de fibre).

Dans le domaine du passage à l'échelle horizontale :

• NVIDIA devrait continuer à dominer le segment traditionnel InfiniBand.
• Broadcom est bien positionnée pour conserver sa position dominante sur le marché de l'Ethernet grâce à ses ASIC à large bande passante de qualité supérieure, son leadership en matière de CPO et la mise en œuvre de l'UEC.

En août 2025, NVIDIA et Broadcom ont dévoilé leurs concepts « Scale-Across » visant à étendre la connectivité à travers plusieurs centres de données – le prochain paradigme des réseaux haute performance.