Libérer la puissance d'Infiniband : une plongée en profondeur dans les câbles en cuivre et les solutions à connexion directe

Au cours des dernières décennies, les technologies de flux et de transmission de données efficaces ont mûri et Infiniband se distingue comme un support efficace. Cette évolution permet aux performances à bande passante élevée et à faible latence d'ouverture de proliférer. Infiniband facilite l'interconnexion des processeurs et des périphériques d'E/S dans un environnement où les communications de données à haut débit sont indispensables. Ce blog aborde les Cable de cuivre et les aspects d'application à connexion directe de l'utilisation d'Infiniband. Nous allons essayer de trouver des moyens d'optimiser ces composants pour une utilisation dans les « infrastructures informatiques » d'aujourd'hui qui ont toujours été agressives. En étant minutieux et détaillés, nous expliquons le fonctionnement d'Infiniband sur une paire torsadée en cuivre, ses avantages et les facteurs économiques et industriels qu'il faut prendre en compte avant de se lancer dans sa mise en œuvre. Dans l'ensemble, cet article offre une compréhension complète de l'utilisation et de l'effet de levier du câblage Infiniband, en tenant compte d'autres normes industrielles et meilleures pratiques d'actualité afin que, au final, le lecteur soit suffisamment équipé pour appliquer cette technologie dans son travail, ce qui se traduit par de meilleures performances.

Qu'est-ce qu'Infiniband et comment ça marche ?

La technologie Infiniband se distingue par son rôle attendu dans taux de transfert de données La technologie RDMA est conçue pour offrir une faible latence et une bande passante élevée malgré la connexion de deux appareils seulement. Elle est couramment utilisée dans les systèmes informatiques et les architectures de solutions d'entreprise qui subissent des charges de travail exigeantes. Pour atteindre cette capacité, la technologie utilise un réseau de routeurs connectés à l'aide de câbles et de fibres optiques. Elle déplace les paquets de données entre de nombreux canaux, en réservant efficacement la bande passante tout en réduisant le temps passé à communiquer via RDMA pour déplacer les données. Cela permet aux données de se déplacer entre les mémoires du système au lieu de passer par le processeur, ce qui préserve les performances du système et réduit les limites des configurations de calcul telles que DDR.

Comprendre les bases de la technologie Infiniband

Pour comprendre la technologie Infiniband dans son contexte complet, il convient de mentionner ses éléments essentiels et ses concepts de conception. En tant que technologie, Infiniband a été conçue avec une architecture en couches, qui comprend des couches physiques, de liaison et de réseau et permet par conséquent une transmission facile des informations dans toute l'infrastructure. Les incurs physiques sont constitués de câbles blindés de grande capacité, soit de l'eau, soit de la fibre optique, qui transmettent un signal de données. La couche de liaison gère le contrôle de flux et la détection/correction des erreurs. En revanche, la couche réseau est responsable de la livraison des paquets de données aux destinations finales, garantissant ainsi le bon fonctionnement de la gestion des câbles twinax en cuivre directement connectés. Parmi les facteurs d'Infiniband figure la fonction RDMA qui permet de transférer des données directement d'un emplacement de mémoire à un autre mais sur un nœud différent sans passer par le processeur, ce qui signifie moins de latence. Infiniband est un type d'intercommunication, un moyen adapté aux centres de données et aux environnements de clusters informatiques à forte expansion, qui nécessitent une récupération et un transfert rapides des données.

Comment Infiniband se compare-t-il à Ethernet ?

Infiniband et Ethernet sont des technologies de transmission de données populaires, mais répondent à des exigences et des normes distinctes. Infiniband est exceptionnel en raison de son débit élevé et de sa faible latence, ce qui le rend adapté au calcul haute performance (HPC) et aux centres de données qui se concentrent sur le traitement de données à haut débit. Il peut fonctionner à 100 Gbit/s et des multiples de ce débit. Il dispose de la fonction RDMA, qui permet le transfert de données sans surcharger le processeur.

Au contraire, Ethernet, plus disponible et moins cher, domine le déploiement des réseaux généraux. Si Ethernet a gagné en vitesse au fil des ans, les dernières avancées allant jusqu'à 400 Gbps, il reste en deçà de la latence offerte par Infiniband. Le développement actuel d'Ethernet RDMA sur Ethernet convergé (RoCE) poursuit cet objectif, mais Infiniband est préféré dans les domaines où chaque microseconde est critique. Ainsi, les exigences de performance de l'infrastructure réseau et les considérations de coût semblent déterminer le choix entre les deux types de réseaux.

Exploration du rôle du câble Infiniband dans le transfert de données à haut débit

Le système Infiniband fournit une interconnexion à haut débit entre les nœuds de calcul de l'infrastructure réseau, ce qui peut être réalisé en utilisant Câbles InfinibandUn câble Infiniband peut prendre en charge une architecture de transfert de données élevée, pour laquelle la technologie Infaiband est réputée pour sa bande passante requise et sa faible latence de communication. Ces câbles prennent en charge les systèmes Infiniband par paquets en propageant la transmission de paquets pour les nœuds et vice versa. Ils réduisent considérablement la surcharge, qui aurait autrement été causée par les approches de mise en réseau standard en raison de leur fonction RDMA (Remote Direct Memory Access). Grâce à cette capacité, les applications peuvent accéder directement à la mémoire distante sans passer par le processeur. Cela contribue grandement à augmenter l'efficacité de la récupération des données dans un cluster. Dans le contexte du système HPC, où les performances sont primordiales, la sélection de câbles Infiniband, tels que le twinax en cuivre passif à connexion directe 30AWG, optimise tous les avantages de la mise en œuvre de la technologie dans les centres de données et les clusters HPC.

Pourquoi choisir le cuivre à connexion directe pour votre réseau ?

Avantages de l'utilisation de câbles en cuivre à connexion directe

Les câbles en cuivre à connexion directe (DAC) sont de plus en plus populaires en raison de leur faible coût et de leurs performances dans les environnements de centres de données. Tout d'abord, ces câbles sont plus économes en énergie et ont une latence en millisecondes inférieure à celle des alternatives optiques, ce qui les rend adaptés à l'interfaçage en rack où la vitesse et la consommation d'énergie sont essentielles. Ensuite, les câbles DAC sont plus fiables et durent plus longtemps car ils sont fabriqués à partir de matériaux plus robustes qui résistent à l'usure due aux branchements et débranchements fréquents, ce qui augmente le cycle de vie. Troisièmement, le déploiement est rentable car ils ne nécessitent pas d'émetteurs-récepteurs supplémentaires, de sorte que l'installation est plus simple, en particulier lorsque des câbles twinax passifs en cuivre à connexion directe sont utilisés. Ces caractéristiques font des câbles DAC une solution raisonnable et adaptée aux réseaux denses et aux environnements HPC.

Comparaison entre le cuivre à connexion directe et l'optique active

Lorsque nous commençons à analyser les câbles en cuivre à connexion directe (DAC) par rapport aux câbles optiques actifs (AOC), quelques différences clés se dévoilent qui permettent à un individu de choisir l'un ou l'autre, en fonction des besoins du réseau. Considérant une version 30AWG adaptée aux connexions qui se trouvent souvent à l'intérieur ou entre les racks d'un centre de données, les câbles DAC ont généralement été adaptés aux connexions à courte portée et ont été plus fiables et raisonnablement peu coûteux tout en consommant moins d'énergie. En raison de sa construction robuste, qui résiste à la force des branchements et débranchements fréquents, la latence qui en résulte est considérablement faible et la connectivité est très fiable.

D'autre part, alors que le câblage DAC offre une bonne bande passante, le câblage AOC a l'avantage de pouvoir se connecter sur de plus grandes distances et est donc généralement nécessaire aux côtés des DAC lorsque l'on souhaite communiquer sur de longues distances. En raison de cette préoccupation ou de l'absence de zones de préoccupation, on trouverait l'AOC plus facile à utiliser et moins lourd, ce qui profite de l'utilisation active de l'AOC. Cela pose un problème d'accessibilité car ils sont chers par rapport à l'AOC, étant donné qu'ils nécessitent des composants supplémentaires tels que des émetteurs-récepteurs. Chaque solution parmi les deux options a des restrictions : distance, conception de l'installation, complexité, consommation d'énergie et budget.

Choisir le câble en cuivre à connexion directe adapté à vos besoins

Le choix du câble cuivre à connexion directe (DAC) adapté à votre service est déterminé par les spécificités de votre réseau. Tout d'abord, il est essentiel de décider du débit de données requis par l'application ; les câbles DAC sont disponibles à l'achat pour des débits de données allant de 1 Gbit/s à 400 Gbit/s. Ensuite, évaluez la distance entre les extrémités du connecteur. Les câbles DAC étant optimisés pour les connexions à courte portée (généralement inférieures à 10 m), ils sont préférentiellement utilisés dans les applications intra-rack. De plus, il est nécessaire de maintenir la compatibilité avec le matériel déjà utilisé pour obtenir les meilleurs résultats. Les zones économiquement sensibles qui visent également une faible consommation d'énergie trouveront les câbles DAC supérieurs aux câbles optiques. Enfin, tenez compte de votre environnement et de la fréquence à laquelle les cordons sont branchés et débranchés, car les câbles DAC peuvent supporter une certaine usure. Cela signifie que les câbles dureront plus longtemps et seront plus fiables dans des situations de réseau en constante évolution.

Comment choisir le bon câble en cuivre pour un EDR à bande passante infinie ?

Principales caractéristiques à rechercher dans un assemblage de câbles en cuivre

Plusieurs caractéristiques clés doivent être examinées pour un assemblage de câbles en cuivre conçu pour répondre à la bande passante standard EDR (Enhanced Data Rate). Tout d'abord, la bande passante en question doit être examinée pour s'assurer qu'elle peut faciliter la communication de données sécurisées à haut volume en plus d'une faible latence. En outre, étudiez les avancées dans les matériaux conducteurs et la construction qui devraient améliorer le blindage EMI ou améliorer le maillage. L'intégration avec ces protocoles pour la connectivité est une exigence essentielle pour l'amélioration future des systèmes existants. Les autres caractéristiques comprennent la durabilité, la fiabilité et la flexibilité, car les conceptions épaisses capables d'un bon gainage résistent à la flexibilité dans des conditions de travail actives. Veuillez également tenir compte des performances thermiques et de l'efficacité énergétique, car elles seront bénéfiques pour la fiabilité et la durabilité à long terme de la solution réseau.

Comprendre les capacités de débit de données et de bande passante

Lors de l'évaluation de la bande passante infinie de l'EDR, les principales caractéristiques de débit de données et de bande passante sont la fréquence du signal, la modulation et la capacité du canal. Les fréquences plus élevées ont un potentiel de transmission de données plus important, tandis que l'EDR QSFP28 a un taux de transfert de données plus élevé. Les modulations d'amplitude et de fréquence sont également cruciales pour transférer les données plus efficacement par unité de hertz de bande passante. Le mot de vocabulaire peut être défini comme la capacité du canal, qui, selon le théorème de Shannon-Hartley, inclut le débit binaire maximal possible dans une bande passante spécifique à un niveau de bruit particulier. Une utilisation adéquate de la bande passante doit prendre en compte ces éléments si les câbles en cuivre doivent fonctionner de manière optimale dans un réseau requis tout en réduisant le temps requis.

Assurer la compatibilité avec les systèmes EDR Infiniband

Les composants matériels et logiciels doivent être pris en compte pour étendre l'interopérabilité avec les systèmes à débit de données amélioré InfiniBand. L'intégration d'adaptateurs, de commutateurs et de câbles prédéfinis porteurs de fonctionnalités prenant en charge la fonctionnalité InfiniBand EDR est primordiale. L'adoption d'adaptateurs réseau convergés étend davantage les réseaux sur l'infrastructure de centre de données existante. De plus, l'approbation des spécifications établies par des sociétés professionnelles telles que l'InfiniBand Trade Association garantit la cohérence des composants réseau. Les mises à jour régulières des pilotes et du micrologiciel sont également essentielles pour maintenir le niveau de performance et de sécurité du fonctionnement du logiciel. Ne pas négliger les exigences d'interopérabilité protège contre les perturbations importantes et permet des transferts de données efficaces entre les systèmes réseau.

Qu'est-ce qui distingue les câbles NVIDIA Infiniband ?

Découvrir les avantages des solutions NVIDIA Infiniband

Les solutions NVIDIA présentent de nombreux avantages, ce qui les rend viables pour les réseaux informatiques hautes performances. Par exemple, elles excellent dans la fourniture d'une bande passante élevée. Cela améliore les performances des applications grâce à un taux de transmission de données élevé, ce qui signifie que même les applications Big Data fonctionnent sans problème. Alors que les réseaux ou les technologies de communication traditionnels peuvent introduire un décalage de latence, InfiniBand, mis en œuvre sur des systèmes MicroTCA à faible latence, présente l'avantage d'enregistrer ces données tout au long du cycle d'analyse. 

De plus, les exigences réseau augmentent, en particulier pour Nvidia InfiniBand, qui continue à offrir de meilleures performances réseau. Cela est nécessaire pour augmenter le nombre de centres de données, ce qui garantit une intégration transparente avec des environnements qui sont des clusters plus grands.

De plus, les ressources qui relèvent de NVIDIA InfiniBand disposent de capacités avancées de gestion de réseau qui aident à exécuter efficacement les tâches. Ces fonctionnalités incluent le routage intelligent, le contrôle des surtensions et d'autres mécanismes avancés de détection et de correction des erreurs. Ces fonctionnalités étaient essentielles au départ, en particulier compte tenu de l'objectif des solutions InfiniBand, qui offrent une efficacité et une stabilité accrues sur l'ensemble du serveur pour aider le serveur à s'acquitter des tâches ardues sans perte de performances.

Comparaison des offres Mellanox et NVIDIA Infiniband

La première chose à retenir lorsque l'on parle des technologies réseau de NVIDIA et de Mellanox est que ces deux entreprises ont racheté Mellanox Technologies en 2020, ce qui signifie qu'elles font désormais partie du même écosystème organisationnel. Cette unisson n'était pas présente auparavant, donc le récit historique diffère. Elles sont également connues pour leurs innovations qui ont enflammé l'industrie. Leurs produits ont été essentiels pour construire des infrastructures de serveurs et de stockage massives sans être submergées.

La technologie InfiniBand de NVIDIA continue de s'améliorer grâce au riche héritage de Mellanox. Ces solutions ont également été intégrées dans des infrastructures Nvidia plus robustes, telles que celles qui répondent aux exigences de charge de travail et à l'optimisation de l'IA. La combinaison de la technologie de base de Mellanox et des développements de NVIDIA permet à Mellanox et à d'autres de fournir des services de transfert de données transparents, garantissant une disponibilité maximale du transfert de données sur plusieurs réseaux. NVIDIA commercialise aujourd'hui les solutions InfiniBand parce que l'entreprise a acquis une riche expertise en matière de technologie de réseau depuis des décennies.

Comment installer et entretenir efficacement des câbles en cuivre ?

Bonnes pratiques pour l'installation d'assemblages de câbles en cuivre

Pour minimiser les interférences et les limitations de maintenance future, analysez en détail le parcours et les extrémités pour assurer une installation ingénieuse des assemblages de câbles en cuivre. Utilisez des matériaux de haute qualité comme spécifié dans les normes pertinentes pour garantir la durabilité et des performances satisfaisantes. Installez le rayon de courbure conformément aux instructions afin de ne pas plier les câbles pendant l'installation, ce qui entraînerait une distorsion du signal dans l'installation définie. Évitez les contraintes excessives et les dommages au fil du temps en les fixant correctement avec du matériel, par exemple pour les connexions QSFP haute densité. Identifiez chaque câble avec une étiquette et maintenez son intégrité pour les futurs entretiens et dépannages. Les connecteurs utilisant la technologie EDR ou FDR doivent toujours être vérifiés lors des inspections de routine pour garantir que l'installation est conforme aux exigences de performance. Les excellentes performances du travail et la durée de vie de l'infrastructure du câble sont garanties si tout est suivi correctement.

Conseils d'entretien pour prolonger la durée de vie des câbles en cuivre et Twinax

Pour maximiser la longévité des câbles en cuivre et twinax « New Improved cables », un entretien approprié, y compris un nettoyage constant, est essentiel. Garder les fils propres implique également de les inspecter régulièrement pour détecter tout dommage qui pourrait entraîner une réduction de leurs performances. Gardez toujours un œil attentif sur les conditions environnementales, en veillant à un niveau optimal de température et d'humidité afin qu'aucune dilatation et contraction thermique ne se produisent, augmentant ainsi l'intégrité des charges. Assurez-vous également qu'il n'est pas utile de plier les câbles au-delà du rayon et que les colliers de serrage ne sont pas trop serrés pour éviter les colliers de serrage. Le câblage auxiliaire doit être placé de manière à empêcher les interférences électromagnétiques d'affecter les fils, augmentant ainsi le signal. En respectant ces principes, un entretien régulier des câbles garantira une fiabilité et une efficacité maximales.

Gestion des problèmes courants dans les installations de cuivre à connexion directe

Les réseaux en cuivre à connexion directe (DAC) souffrent également de pertes de connexion, de diaphonie ou de mauvaise manipulation des câbles. Il est essentiel de coller les connecteurs entièrement et par les appareils connectés pour éviter les déconnexions. Si des champs magnétiques puissants entourent la structure physique, des mesures de mise à la terre appropriées sont nécessaires pour éliminer les interférences avec le signal. Les câbles DAC blindés fourniraient également le CADM requis avec une dégradation minimale des performances, en particulier lors de l'utilisation de configurations 4x. Un routage efficace des câbles est nécessaire ; un mauvais routage et des courbures serrées des câbles entraînent des forces mécaniques exercées sur les fils, ce qui réduira probablement la durée de vie des câbles. Cela doit être fait en termes de budget et au fil du temps afin que les améliorations technologiques ou le déploiement ne puissent être effectués que sur des zones ou des appareils qui nécessitent de les modifier.

Sources de référence

InfiniBand

Copper

Fibre optique

Foire Aux Questions (FAQ)

Q : Quels sont les avantages de l’utilisation de câbles QSFP28 100G EDR Infiniband ?

R : Les câbles QSFP28 100G Infiniband sont conçus pour supporter des vitesses allant jusqu'à 100G, ce qui leur permet de prendre en charge une bande passante élevée, une faible latence et de bonnes performances globales dans les centres de données qui nécessitent de telles technologies. Ils conviennent aux réseaux de calcul et de stockage hautes performances. De telles configurations sont aujourd'hui disponibles en DAC (Direct Attach Copper) et en câble optique actif AOC, qui permettent des options twinax pour les distances qui ne suffisent pas pour les câbles actifs. 

Q : Comparez les câbles DAC et AOC en termes de distance de non-respect pour les connexions InfiniBand. 

R : La connexion de câbles DAC (Direct Attach Copper Offers) est peu coûteuse et peut étendre la distance de connectivité, ce qui convient pour des câbles twinax en cuivre passifs compris entre 5 et 7 mètres. Le câble optique actif AOC permet une extension plus longue entre les fils grâce à la fibre optique, permettant des connexions jusqu'à plus de 100 mètres de distance sans perte de performances du câble. Bien qu'abordables, les AOC sont plus performants en termes de connectivité, étendant les distances tout en pesant moins selon les zones ; le seul inconvénient est que les AOC sont plus chers que les fils en cuivre.

Q : Quelles sont les longueurs de câbles QSFP28 vers QSFP28 Infiniband disponibles ?

R : Les câbles Infiniband sont disponibles dans différentes longueurs de câbles pour répondre aux différentes exigences des centres de données. Les longueurs standard des câbles DAC varient entre 1 m et 7 m, c'est-à-dire entre 1 m, 2 m, 3 m, 5 m et 7 m. Les câbles AOC sont fabriqués jusqu'à 10 m, 15 m et 20 m et zippés jusqu'à plus de 30 m. L'essentiel pour obtenir la bonne longueur de produit est d'améliorer les performances efficaces en réduisant la perte de signal.

Q : Quels paramètres dois-je prendre en compte pour mes produits Infiniband ? 

R : Tous les facteurs, tels que le débit de données requis (EDR, HDR, NDR), l'espace entre les appareils, les types de connecteurs (QSFP28, QSFP56), et le plan financier défini doit être pris en compte lors de la prise de décisions pour que le réseau Infiniband fonctionne efficacement. Les câbles Twinax DAC sont abordables lorsque les appareils sont à proximité. Les AOC sont recommandés pour les longs trajets ou dans un cas où une extension est une possibilité. De plus, confirmez que vos périphériques réseau fonctionneront correctement et assurez-vous que vous disposez des câbles de dérivation ou des émetteurs-récepteurs nécessaires.

Q : Quels sont les avantages des câbles twinax passifs en cuivre lorsqu'ils sont utilisés dans les réseaux Infiniband ?

R : Les câbles passifs en cuivre Twinax, ou DAC, présentent plusieurs avantages sur les réseaux Infiniband. Ce sont des câbles twinax en cuivre à connexion directe peu coûteux qui leur confèrent une faible consommation d'énergie et ne sont efficaces que sur de courtes distances. Ces câbles ont de faibles niveaux de latence et sont plus adaptés aux interconnexions et aux applications de liaisons en haut de rack (TOR). Ils sont également simples à déployer, car ils ne nécessitent pas d'émetteurs-récepteurs séparés, ce qui les rend de plus en plus populaires dans de nombreux scénarios de centres de données, principalement lorsque des câbles twinax en cuivre à connexion directe sont utilisés. 

Q : Existe-t-il d’autres plateformes qu’Infiniband sous lesquelles les câbles 100G EDR QSFP28 fonctionneraient ?

R : Les câbles QSFP28 Infiniband EDR sont souvent compatibles avec d'autres normes de réseau 100G comme 100GBASE-CR4 pour Ethernet. Cependant, il est essentiel de tester la compatibilité des équipements. Les câbles spécialement conçus pour des utilisations plus larges uniquement pour prendre en charge Ethernet et Infiniband peuvent être en mesure de le faire, tandis que d'autres câbles peuvent ne prendre en charge qu'un seul protocole. Vérifiez toujours les spécifications et contactez le fabricant ou le vendeur pour plus de détails sur la compatibilité.

Q : Quelles sont les nouvelles normes Infiniband mises en œuvre et comment se comparent-elles à l'EDR ?

R : Infiniband SDR (Single Data Rate), DDR (Double Data Rate), QDR (Quad Data Rate) et EDRA sont les normes de couverture les plus contemporaines. HDR prend en charge jusqu'à 200 Gb/s par port à l'aide de connecteurs QSFP56, tandis que NDR le pousse jusqu'à 400 Gb/s. Ces normes ont une bande passante élevée et sont plus performantes que l'EDR, qui est de 100 Gbps. Cependant, l'EDR est encore assez répandu et est satisfaisant pour la plupart des systèmes existants. Tenez compte de l'extension de votre réseau et du rapport coût-bénéfice de la mise en œuvre de nouvelles techniques lors de sa mise à niveau.