FiberMall analysera la nécessité d'introduire la technologie de refroidissement liquide dans les commutateurs de centre de données du point de vue de la politique et de la puce et discutera de la différenciation des différentes solutions de technologie de refroidissement liquide, ainsi que de l'expérience de recherche et développement et des réalisations de Ruijie dans le refroidissement liquide à plaque froide. interrupteur et interrupteur de refroidissement par liquide d'immersion.
Avec l'augmentation d'Internet, du cloud computing et des services de mégadonnées, la consommation énergétique totale des centres de données augmente et son efficacité énergétique attire de plus en plus l'attention. Selon les statistiques, l'efficacité de l'utilisation de l'énergie (PUE) moyenne d'un centre de données est de 1.49, bien supérieure à l'exigence selon laquelle le PUE doit être inférieur à 1.25 pour un nouveau grand centre de données.
La réduction du PUE est imminente. Comment les fabricants d'équipements réseau peuvent-ils réduire significativement la consommation d'énergie tout en garantissant des performances élevées ? En tant que facteur clé affectant à la fois les performances et la consommation d'énergie, le système de refroidissement est devenu le centre de la réforme des centres de données, et la technologie de refroidissement par liquide remplace progressivement le refroidissement par air traditionnel en tant que solution de refroidissement principale en raison de ses avantages uniques.
Consommation d'énergie et perspective politique
La valeur PUE est le rapport entre la consommation énergétique totale d'un centre de données et la consommation énergétique des équipements informatiques. Plus la valeur PUE est proche de 1, moins la consommation d'énergie des équipements non informatiques est importante, meilleur est le niveau d'efficacité énergétique et plus le centre de données est écologique.
Figure 1. La métrique PUE
FiberMall a découvert que la consommation énergétique moyenne du système de refroidissement atteignait 33 % de la consommation énergétique du centre de données, soit près d'un tiers de la consommation totale. En effet, le système de refroidissement par air utilisé dans le centre de données traditionnel utilise de l'air avec une capacité thermique spécifique déficiente comme moyen de refroidissement. Entraînée par le ventilateur de l'équipement, la chaleur transférée par le processeur et d'autres sources de chaleur au radiateur est évacuée de l'équipement informatique et l'air est refroidi en faisant circuler l'échangeur de chaleur du ventilo-convecteur ou la réfrigération de la climatisation, qui est également le limitation du refroidissement par air. Par conséquent, la résolution de l'efficacité énergétique du système de refroidissement est devenue un défi d'itération technologique auquel sont confrontés les fabricants d'équipements dans le cadre du nouvel environnement politique.
Figure 2. Composition de la consommation d'énergie du centre de données
Perspective de la demande de refroidissement des puces
Avec le développement des puces de commutation, les processus de puces hautes performances (tels que 5 nm) peuvent réduire efficacement la consommation d'énergie par unité de puissance de calcul. Cependant, à mesure que la bande passante de la puce de commutation augmente à 51.2 Tbps, la consommation électrique totale d'une seule puce est passée à environ 900 W. Par conséquent, la résolution du problème de dissipation thermique de la puce de l'appareil est devenue une difficulté dans la conception matérielle de l'ensemble de l'appareil.
Bien que le système de refroidissement refroidi par air actuel puisse toujours supporter le fonctionnement, lorsque le flux de chaleur de la puce (un flux d'énergie par unité de surface par unité de temps) est supérieur à 100 W/cm², les problèmes se succèdent :
Prénom, la réduction supplémentaire de la résistance thermique du dissipateur thermique rencontre un goulot d'étranglement. Afin de pouvoir résoudre la petite puce de près de kilowatts de puissance thermique, le dissipateur thermique doit utiliser une résistance thermique totale inférieure à l'approche architecturale. Cela signifie également qu'une meilleure conductivité thermique et une meilleure conception du dissipateur thermique sont nécessaires si la capacité accrue du dissipateur thermique doit équilibrer la consommation d'énergie accrue de la puce. Mais à l'heure actuelle, la conception et le traitement des dissipateurs thermiques refroidis par air haute performance ont principalement obtenu la prise en charge des caloducs, des chambres à vapeur et des VC 3D, qui sont déjà proches de la limite d'optimisation des performances.
Deuxièmement, limité par les exigences de hauteur des produits interrupteurs, il est difficile de résoudre le problème de dissipation thermique en augmentant le volume du dissipateur thermique. Parce que la chaleur partant de la puce traverse la coque de la puce, les matériaux d'interface thermique, la chambre à vapeur, la soudure, le caloduc, etc., mais est finalement coincée dans les ailettes d'interface de l'air solide. Et en raison du faible coefficient de transfert de chaleur par convection entre les ailettes et l'air, afin d'obtenir la zone de dissipation thermique requise pour le refroidissement des puces haute puissance, les ingénieurs en conception thermique doivent étendre encore et encore la taille du dissipateur thermique, remplissant presque l'espace disponible à l'intérieur des serveurs et des commutateurs. On peut dire que le dernier goulot d'étranglement de la dissipation thermique du refroidissement par air est sa structure à ailettes à la demande inélastique d'espace. De plus, afin d'augmenter le volume d'air, la vitesse du ventilateur a atteint 30,000 XNUMX tr/min, et l'avion prendoff-comme le bruit est un personnel de développement et d'exploitation profondément troublant.
finalement, avec la consommation d'énergie de la puce qui continue d'augmenter, la capacité de refroidissement du système de refroidissement par air est sur le point d'atteindre sa limite. Même si les dissipateurs thermiques refroidis par air peuvent résoudre le problème actuel de refroidissement des commutateurs, à l'avenir, lorsque 102.4/204.8 Tbps deviendront courants et que la consommation d'énergie des puces augmentera, les dissipateurs thermiques refroidis par air finiront par ne plus pouvoir faire face. Par conséquent, une technologie de refroidissement liquide plus performante émerge pour la prochaine génération d'équipements informatiques. Au cours des 5 à 10 prochaines années, il est devenu un consensus dans l'industrie que le refroidissement par air sera progressivement remplacé par le refroidissement par liquide dans les centres de données.
Classification, avantages et inconvénients de la technologie de refroidissement liquide
La technologie actuelle de refroidissement liquide est principalement divisée en refroidissement liquide monophasé et refroidissement liquide biphasé. Dans le livre blanc COBO «Considérations de conception de la connectivité optique dans un commutateur optique co-packagé ou embarqué», Ruijie a trié et classé de manière exhaustive les formes de systèmes de refroidissement pour les équipements informatiques dans les centres de données (Figure 3).
Le refroidissement liquide monophasé signifie que le liquide de refroidissement maintient toujours le liquide dans le processus de cycle de dissipation de la chaleur et évacue facilement la chaleur grâce à une capacité thermique spécifique élevée.
Le refroidissement liquide à deux phases signifie que le liquide de refroidissement subit un changement de phase pendant le processus de dissipation de la chaleur, et le liquide de refroidissement élimine la chaleur de l'équipement grâce à la très haute chaleur latente de vaporisation.
En revanche, le refroidissement liquide monophasé est moins complexe et plus facile à réaliser, et sa capacité de dissipation thermique est suffisante pour prendre en charge les appareils informatiques dans le centre de données. Par conséquent, c'est le meilleur choix dans la phase actuelle.
Figure 3. Principaux modes de dissipation thermique des appareils informatiques dans le centre de données
Le refroidissement liquide monophasé est divisé en refroidissement liquide à plaque froide et refroidissement liquide par immersion. Le refroidissement liquide à plaque froide fixe la plaque froide liquide sur le dispositif de chauffage principal de l'équipement et s'appuie sur le liquide circulant à travers la plaque froide pour évacuer la chaleur afin d'atteindre l'objectif de dissipation thermique. Il existe déjà plusieurs applications pour le centre de données de supercalculateurs, et le comité OCP a promu le déploiement de la norme d'architecture Manifold via Open Rack V3.0.
Le refroidissement liquide par immersion consiste à immerger l'ensemble de la machine directement dans le liquide de refroidissement, en s'appuyant sur le flux de circulation naturelle ou forcée du liquide pour évacuer la chaleur générée par le fonctionnement du serveur et d'autres équipements. Il a été largement utilisé dans l'extraction de monnaie numérique et le supercalcul et a également été un sujet brûlant discuté par l'OCP, l'ODCC et d'autres organisations ces dernières années. Le centre de données d'une grande entreprise de cloud computing a procédé à un déploiement à grande échelle.
Les avantages du refroidissement liquide par immersion incluent :
- parce que le liquide de refroidissement entre directement en contact avec l'équipement, la capacité de dissipation thermique est plus forte et le risque de surchauffe de l'appareil est plus faible ;
- L'équipement de refroidissement liquide par immersion ne nécessite pas de ventilateurs, ce qui réduit les vibrations de l'équipement et prolonge la durée de vie des périphériques matériels.
- La température d'alimentation en eau glacée du côté de la salle de refroidissement liquide par immersion est élevée, le côté extérieur est plus facile à chauffer. Par conséquent, la sélection du site de la pièce n'est plus à l'ère du refroidissement par air, si limitée par la région et la température.
Bien sûr, le refroidissement liquide par immersion présente également des inconvénients, notamment un coût élevé, des exigences de sécurité élevées et des exigences de charge élevées.
Les avantages du refroidissement liquide à plaque froide sont les suivants :
Il y a peu de changements dans la salle d'équipement. Seuls les racks, les unités de distribution de liquide de refroidissement (CDU) et les systèmes d'alimentation en eau doivent être changés. De plus, le refroidissement liquide à plaque froide peut utiliser plusieurs types de liquide de refroidissement, et la quantité est bien inférieure à celle du type à immersion, de sorte que le coût d'investissement initial est inférieur. En outre, la chaîne de l'industrie du refroidissement liquide à plaque froide est plus mature, le marché est plus acceptable. Cependant, la plaque froide présente également certaines limites. Tout d'abord, les conduites de liquide et les connecteurs peuvent fuir, causant des dommages à l'équipement et une interruption de service.
Expérience en recherche et développement d'interrupteurs refroidis par liquide par immersion
Ces dernières années, de grandes entreprises ont exploré la solution des centres de données refroidis par liquide par immersion, et Ruijie Network a accumulé plus d'expérience dans la recherche et le développement de commutateurs refroidis par liquide par immersion, ce qui se reflète principalement dans l'apparence structurelle, la découpe du ventilateur, la compatibilité des matériaux. , caractéristiques SI (intégrité du signal) quatre aspects :
- Aspect structurel
Tout d'abord, le plus grand changement est que l'alimentation a été déplacée du panneau arrière du commutateur vers le panneau avant. L'interface du panneau augmente également la largeur du commutateur de 19 pouces à 21-23 pouces afin d'adapter deux alimentations. La conception globale de l'alignement de l'alimentation de la carte de circuit imprimé (PCB) changera également.
Figure 4. Modifications de l'apparence du commutateur
En raison du coût élevé du liquide de refroidissement, afin d'économiser autant que possible l'utilisation totale du liquide de refroidissement, l'espace supplémentaire est rempli de remplissage pour atteindre l'objectif d'occuper plus d'espace de liquide de refroidissement dans le réservoir d'immersion personnalisé basé sur le serveur. Comme le montre la figure 5, le bloc jaune est la charge, qui est utilisée pour occuper le liquide.
Figure 5. Évolution de la structure des commutateurs
- Découpe du ventilateur
Les changements structurels entraînent également un écrêtage global du ventilateur. Non seulement les concepteurs n'ont plus besoin de concevoir des ventilateurs de périphérique pour le commutateur, mais ils peuvent également choisir simplement une conception sans ventilateur pour l'alimentation. Un tel changement réduit non seulement la valeur PUE, mais réduit également considérablement le bruit dans la salle des serveurs.
- Compatibilité des matériaux
Étant donné que le liquide de refroidissement du refroidissement par liquide par immersion est principalement divisé en fluorocarbures et en une variété d'huiles, le commutateur doit prêter attention aux deux points suivants :
- Si les matériaux des dispositifs optiques utilisés sont scellés. S'ils ne sont pas scellés et qu'une fuite se produit, la pollution du chemin optique peut entraîner une atténuation du signal et une défaillance du commutateur ;
- Si tous les appareils réagiront physiquement ou chimiquement avec le liquide de refroidissement. Si une réaction se produit, la proportion matérielle de certains composants de l'interrupteur d'origine changera, ce qui entraînera des risques tels que le changement d'isolation. Par conséquent, les pièces structurelles non métalliques, diverses pièces électriques, les matériaux TIM, les blocs de remplissage, les poignées en plastique, les ensembles de pattes de suspension, les étiquettes, les colles, les connecteurs, les câbles et les cartes de circuits imprimés (PCB) doivent être compatibles avec le liquide de refroidissement.
- Caractéristiques SI (Intégrité du Signal)
Comme l'interrupteur refroidi par liquide à immersion sera en contact direct avec le liquide, SI (intégrité du signal) sera affecté par le liquide. Il existe donc des exigences particulières pour les cartes PCB comme suit.
(1) Essayez d'éviter le montage en surface des modèles clés.
(2) Le signal interne n'est pas affecté et le signal à basse vitesse est monté en surface sans trop d'attention.
(3) Le signal à grande vitesse doit être monté en surface, pour améliorer la conception de l'impédance ;
(4) Déployez le BGA et les connecteurs pour minimiser la longueur de la ligne de surface ;
(5) La conception de perte et la conception d'impédance des SerDes 25G et 50G sont différentes de celles traditionnelles.
Expérience en recherche et développement d'interrupteurs refroidis par liquide à plaque froide
Sur la base des caractéristiques particulières de la technologie photonique au silicium, Ruijie Network a développé des commutateurs refroidis par liquide à plaque froide. Parmi elles, la technologie OBO et la technologie NPO consistent à conditionner le module optique sur la carte mère, au plus près de la puce MAC. Cependant, cela rendra la source de chaleur trop concentrée et la hauteur de l'équipement est limitée par les exigences de conception de la forme haute densité 1RU attendue, il est donc difficile de résoudre le problème avec le dissipateur thermique traditionnel refroidi par air. Si un refroidissement liquide par immersion est utilisé, l'étanchéité de la liaison optique est sérieusement mise à l'épreuve.
Figure 6. Évolution de la structure des commutateurs
À cet égard, Ruijie adopte un dissipateur de chaleur à refroidissement liquide à plaque froide pour couvrir la puce MAC et le module optique environnant de manière intégrée, et évacue la chaleur par le flux du liquide de refroidissement dans le canal d'écoulement de la plaque. De plus, pour minimiser la complexité et le risque de fuite des canalisations de liquide, les autres composants chauffants de l'appareil sont refroidis par des ventilateurs. La solution de refroidissement à plaque froide peut faire d'une pierre deux coups. Il peut non seulement répondre aux exigences de dissipation thermique de la source de chaleur haute puissance et haute densité NPO/CPO, mais également réduire la hauteur de l'appareil au 1RU extrêmement fin.
Réalisations de recherche et développement de Ruijie dans le commutateur refroidi par liquide
En 2019, Ruijie Network a coopéré avec un client Internet domestique pour fournir le commutateur de centre de données refroidi par liquide immergé 32 * 100 Gbps et le commutateur de gestion de réseau gigabit correspondant. En 2022, Ruijie Network a commencé à distribuer un interrupteur refroidi par liquide à immersion 100/200/400G et un interrupteur refroidi par liquide à plaque froide.
Ruijie Network a lancé deux commutateurs commerciaux refroidis par liquide par immersion, à savoir le commutateur d'accès au centre de données 32G à 100 ports et le commutateur de réseau de gestion 48G à 1 ports. Les deux interrupteurs mesurent 21″ de large et sont compatibles avec le liquide de refroidissement 3M FC-40. L'alimentation prend en charge la redondance 1+1. Le module ABS + PC enfichable permet d'économiser considérablement le coût du liquide de refroidissement. Les rainures sur le module facilitent l'écoulement du liquide pour la dissipation de la chaleur et équilibrent intelligemment la flottabilité et la gravité.
Lors du Global OCP Summit en novembre 2021, Ruijie Network offCommutateur NPO refroidi par liquide à plaque froide 64 * 400G publié ici pour répondre aux exigences de haute fiabilité des centres de données et des réseaux de transporteurs.
Sous la direction de l'OIF, Ruijie Network a coopéré avec de nombreux fabricants du secteur pour lancer le prototype structurel de commutateur NPO refroidi par liquide à plaque froide 64 * 800G lors du sommet OFC 2022. Le panneau avant prend en charge 64 connecteurs fibre 800G, chacun pouvant également être divisé en deux ports 400G pour une compatibilité ascendante. Le nombre de modules de source laser externe est passé à 16. Grâce à la conception Blind-mate, les dommages causés par le laser haute puissance aux yeux humains sont évités et la sécurité du personnel d'exploitation et de maintenance est garantie dans une plus grande mesure. Les puces de commutation et les modules NPO prennent en charge le refroidissement par plaque froide pour une dissipation efficace de la chaleur, ce qui résout le problème du flux de chaleur hautement concentré. Par rapport aux performances du commutateur avec le module optique enfichable traditionnel et la solution refroidie par air, la consommation d'énergie est considérablement réduite.