Comment sont conçus les serveurs lames refroidis entièrement par liquide ?

Dans le contexte de la promotion de la technologie de refroidissement liquide et de l'amélioration de la maturité écologique, Inspur Information et Intel ont collaboré pour optimiser la conception de serveurs refroidis par liquide pour une utilisation générale à haute densité. Au-delà des méthodes de refroidissement liquide largement adoptées pour les CPU et GPU, ils ont également exploré et étudié des solutions de refroidissement liquide pour la mémoire haute puissance, les disques SSD, les cartes réseau OCP, les alimentations PSU, PCIe et les modules optiques. L'objectif est d'atteindre la couverture de refroidissement liquide la plus élevée du secteur, répondant aux diverses exigences de déploiement de refroidissement liquide pour les clients dans des secteurs tels que l'Internet et les communications.

Le développement du système lame entièrement refroidi par liquide est basé sur le serveur informatique haute densité 2U à quatre nœuds d'Inspur Information, le i24. Chaque nœud refroidi par liquide prend en charge deux processeurs Intel Xeon Scalable de 5e génération, 16 modules de mémoire DDR5, une carte d'extension PCIe et une carte réseau OCP 3.0. L'ensemble du système peut accueillir jusqu'à huit disques SSD, offrant à la fois une puissance de calcul haute densité et une capacité de stockage aux clients. Les principaux composants générateurs de chaleur du serveur comprennent le processeur, la mémoire, les cartes d'E/S, les disques durs locaux et l'alimentation du châssis.

La solution de refroidissement liquide élimine efficacement environ 95 % de la chaleur du système directement de la source de chaleur par contact avec la plaque refroidie par liquide. Les 5 % de chaleur restants sont évacués par l'eau de refroidissement à l'intérieur de l'échangeur thermique air-liquide situé derrière l'alimentation électrique du bloc d'alimentation. Dans l’ensemble, cela permet d’atteindre une efficacité de captage de chaleur de refroidissement liquide proche de 100 % au niveau du système.

Composition du système et disposition du pipeline

Le système de serveur 2U à quatre nœuds entièrement refroidis par liquide se compose de nœuds, de châssis, de modules de fond de panier central et de disques SSD. Les connexions entre les composants du nœud et du châssis sont réalisées via des connecteurs rapides pour l'insertion aveugle de l'eau, de l'alimentation et du signal.

Chaque nœud individuel du serveur entièrement refroidi par liquide comprend un boîtier de nœud, une carte mère, une puce CPU, des modules de mémoire, une plaque froide de mémoire, une plaque froide de CPU, une plaque froide d'E/S, une alimentation électrique et un échangeur de chaleur arrière.

Sélection du chemin d'écoulement et calcul du débit

Pour simplifier la complexité de la conception des chemins de flux, ce serveur entièrement refroidi par liquide adopte une configuration de chemins de flux en série. Le fluide de refroidissement circule des composants de faible puissance vers les composants de haute puissance, comme illustré dans le diagramme.

Le débit de liquide dans le serveur refroidi entièrement par liquide doit répondre aux exigences de dissipation thermique du système :

1. Pour garantir la fiabilité à long terme des matériaux des canalisations côté secondaire, la température de l'eau de retour côté secondaire ne doit pas dépasser 65 °C.
2. Tous les composants du serveur entièrement refroidi par liquide doivent répondre aux exigences de dissipation thermique dans des conditions limites définies. Pour l'analyse de conception du débit, des plaques froides en cuivre avec PG25 sont sélectionnées.

Pour répondre à l'exigence d'une température de l'eau de retour côté secondaire ne dépassant pas 65 °C, le débit minimum (Qmin) pour un seul nœud PG25 est calculé à l'aide de la formule suivante : Qmin​=ρ⋅C⋅ΔTPsys​​≈1.3LPM

Conception de la plaque froide du processeur

Le module de plaque froide du processeur est conçu sur la base des exigences des processeurs Intel Xeon Scalable de 5e génération. Il optimise des facteurs tels que la dissipation thermique, les performances structurelles, le rendement, le prix et la compatibilité avec différents matériaux de plaque froide. La conception de référence de la plaque froide du processeur se compose principalement d'un support en aluminium, d'une plaque froide du processeur et de connecteurs de plaque froide.

Conception de refroidissement liquide à mémoire

La conception du refroidissement liquide à mémoire utilise une solution innovante de radiateur « dormant », du nom de la façon dont les modules de mémoire se remplissent comme des traverses sur une voie ferrée. Il combine le refroidissement par air traditionnel et le refroidissement par plaque froide. La chaleur générée par les modules de mémoire est transférée aux deux extrémités du radiateur dormant (qui contient des caloducs intégrés, des plaques d'aluminium/cuivre ou des chambres à vapeur). La chaleur est ensuite conduite vers la plaque froide via des coussinets thermiques sélectionnés, puis dissipée à l'aide du fluide de refroidissement présent dans la plaque froide.

La mémoire et le radiateur peuvent être assemblés en externe à l'aide de fixations pour créer la plus petite unité de maintenance (appelée ci-après « module mémoire »). La plaque froide à mémoire présente une structure fixe pour assurer un bon contact entre le radiateur et la plaque froide à mémoire. Selon les besoins, la fixation du module mémoire peut utiliser des vis ou des mécanismes sans outil. Le haut de la plaque froide de mémoire gère la dissipation de la chaleur de la mémoire, tandis que le bas peut être utilisé pour d'autres composants générant de la chaleur sur la carte mère, tels que les composants VR, maximisant ainsi l'utilisation de la plaque froide de mémoire.

Pour simplifier la conception de la plaque froide de la mémoire, des supports d'adaptateur peuvent être utilisés entre la mémoire et la carte mère pour s'adapter à différentes restrictions de hauteur.

Par rapport aux solutions de refroidissement liquide de mémoire à base de tubes existantes sur le marché, l'approche du radiateur dormant offre plusieurs avantages :

Facilité d'entretien : les modules de mémoire peuvent être entretenus de la même manière qu'une mémoire refroidie par air, sans retirer le radiateur et les luminaires. Cela améliore considérablement l'efficacité et la fiabilité de l'assemblage tout en réduisant le risque de dommages lors du démontage ou de la réinstallation du système.

Polyvalence : les performances de dissipation thermique de la solution ne sont pas affectées par les variations d'épaisseur ou d'espacement des puces mémoire. Il peut s'adapter à un espacement mémoire minimum de 7.5 mm et est compatible vers le haut. La conception de découplage entre le radiateur et la plaque froide permet la réutilisation et la standardisation du refroidissement liquide à mémoire.

Rentabilité : les radiateurs à mémoire peuvent être adaptés à différents niveaux de puissance et fabriqués à l'aide de divers processus. La quantité peut être ajustée en fonction des besoins en mémoire. Avec un espacement mémoire de 7.5 mm, il peut répondre aux besoins de dissipation thermique des modules mémoire dépassant 30W.

Simplicité de fabrication et d'assemblage : L'absence de tubes de refroidissement liquide entre les emplacements de mémoire élimine les opérations de soudage et de contrôle de processus complexes. Les processus traditionnels de fabrication de radiateurs refroidis par air et de plaques froides CPU standard peuvent être utilisés. Lors de l'assemblage du radiateur, les performances de dissipation thermique ne sont pas sensibles aux tolérances verticales entre le radiateur et la carte mère, garantissant un bon contact thermique et une facilité d'assemblage.

Fiabilité : l'approche de refroidissement liquide dormant évite les dommages potentiels aux puces mémoire et aux tampons thermiques lors de l'assemblage et prend en charge plusieurs insertions et retraits. De plus, il atténue le risque de mauvais contact du signal dû à l'inclinaison de la mémoire après l'installation, améliorant ainsi considérablement la fiabilité du système.

3) Conception de refroidissement liquide pour disques durs

Une solution innovante de refroidissement liquide pour les disques SSD (SSD) implique un dissipateur thermique interne basé sur un caloduc qui extrait la chaleur de la zone du disque et la transfère vers une plaque froide externe via des coussinets thermiques. Cette conception de refroidissement liquide se compose principalement d'un module de disque SSD avec un dissipateur thermique intégré, d'une plaque froide pour dissiper la chaleur, d'un mécanisme de verrouillage pour fixer le module de disque et d'un support de disque. Le mécanisme de verrouillage garantit une fiabilité de contact à long terme entre le module SSD et la plaque froide en fournissant une force de précharge appropriée. Pour faciliter l'installation dans des espaces restreints, le support de lecteur est conçu pour un montage de type tiroir dans le sens de la profondeur du serveur.

Par rapport aux tentatives de refroidissement liquide existantes dans l’industrie, cette solution démontre plusieurs avancées :

• Prend en charge plus de 30 remplacements à chaud sans interruption de l'alimentation du système.
• Élimine le risque d'endommager les matériaux d'interface thermique lors de l'installation du SSD grâce à la conception du mécanisme de verrouillage, garantissant une fiabilité de contact à long terme.
• Nécessite une complexité de traitement minimale pour la solution de refroidissement liquide, en utilisant les processus traditionnels de refroidissement par air et de fabrication de plaques froides pour processeur.
• Dispose d'une conception sans eau entre les disques, permettant à plusieurs disques de partager la même plaque froide et réduisant le nombre de connecteurs, minimisant ainsi les risques de fuite.
• Adaptable à différentes épaisseurs et quantités de SSD.

4) Conception de refroidissement liquide pour les cartes PCIe/OCP

1.1 Solution de refroidissement liquide PCIe

La solution de refroidissement liquide pour carte PCIe s'appuie sur les cartes PCIe refroidies par air existantes en développant un module dissipateur thermique qui entre en contact direct avec la plaque froide du système. Cette conception dissipe efficacement la chaleur des modules optiques et des principales puces des cartes PCIe. La chaleur des modules optiques est conduite via des caloducs jusqu'au module dissipateur thermique sur la puce principale de la carte PCIe. Le module dissipateur thermique s'interface ensuite avec la plaque froide IO en utilisant un matériau d'interface thermique approprié pour un transfert de chaleur efficace. La carte PCIe refroidie par liquide comprend les composants suivants : pinces de dissipateur thermique QSFP, modules de dissipateur thermique à puce PCIe et la carte PCIe elle-même. Les pinces du dissipateur thermique QSFP sont conçues avec la bonne quantité d'élasticité pour garantir un flottement approprié lors de l'installation du module optique, offrant une bonne expérience utilisateur, évitant d'endommager les modules optiques et atteignant les performances de refroidissement attendues.

1.2 Solution de refroidissement liquide OCP3.0

La solution de refroidissement liquide des cartes OCP3.0 est similaire aux cartes PCIe. Il s'agit de personnaliser un dissipateur thermique refroidi par liquide pour la carte OCP3.0, qui transfère la chaleur des puces génératrices de chaleur de la carte vers le dissipateur thermique refroidi par liquide. En fin de compte, la chaleur est dissipée par le contact du dissipateur thermique avec la plaque froide du système IO.

Le module de refroidissement liquide OCP3.0 se compose principalement du module dissipateur thermique, de la carte OCP3.0 et de son support. En raison des contraintes d'espace, un mécanisme de verrouillage à vis à ressort garantit une fiabilité de contact à long terme entre la carte OCP3.0 refroidie par liquide et le module dissipateur thermique après l'assemblage.

Les considérations liées à la facilité de maintenance et aux exigences fréquentes de remplacement à chaud de la carte OCP3.0 ont conduit à des optimisations dans la conception du mécanisme de verrouillage et dans la sélection des matériaux d'interface thermique, améliorant ainsi la fiabilité globale et la commodité opérationnelle.

1.3 Solution de plaque froide IO

La plaque froide IO sert de plaque de refroidissement multifonctionnelle. Il dissipe non seulement la chaleur des composants situés dans la zone d'E/S de la carte mère, mais assure également le refroidissement des cartes PCIe refroidies par liquide et des cartes OCP3.0.

La plaque froide IO se compose principalement du corps de la plaque froide IO et des canaux en tubes de cuivre. Le corps de la plaque froide est en alliage d'aluminium, tandis que les tubes en cuivre jouent un rôle crucial à la fois dans le flux du liquide de refroidissement et dans une meilleure dissipation de la chaleur. Les considérations de conception spécifiques dépendent de la disposition de la carte mère et des exigences de dissipation thermique des composants individuels. Les modules de dissipateur thermique refroidis par liquide sur les cartes PCIe et les cartes OCP3.0 refroidies par liquide entrent en contact avec la plaque froide d'E/S dans la direction indiquée par les flèches. La sélection des matériaux pour les canaux d'écoulement du liquide de refroidissement doit tenir compte de la compatibilité avec le liquide de refroidissement et les matériaux mouillants du système.

Cette solution de refroidissement liquide à plaque froide IO répond aux exigences d’assemblage multidimensionnelles de divers composants. L'utilisation hybride de matériaux en cuivre et en aluminium résout les problèmes de compatibilité des matériaux, garantissant une dissipation efficace de la chaleur tout en réduisant le poids de la plaque froide de 60 % et en réduisant les coûts.

5) Conception de la plaque froide de l'alimentation électrique

La solution de refroidissement liquide du bloc d'alimentation (PSU) s'appuie sur les blocs d'alimentation refroidis par air existants en fixant à l'extérieur un échangeur de chaleur air-liquide pour refroidir l'air chaud expulsé par le ventilateur du bloc d'alimentation. Cela minimise l'impact du préchauffage du système sur l'environnement externe du centre de données.

L'échangeur de chaleur arrière du PSU présente une structure multicouche avec des canaux d'écoulement et des ailettes superposés. Les dimensions de l'échangeur de chaleur arrière du bloc d'alimentation doivent équilibrer les exigences de dissipation thermique, le poids et le coût tout en garantissant la compatibilité avec l'insertion des câbles du bloc d'alimentation et en respectant les limites d'espace de l'armoire du système. L'échangeur de chaleur arrière du bloc d'alimentation est assemblé indépendamment sur le support du nœud.

Cette solution innovante de refroidissement liquide pour alimentations élimine le besoin de développer de toutes nouvelles alimentations dédiées refroidies par liquide. En tirant parti de sa polyvalence, il raccourcit considérablement les cycles de développement et réduit les coûts. La solution peut s'adapter de manière flexible aux conceptions d'alimentation de plusieurs fournisseurs, ce qui entraîne des économies de plus de 60 % par rapport aux alimentations personnalisées refroidies par liquide.

Pour les applications d’armoires entières, l’approche de refroidissement liquide de l’alimentation électrique peut utiliser une solution d’échangeur thermique air-liquide centralisée. Dans cette configuration, les portes avant et arrière de l'armoire sont scellées et un échangeur de chaleur air-liquide centralisé est positionné au bas de l'armoire. Cette structure centralisée remplace les échangeurs de chaleur air-liquide distribués que l'on trouve généralement dans les blocs d'alimentation montés à l'arrière.

L'échangeur de chaleur air-liquide centralisé est doté d'ailettes ondulées en aluminium avec revêtements hydrophiles, combinées à des tubes en cuivre à coefficient de transfert thermique élevé. Il peut fournir pas moins de 8 kW de puissance frigorifique avec un écart de température de 10°C. Le chemin d'écoulement de l'échangeur de chaleur est optimisé pour une faible résistance, ce qui lui permet de gérer des débits plus élevés. Il intègre une conception anti-condensation et une détection complète des fuites pour éliminer les risques de sécurité. La conception unique de la charnière garantit une capacité de charge robuste, tandis que la conception de connexion par encliquetage facilite l'installation et la maintenance.

Sachant que plus de 95 % de la chaleur générée par un serveur entièrement refroidi par liquide est dissipée à travers la plaque froide, seule une petite fraction (moins de 5 %) nécessite des échangeurs de chaleur air-liquide pour les calculs de refroidissement. Chaque nœud individuel produit environ 40 à 50 W de chaleur qui peut être gérée efficacement par un échangeur de chaleur air-liquide centralisé prenant en charge 8 kW de dissipation thermique. Cette solution peut refroidir efficacement les alimentations électriques de plus de 150 nœuds, le tout à un coût nettement inférieur à celui du déploiement de 150 échangeurs de chaleur air-liquide distribués distincts.

En mettant en œuvre cette approche, les alimentations électriques des serveurs restent inchangées et la chaleur générée est efficacement collectée et échangée à l'arrière de l'armoire à l'aide de l'échangeur thermique air-liquide centralisé. Cette circulation autonome au sein de l'armoire garantit l'absence d'impact négatif sur l'environnement du centre de données, concrétisant ainsi le concept de « Rack en tant qu'ordinateur ».