Wie sind vollständig flüssigkeitsgekühlte Blade-Server aufgebaut?

Im Rahmen der Förderung der Flüssigkeitskühlungstechnologie und der Verbesserung der ökologischen Reife haben Inspur Information und Intel zusammengearbeitet, um das Design flüssigkeitsgekühlter Server für den allgemeinen Einsatz mit hoher Dichte zu optimieren. Neben den weit verbreiteten Flüssigkeitskühlungsmethoden für CPU und GPU haben sie auch Flüssigkeitskühlungslösungen für Hochleistungsspeicher, Solid-State-Laufwerke, OCP-Netzwerkkarten, PSU-Netzteile, PCIe und optische Module untersucht und erforscht. Ziel ist es, die branchenweit höchste Flüssigkeitskühlungsabdeckung zu erreichen und die vielfältigen Anforderungen an die Bereitstellung von Flüssigkeitskühlung für Kunden in Branchen wie Internet und Kommunikation zu erfüllen.

Die Entwicklung des vollständig flüssigkeitsgekühlten Blade-Systems basiert auf dem 2U-Vierknoten-Hochdichte-Rechnerserver i24 von Inspur Information. Jeder flüssigkeitsgekühlte Knoten unterstützt zwei Intel Xeon Scalable-Prozessoren der 5. Generation, 16 DDR5-Speichermodule, eine PCIe-Erweiterungskarte und eine OCP 3.0-Netzwerkkarte. Das gesamte System kann bis zu acht SSD-Solid-State-Laufwerke aufnehmen und bietet Kunden sowohl hochdichte Rechenleistung als auch Speicherkapazität. Zu den wichtigsten wärmeerzeugenden Komponenten des Servers gehören die CPU, der Speicher, die E/A-Karten, die lokalen Festplatten und die Gehäusestromversorgung.

Die Flüssigkeitskühlungslösung entfernt effizient etwa 95 % der Systemwärme direkt von der Wärmequelle durch Kontakt mit der flüssigkeitsgekühlten Platte. Die restlichen 5 % der Wärme werden durch das Kühlwasser im Luft-Flüssigkeits-Wärmetauscher hinter der Stromversorgungseinheit abgeführt. Insgesamt wird dadurch auf Systemebene eine Wärmeaufnahmeeffizienz der Flüssigkeitskühlung von nahezu 100 % erreicht.

Systemzusammensetzung und Pipeline-Layout

Das 2U-Serversystem mit vier Knoten und vollständiger Flüssigkeitskühlung besteht aus Knoten, Gehäuse, Mittelplatine und Solid-State-Laufwerkmodulen. Die Verbindungen zwischen Knoten- und Gehäusekomponenten werden über Schnellverbinder für Wasser-, Strom- und Signalanschlüsse hergestellt.

Jeder einzelne Knoten im vollständig flüssigkeitsgekühlten Server besteht aus einem Knotengehäuse, einer Hauptplatine, einem CPU-Chip, Speichermodulen, einer Speicherkühlplatte, einer CPU-Kühlplatte, einer IO-Kühlplatte, einem Netzteil und einem hinteren Wärmetauscher.

Auswahl des Strömungspfads und Berechnung der Durchflussrate

Um die Komplexität des Strömungspfaddesigns zu vereinfachen, verwendet dieser vollständig flüssigkeitsgekühlte Server eine serielle Strömungspfadkonfiguration. Das Kühlmittel fließt von Komponenten mit geringem Stromverbrauch zu Komponenten mit hohem Stromverbrauch, wie im Diagramm dargestellt.

Die Flüssigkeitsdurchflussrate im vollständig flüssigkeitsgekühlten Server muss den Wärmeableitungsanforderungen des Systems entsprechen:

1. Um die langfristige Zuverlässigkeit der sekundärseitigen Rohrleitungsmaterialien zu gewährleisten, sollte die Rücklaufwassertemperatur der Sekundärseite 65 °C nicht überschreiten.
2. Alle Komponenten des vollständig flüssigkeitsgekühlten Servers müssen die Anforderungen an die Wärmeableitung unter definierten Randbedingungen erfüllen. Für die Analyse des Durchflussdesigns werden Kupferkühlplatten mit PG25 ausgewählt.

Um die Anforderung zu erfüllen, dass die Rücklaufwassertemperatur auf der Sekundärseite 65 °C nicht überschreiten darf, wird die Mindestdurchflussrate (Qmin) für einen einzelnen PG25-Knoten mithilfe der folgenden Formel berechnet: Qmin​=ρ⋅C⋅ΔTPsys​​≈1.3 LPM

CPU-Kühlplattendesign

Das CPU-Kühlplattenmodul wurde basierend auf den Anforderungen der skalierbaren Xeon-Prozessoren der 5. Generation von Intel entwickelt. Es optimiert Faktoren wie Wärmeableitung, strukturelle Leistung, Ertrag, Preis und Kompatibilität mit verschiedenen Kühlplattenmaterialien. Das CPU-Kühlplatten-Referenzdesign besteht hauptsächlich aus einer Aluminiumhalterung, einer CPU-Kühlplatte und Kühlplattenanschlüssen.

Design der Speicherflüssigkeitskühlung

Das Design der Speicherflüssigkeitskühlung verwendet eine innovative „Sleeper“-Kühlerlösung, die nach der Art und Weise benannt ist, wie sich Speichermodule wie Schwellen auf einem Eisenbahngleis füllen. Es kombiniert traditionelle Luftkühlung und Kaltplattenkühlung. Die von den Speichermodulen erzeugte Wärme wird an beide Enden des Sleeper-Kühlers (der eingebaute Wärmerohre, Aluminium-/Kupferplatten oder Dampfkammern enthält) übertragen. Die Wärme wird dann durch ausgewählte Wärmeleitpads an die Kaltplatte geleitet und schließlich mithilfe des Kühlmittels innerhalb der Kaltplatte abgeführt.

Speicher und Kühler können mithilfe von Vorrichtungen extern zusammengebaut werden, um die kleinste Wartungseinheit (im Folgenden als „Speichermodul“ bezeichnet) zu erstellen. Die Speicherkühlplatte verfügt über eine feste Struktur, um einen guten Kontakt zwischen Kühler und Speicherkühlplatte sicherzustellen. Je nach Bedarf kann die Fixierung des Speichermoduls Schrauben oder werkzeuglose Mechanismen verwenden. Die Oberseite der Speicherkühlplatte übernimmt die Wärmeableitung des Speichers, während die Unterseite für andere wärmeerzeugende Komponenten auf dem Motherboard, wie z. B. VR-Komponenten, verwendet werden kann, wodurch die Speicherkühlplatte optimal genutzt wird.

Um das Design der Speicherkühlplatte zu vereinfachen, können Adapterhalterungen zwischen dem Speicher und der Hauptplatine verwendet werden, um unterschiedliche Höhenbeschränkungen auszugleichen.

Im Vergleich zu den auf dem Markt erhältlichen schlauchbasierten Speicherflüssigkeitskühlungslösungen bietet der Sleeper-Radiator-Ansatz mehrere Vorteile:

Einfache Wartung: Speichermodule können ähnlich wie luftgekühlter Speicher gewartet werden, ohne dass Kühler und Halterungen entfernt werden müssen. Dies verbessert die Montageeffizienz und -zuverlässigkeit erheblich und verringert gleichzeitig das Risiko von Schäden während der Demontage oder Neuinstallation des Systems.

Vielseitigkeit: Die Wärmeableitungsleistung der Lösung wird durch Unterschiede in der Dicke oder im Abstand der Speicherchips nicht beeinträchtigt. Sie kann sich an einen minimalen Speicherabstand von 7.5 mm anpassen und ist aufwärtskompatibel. Das Entkopplungsdesign zwischen Kühler und Kühlplatte ermöglicht die Wiederverwendbarkeit und Standardisierung der Speicherflüssigkeitskühlung.

Kosteneffizienz: Speicherradiatoren können auf verschiedene Leistungsstufen zugeschnitten und mit verschiedenen Verfahren hergestellt werden. Die Menge kann je nach Speicheranforderungen angepasst werden. Mit einem Speicherabstand von 7.5 mm kann der Wärmeableitungsbedarf von Speichermodulen über 30 W erfüllt werden.

Einfache Herstellung und Montage: Da zwischen den Speichersteckplätzen keine Flüssigkeitskühlschläuche vorhanden sind, entfallen komplexe Schweiß- und Prozesskontrollen. Es können herkömmliche Herstellungsverfahren für luftgekühlte Radiatoren und Standard-CPU-Kühlplatten verwendet werden. Bei der Montage des Radiators ist die Wärmeableitungsleistung nicht empfindlich gegenüber vertikalen Toleranzen zwischen Radiator und Motherboard, was einen guten thermischen Kontakt und eine einfache Montage gewährleistet.

Zuverlässigkeit: Der Sleeper-Liquid-Kühlansatz vermeidet mögliche Schäden an Speicherchips und Wärmeleitpads während der Montage und unterstützt mehrere Einfügungen und Entnahmen. Darüber hinaus verringert es das Risiko eines schlechten Signalkontakts aufgrund einer Speicherneigung nach der Installation und verbessert so die Systemzuverlässigkeit erheblich.

3) Flüssigkeitskühlungsdesign für Festplatten

Eine innovative Flüssigkeitskühlungslösung für Solid-State-Laufwerke (SSDs) umfasst einen internen, auf Heatpipes basierenden Kühlkörper, der Wärme aus dem Laufwerksbereich ableitet und über Wärmeleitpads an eine externe Kühlplatte überträgt. Dieses Flüssigkeitskühlungsdesign besteht hauptsächlich aus einem Solid-State-Laufwerksmodul mit integriertem Kühlkörper, einer Kühlplatte zur Wärmeableitung, einem Verriegelungsmechanismus zur Sicherung des Laufwerksmoduls und einer Laufwerkshalterung. Der Verriegelungsmechanismus gewährleistet durch entsprechende Vorspannkraft eine langfristige Kontaktzuverlässigkeit zwischen dem SSD-Modul und der Kühlplatte. Um die Installation in engen Räumen zu erleichtern, ist die Laufwerkshalterung für die schubladenartige Montage in Tiefenrichtung des Servers ausgelegt.

Im Vergleich zu bestehenden Flüssigkeitskühlungsversuchen in der Branche weist diese Lösung mehrere Fortschritte auf:

• Unterstützt über 30 Hot-Swaps ohne Unterbrechung der Systemstromversorgung.
• Das Design des Verriegelungsmechanismus schließt das Risiko einer Beschädigung der Wärmeleitmaterialien während der SSD-Installation aus und gewährleistet so eine langfristige Kontaktzuverlässigkeit.
• Erfordert nur minimale Verarbeitungskomplexität für die Flüssigkeitskühlungslösung unter Verwendung herkömmlicher Luftkühlungs- und CPU-Kühlplatten-Herstellungsprozesse.
• Verfügt über ein wasserloses Design zwischen den Laufwerken, sodass mehrere Laufwerke die gleiche Kühlplatte gemeinsam nutzen können. Die Anzahl der Anschlüsse wird reduziert, wodurch das Risiko von Leckagen minimiert wird.
• Anpassbar an unterschiedliche SSD-Dicken und -Mengen.

4) Flüssigkeitskühlungsdesign für PCIe/OCP-Karten

1.1 PCIe-Flüssigkeitskühllösung

Die Flüssigkeitskühlungslösung für PCIe-Karten baut auf vorhandenen luftgekühlten PCIe-Karten auf, indem ein Kühlkörpermodul entwickelt wird, das direkten Kontakt mit der Systemkühlplatte hat. Dieses Design leitet die Wärme von optischen Modulen und den Hauptchips auf PCIe-Karten effektiv ab. Die Wärme von den optischen Modulen wird durch Wärmerohre zum Kühlkörpermodul auf dem Hauptchip der PCIe-Karte geleitet. Das Kühlkörpermodul wird dann mithilfe eines geeigneten thermischen Schnittstellenmaterials für eine effiziente Wärmeübertragung mit der IO-Kühlplatte verbunden. Die flüssigkeitsgekühlte PCIe-Karte besteht aus den folgenden Komponenten: QSFP-Kühlkörperklemmen, PCIe-Chip-Kühlkörpermodule und die PCIe-Karte selbst. Die QSFP-Kühlkörperklemmen sind mit dem richtigen Maß an Elastizität ausgelegt, um während der Installation des optischen Moduls ein ordnungsgemäßes Gleiten zu gewährleisten, ein gutes Benutzererlebnis zu bieten, Schäden an optischen Modulen zu verhindern und die erwartete Kühlleistung zu erzielen.

1.2 OCP3.0 Flüssigkeitskühllösung

Die Flüssigkeitskühlungslösung für die OCP3.0-Karte ähnelt PCIe-Karten. Dabei wird ein flüssigkeitsgekühlter Kühlkörper für die OCP3.0-Karte angepasst, der die Wärme von den wärmeerzeugenden Chips der Karte an den flüssigkeitsgekühlten Kühlkörper überträgt. Letztendlich wird die Wärme durch den Kontakt des Kühlkörpers mit der Kühlplatte des Systems abgeleitet.

Das OCP3.0-Flüssigkeitskühlmodul besteht im Wesentlichen aus dem Kühlkörpermodul, der OCP3.0-Karte und ihrer Halterung. Aus Platzgründen sorgt ein Federschrauben-Verriegelungsmechanismus nach der Montage für eine langfristige Kontaktzuverlässigkeit zwischen der flüssigkeitsgekühlten OCP3.0-Karte und dem Kühlkörpermodul.

Überlegungen zur Wartungsfreundlichkeit und den häufigen Hot-Swap-Anforderungen der OCP3.0-Karte haben zu Optimierungen im Design des Verriegelungsmechanismus und der Auswahl der Materialien für die Wärmeleitpaste geführt, wodurch die allgemeine Zuverlässigkeit und der Betriebskomfort verbessert werden.

1.3 IO-Kaltplattenlösung

Die IO Cold Plate dient als multifunktionale Kühlplatte. Sie leitet nicht nur Wärme von Komponenten im IO-Bereich des Mainboards ab, sondern sorgt auch für die Kühlung von flüssigkeitsgekühlten PCIe-Karten und OCP3.0-Karten.

Die IO-Kühlplatte besteht hauptsächlich aus dem IO-Kühlplattenkörper und den Kupferrohrkanälen. Der Kühlplattenkörper besteht aus einer Aluminiumlegierung, während die Kupferrohre sowohl für den Kühlmittelfluss als auch für die verbesserte Wärmeableitung eine entscheidende Rolle spielen. Spezifische Designüberlegungen hängen vom Mainboard-Layout und den Wärmeableitungsanforderungen der einzelnen Komponenten ab. Die flüssigkeitsgekühlten Kühlkörpermodule auf PCIe-Karten und flüssigkeitsgekühlten OCP3.0-Karten haben in der durch die Pfeile angegebenen Richtung Kontakt mit der IO-Kühlplatte. Bei der Materialauswahl für die Kühlmittelflusskanäle muss die Kompatibilität mit dem Kühlmittel und den Benetzungsmaterialien des Systems berücksichtigt werden.

Diese IO-Kühlplatten-Flüssigkeitskühlungslösung erfüllt mehrdimensionale Montageanforderungen für verschiedene Komponenten. Die hybride Verwendung von Kupfer- und Aluminiummaterialien löst Probleme mit der Materialkompatibilität, gewährleistet eine effektive Wärmeableitung und reduziert gleichzeitig das Gewicht der Kühlplatte um 60 % und senkt die Kosten.

5) Kaltplattendesign der Stromversorgung

Die Flüssigkeitskühlungslösung für Netzteile (PSU) baut auf vorhandenen luftgekühlten Netzteilen auf, indem sie extern einen Luft-Flüssigkeits-Wärmetauscher anbringt, um die vom Netzteillüfter ausgestoßene heiße Luft abzukühlen. Dadurch wird die Vorwärmwirkung des Systems auf die externe Rechenzentrumsumgebung minimiert.

Der hintere Wärmetauscher des Netzteils verfügt über eine mehrschichtige Struktur mit übereinanderliegenden Strömungskanälen und Lamellen. Die Abmessungen des hinteren Wärmetauschers des Netzteils müssen Wärmeableitungsanforderungen, Gewicht und Kosten ausgleichen und gleichzeitig die Kompatibilität mit dem Einstecken des Netzteilkabels und die Einhaltung der Platzbeschränkungen im Systemschrank gewährleisten. Der hintere Wärmetauscher des Netzteils wird unabhängig auf der Knotenhalterung montiert.

Diese innovative Flüssigkeitskühlungslösung für Netzteile macht die Entwicklung völlig neuer, spezieller flüssigkeitsgekühlter Netzteile überflüssig. Durch die Vielseitigkeit dieser Lösung werden die Entwicklungszyklen erheblich verkürzt und die Kosten gesenkt. Die Lösung kann flexibel an Netzteildesigns verschiedener Anbieter angepasst werden, was zu Kosteneinsparungen von über 60 % im Vergleich zu kundenspezifischen flüssigkeitsgekühlten Netzteilen führt.

Bei Anwendungen mit komplettem Schrank kann der Ansatz der Flüssigkeitskühlung des Netzteils eine zentralisierte Luft-Flüssigkeits-Wärmetauscherlösung verwenden. Bei dieser Konfiguration sind die Vorder- und Hintertüren des Schranks versiegelt und ein zentralisierter Luft-Flüssigkeits-Wärmetauscher wird am Boden des Schranks positioniert. Diese zentralisierte Struktur ersetzt die verteilten Luft-Flüssigkeits-Wärmetauscher, die normalerweise in rückseitig montierten Netzteilen zu finden sind.

Der zentralisierte Luft-Flüssigkeits-Wärmetauscher verfügt über gewellte Aluminiumrippen mit hydrophiler Beschichtung, kombiniert mit Kupferrohren mit hohem Wärmeübergangskoeffizienten. Er kann nicht weniger als 8 kW Kühlleistung bei einem Temperaturunterschied von 10 °C liefern. Der Strömungsweg des Wärmetauschers ist auf geringen Widerstand optimiert, sodass er höhere Strömungsraten bewältigen kann. Er verfügt über ein Antikondensationsdesign und eine umfassende Leckerkennung, um Sicherheitsrisiken auszuschließen. Das einzigartige Scharnierdesign sorgt für robuste Tragfähigkeit, während das Design mit Schnappverbindung eine einfache Installation und Wartung ermöglicht.

Wenn man bedenkt, dass über 95 % der von einem vollständig flüssigkeitsgekühlten Server erzeugten Wärme über die Kühlplatte abgeführt wird, sind für Kühlberechnungen nur für einen kleinen Teil (weniger als 5 %) Luft-Flüssigkeits-Wärmetauscher erforderlich. Jeder einzelne Knoten erzeugt etwa 40–50 W Wärme, die von einem zentralen Luft-Flüssigkeits-Wärmetauscher mit einer Wärmeableitung von 8 kW effizient verwaltet werden kann. Mit dieser Lösung können die Netzteile von mehr als 150 Knoten effektiv gekühlt werden, und das zu deutlich geringeren Kosten als bei der Bereitstellung von 150 separaten, verteilten Luft-Flüssigkeits-Wärmetauschern.

Bei der Implementierung dieses Ansatzes bleiben die Server-Netzteile unverändert und die erzeugte Wärme wird effizient gesammelt und an der Rückseite des Gehäuses über den zentralen Luft-Flüssigkeits-Wärmetauscher ausgetauscht. Diese in sich geschlossene Zirkulation innerhalb des Gehäuses stellt sicher, dass die Umgebung des Rechenzentrums nicht negativ beeinflusst wird, und verwirklicht somit das Konzept „Rack als Computer“.