FiberMall wird die Notwendigkeit der Einführung von Flüssigkeitskühlungstechnologie in Rechenzentrums-Switches aus der Perspektive von Politik und Chip analysieren und die Differenzierung verschiedener Lösungen der Flüssigkeitskühlungstechnologie sowie die Forschungs- und Entwicklungserfahrung und Erfolge von Ruijie in der Kühlplatten-Flüssigkeitskühlung diskutieren Schalter und Immersionsflüssigkeitskühlungsschalter.
Mit der Zunahme von Internet, Cloud Computing und Big-Data-Diensten steigt der Gesamtenergieverbrauch von Rechenzentren, und ihre Energieeffizienz erhält immer mehr Aufmerksamkeit. Laut Statistik liegt die durchschnittliche Power Usage Effectiveness (PUE) eines Rechenzentrums bei 1.49 und damit weit über der Anforderung, dass die PUE für ein neues großes Rechenzentrum weniger als 1.25 betragen muss.
PUE-Reduktion steht unmittelbar bevor. Wie können Hersteller von Netzwerkgeräten den Stromverbrauch erheblich reduzieren und gleichzeitig eine hohe Leistung gewährleisten? Als Schlüsselfaktor, der sowohl die Leistung als auch den Stromverbrauch beeinflusst, ist das Kühlsystem in den Mittelpunkt der Rechenzentrumsreform gerückt, und die Flüssigkeitskühlungstechnologie ersetzt aufgrund ihrer einzigartigen Vorteile nach und nach die herkömmliche Luftkühlung als Mainstream-Kühllösung.
Energieverbrauch und politische Perspektive
Der PUE-Wert ist das Verhältnis des Gesamtenergieverbrauchs eines Rechenzentrums zum Energieverbrauch der IT-Geräte. Je näher der PUE-Wert bei 1 liegt, desto geringer ist der Energieverbrauch von Nicht-IT-Geräten, desto besser ist die Energieeffizienz und desto grüner ist das Rechenzentrum.
Abbildung 1. Die PUE-Metrik
FiberMall stellte fest, dass der durchschnittliche Energieverbrauch des Kühlsystems bis zu 33 % des Energieverbrauchs des Rechenzentrums beträgt, was fast einem Drittel des Gesamtverbrauchs entspricht. Denn die im klassischen Rechenzentrum eingesetzte Luftkühlung nutzt als Kühlmedium Luft mit ungenügender spezifischer Wärmekapazität. Angetrieben durch den Lüfter im Gerät wird die von der CPU und anderen Wärmequellen an den Kühler übertragene Wärme von den IT-Geräten abgeführt, und die Luft wird gekühlt, indem der Fan-Coil-Wärmetauscher oder die Klimaanlagenkühlung zirkuliert, was auch der ist Begrenzung der Luftkühlung. Daher ist die Lösung der Energieeffizienz des Kühlsystems zu einer Technologie-Iterations-Herausforderung geworden, der sich Gerätehersteller im neuen politischen Umfeld stellen müssen.
Abbildung 2. Zusammensetzung des Energieverbrauchs von Rechenzentren
Perspektive des Chipkühlungsbedarfs
Mit der Entwicklung von Switch-Chips können leistungsfähige Chipprozesse (zB 5nm) den Stromverbrauch pro Einheit Rechenleistung effektiv reduzieren. Da die Bandbreite des Schaltchips jedoch auf 51.2 Tbps ansteigt, ist der Gesamtleistungsverbrauch eines einzelnen Chips auf etwa 900 W gestiegen. Daher ist die Lösung des Wärmeableitungsproblems des Gerätechips zu einer Schwierigkeit bei der Hardwarekonstruktion des gesamten Geräts geworden.
Obwohl das aktuelle luftgekühlte Kühlsystem den Betrieb noch unterstützen kann, tritt das Problem nach und nach auf, wenn der Chip-Wärmefluss (ein Energiefluss pro Flächeneinheit pro Zeiteinheit) größer als 100 W/cm² ist:
Vornamestößt die weitere Reduzierung des thermischen Widerstands des Kühlkörpers auf einen Flaschenhals. Um den kleinen Chip fast Kilowatt Wärmeleistung auflösen zu können, muss der Kühlkörper einen geringeren Gesamtwärmewiderstand des architektonischen Ansatzes verwenden. Dies bedeutet auch, dass eine bessere Wärmeleitfähigkeit und ein besseres Kühlkörperdesign erforderlich sind, wenn die erhöhte Kapazität des Kühlkörpers den erhöhten Stromverbrauch des Chips ausgleichen soll. Aber derzeit haben das Design und die Verarbeitung von luftgekühlten Hochleistungskühlkörpern hauptsächlich Heatpipe-, Vapor-Chamber- und 3D-VC-Unterstützung erhalten, die bereits nahe an der Grenze der Leistungsoptimierung liegen.
Zweite, begrenzt durch die Höhenanforderungen der Schalterprodukte, ist es schwierig, das Wärmeableitungsproblem durch Erweitern des Volumens des Kühlkörpers zu lösen. Denn die vom Chip ausgehende Wärme durchbricht die Chiphülle, die Wärmeleitmaterialien, die Dampfkammer, das Lötmittel, das Wärmerohr usw., bleibt aber schließlich in den Grenzflächenlamellen von fester Luft hängen. Und wegen des niedrigen konvektiven Wärmeübertragungskoeffizienten zwischen den Rippen und der Luft müssen Wärmedesigner die Größe des Kühlkörpers immer wieder erweitern, um die erforderliche Wärmeableitungsfläche für die Hochleistungs-Chipkühlung zu erreichen. fast den verfügbaren Platz in den Servern und Switches ausfüllen. Es kann gesagt werden, dass der letzte Engpass der Luftkühlungswärmeableitung ihre Rippenstruktur gegenüber dem unelastischen Platzbedarf ist. Darüber hinaus, um das Luftvolumen zu erhöhen, hat die Lüfterdrehzahl 30,000 U / min erreicht, und das Flugzeug nimmtoff-ähnlicher Lärm ist ein zutiefst beunruhigendes Entwicklungs- und Betriebspersonal.
Endlich, bei weiter steigendem Stromverbrauch der Chips, stößt die Kühlleistung der Luftkühlung an ihre Grenzen. Auch wenn luftgekühlte Kühlkörper das aktuelle Problem der Switch-Kühlung lösen können, werden luftgekühlte Kühlkörper in Zukunft, wenn 102.4/204.8 Tbps zum Mainstream werden und der Stromverbrauch der Chips größer wird, letztendlich nicht mehr in der Lage sein. Daher entsteht für die nächste Generation von IT-Geräten eine leistungsstärkere Flüssigkeitskühlungstechnologie. In den nächsten 5-10 Jahren hat sich in der Branche Konsens entwickelt, dass die Luftkühlung in Rechenzentren schrittweise durch Flüssigkeitskühlung ersetzt wird.
Einteilung, Vor- und Nachteile der Flüssigkeitskühltechnik
Die aktuelle Flüssigkeitskühlungstechnologie wird hauptsächlich in Einphasen-Flüssigkeitskühlung und Zweiphasen-Flüssigkeitskühlung unterteilt. Im COBO-Whitepaper „Design Considerations of Optical Connectivity in a Co-Packaged or On-Board Optics Switch“ hat Ruijie die Formen von Kühlsystemen für IT-Equipment in Rechenzentren umfassend aussortiert und klassifiziert (Abbildung 3).
Einphasen-Flüssigkeitskühlung bedeutet, dass das Kühlmittel während des Wärmeableitungszyklus immer flüssig bleibt und durch eine hohe spezifische Wärmekapazität leicht Wärme abführt.
Zweiphasen-Flüssigkeitskühlung bedeutet, dass das Kühlmittel während des Wärmeableitungsprozesses einen Phasenwechsel durchläuft und das Kühlmittel durch die sehr hohe latente Verdampfungswärme Wärme aus dem Gerät entfernt.
Im Gegensatz dazu ist die einphasige Flüssigkeitskühlung weniger komplex und einfacher zu realisieren, und ihre Wärmeableitungskapazität reicht aus, um IT-Geräte im Rechenzentrum zu unterstützen. Daher ist es in der aktuellen Phase die beste Wahl.
Abbildung 3. Hauptarten der Wärmeableitung von IT-Geräten im Rechenzentrum
Die Einphasen-Flüssigkeitskühlung wird in Cold-Plate-Flüssigkeitskühlung und Immersions-Flüssigkeitskühlung unterteilt. Die Kühlplatten-Flüssigkeitskühlung fixiert die flüssige Kühlplatte auf der Hauptheizvorrichtung des Geräts und verlässt sich darauf, dass die Flüssigkeit, die durch die Kühlplatte fließt, die Wärme abführt, um den Zweck der Wärmeableitung zu erreichen. Es gibt bereits mehrere Anwendungen für das Supercomputer-Rechenzentrum, und das OCP-Komitee hat den Einsatz des Manifold-Architekturstandards durch Open Rack V3.0 vorangetrieben.
Bei der Immersionsflüssigkeitskühlung wird die gesamte Maschine direkt in das Kühlmittel getaucht, wobei auf den natürlichen oder erzwungenen Flüssigkeitskreislauf zurückgegriffen wird, um die durch den Betrieb des Servers und anderer Geräte erzeugte Wärme abzuführen. Es wurde in großem Umfang beim Mining digitaler Währungen und Supercomputing eingesetzt und war in den letzten Jahren auch ein heißes Thema, das von OCP, ODCC und anderen Organisationen diskutiert wurde. Das Rechenzentrum eines großen Cloud-Computing-Unternehmens hat eine groß angelegte Bereitstellung durchgeführt.
Zu den Vorteilen der Immersionsflüssigkeitskühlung gehören:
- Da das Kühlmittel direkt mit dem Gerät in Kontakt kommt, ist die Wärmeableitungskapazität stärker und das Überhitzungsrisiko des Geräts geringer.
- Immersions-Flüssigkeitskühlgeräte benötigen keine Lüfter, was zu weniger Gerätevibrationen und einer längeren Lebensdauer von Hardwaregeräten führt.
- Die gekühlte Wasserzufuhrtemperatur auf der Seite des Immersionsflüssigkeitskühlraums ist hoch, die Außenseite ist leichter zu heizen. Damit ist die Standortwahl des Raumes nicht mehr wie bei der Luftkühlung, so eingeschränkt durch die Region und Temperatur.
Natürlich hat die Immersionsflüssigkeitskühlung auch Nachteile, einschließlich hoher Kosten, hoher Sicherheitsanforderungen und hoher Belastungsanforderungen.
Die Vorteile der Cold-Plate-Flüssigkeitskühlung sind wie folgt:
Im Geräteraum gibt es wenige Änderungen. Lediglich die Racks, Coolant Distribution Units (CDU) und Wasserversorgungssysteme müssen ausgetauscht werden. Darüber hinaus können bei der Kühlplatten-Flüssigkeitskühlung mehr Arten von Kühlmitteln verwendet werden, und die Menge ist viel geringer als beim Immersionstyp, sodass die anfänglichen Investitionskosten niedriger sind. Darüber hinaus ist die Industriekette der Kühlplatten-Flüssigkeitskühlung ausgereifter, der Markt ist akzeptabler. Allerdings hat die Kühlplatte auch einige Einschränkungen. Erstens können Flüssigkeitsleitungen und Anschlüsse auslaufen, was zu Geräteschäden und Betriebsunterbrechungen führen kann.
Forschungs- und Entwicklungserfahrung von immersionsflüssigkeitsgekühlten Schaltern
In den letzten Jahren haben große Unternehmen die Lösung von immersionsflüssigkeitsgekühlten Rechenzentren erforscht, und Ruijie Network hat mehr Erfahrung in der Forschung und Entwicklung von immersionsflüssigkeitsgekühlten Schaltern gesammelt, was sich hauptsächlich in der strukturellen Erscheinung, dem Lüfterausschnitt und der Materialkompatibilität widerspiegelt , SI-Eigenschaften (Signalintegrität) vier Aspekte:
- Strukturelles Erscheinungsbild
Die größte Änderung besteht zunächst darin, dass die Stromversorgung von der Rückseite des Switches auf die Frontplatte verlegt wurde. Die Panel-Schnittstelle erhöht auch die Schalterbreite von 19 Zoll auf 21-23 Zoll, um zwei Netzteile unterzubringen. Das gesamte Ausrichtungsdesign der Leiterplatte (PCB) der Stromversorgung wird sich ebenfalls ändern.
Abbildung 4. Änderungen im Aussehen des Schalters
Aufgrund der hohen Kühlmittelkosten wird, um den gesamten Kühlmittelverbrauch so weit wie möglich einzusparen, der zusätzliche Raum mit Füllstoff gefüllt, um den Zweck zu erreichen, mehr Kühlmittelraum in dem serverbasierten kundenspezifischen Tauchtank zu belegen. Wie in Abbildung 5 gezeigt, ist der gelbe Block der Füllstoff, der verwendet wird, um die Flüssigkeit aufzunehmen.
Abbildung 5. Weiterentwicklung der Schalterstruktur
- Lüfterausschnitt
Strukturelle Änderungen führen auch zu einem allgemeinen Fan-Clipping. Designer müssen nicht nur keine Gerätelüfter mehr für den Switch entwerfen, sie können auch einfach ein lüfterloses Design für das Netzteil wählen. Eine solche Änderung reduziert nicht nur den PUE-Wert, sondern reduziert auch die Geräuschentwicklung im Serverraum erheblich.
- Materialverträglichkeit
Da sich das Kühlmittel der Immersionsflüssigkeitskühlung hauptsächlich in Fluorkohlenwasserstoffe und eine Vielzahl von Ölen aufteilt, sollte beim Umstieg auf folgende zwei Punkte geachtet werden:
- Ob die Materialien der verwendeten optischen Geräte versiegelt sind. Wenn sie nicht abgedichtet sind und ein Leck auftritt, kann eine Verschmutzung des optischen Pfads zu einer Signaldämpfung und einem Schalterausfall führen;
- Ob alle Geräte physikalisch oder chemisch mit dem Kühlmittel reagieren. Kommt es zu einer Reaktion, ändert sich der Materialanteil einiger Komponenten des Originalschalters, was Risiken wie Isolationsveränderungen mit sich bringt. Daher sollten nichtmetallische Strukturteile, verschiedene elektrische Teile, TIM-Materialien, Füllblöcke, Kunststoffgriffe, hängende Ösenbaugruppen, Etiketten, Klebstoffe, Steckverbinder, Kabel und Leiterplatten (PCB) mit Kühlmittel kompatibel sein.
- SI-Eigenschaften (Signalintegrität)
Da der flüssigkeitsgekühlte Immersionsschalter in direktem Kontakt mit der Flüssigkeit steht, wird SI (Signalintegrität) durch die Flüssigkeit beeinflusst. Es gibt also spezielle Anforderungen für Leiterplatten wie folgt.
(1) Versuchen Sie, die Oberflächenmontage von Schlüsselmodellen zu vermeiden.
(2) Das innere Signal wird nicht beeinflusst, und das langsame Signal wird ohne große Aufmerksamkeit oberflächenmontiert.
(3) Hochgeschwindigkeitssignal muss oberflächenmontiert werden, um das Impedanzdesign zu verbessern;
(4) BGA und Verbinder auffächern, um die Oberflächenleitungslänge zu minimieren;
(5) Das Verlustdesign und das Impedanzdesign von 25G- und 50G-SerDes unterscheiden sich von den herkömmlichen.
Forschungs- und Entwicklungserfahrung von flüssigkeitsgekühlten Cold-Plate-Schaltern
Basierend auf den besonderen Eigenschaften der Silizium-Photonik-Technologie hat Ruijie Network flüssigkeitsgekühlte Cold-Plate-Switches entwickelt. Unter anderem sollen die OBO-Technologie und die NPO-Technologie das optische Modul so nah wie möglich am MAC-Chip auf dem Motherboard verpacken. Dadurch wird die Wärmequelle jedoch zu konzentriert, und die Gerätehöhe ist durch die Designanforderungen der erwarteten 1RU-Form mit hoher Dichte begrenzt, sodass es schwierig ist, das Problem mit dem herkömmlichen luftgekühlten Kühlkörper zu lösen. Wenn Immersionsflüssigkeitskühlung verwendet wird, wird die Abdichtung der optischen Verbindung stark herausgefordert.
Abbildung 6. Weiterentwicklung der Schaltstruktur
In dieser Hinsicht verwendet Ruijie einen Kaltplatten-Flüssigkeitskühlkörper, um den MAC-Chip und das umgebende optische Modul auf integrierte Weise abzudecken, und leitet die Wärme durch die Strömung der Kühlflüssigkeit im Strömungskanal in der Platte ab. Um die Komplexität und das Leckagerisiko von Flüssigkeitsleitungen zu minimieren, werden außerdem andere Heizkomponenten des Geräts durch Lüfter gekühlt. Die Cold-Plate-Kühllösung kann zwei Fliegen mit einer Klappe schlagen. Es kann nicht nur die Wärmeableitungsanforderungen von NPO/CPO-Hochleistungs- und Wärmequellen mit hoher Dichte erfüllen, sondern auch die Höhe des Geräts auf die extrem dünne 1RU reduzieren.
Ruijies Forschungs- und Entwicklungserfolge bei flüssigkeitsgekühlten Schaltern
Im Jahr 2019 kooperierte Ruijie Network mit einem inländischen Internetkunden, um den eingetauchten flüssigkeitsgekühlten 32 * 100-Gbit / s-Rechenzentrums-Switch und den entsprechenden Gigabit-Netzwerkverwaltungs-Switch zu liefern. Im Jahr 2022 begann Ruijie Network mit dem Vertrieb von flüssigkeitsgekühlten 100/200/400G Immersions-Switches und flüssigkeitsgekühlten Cold-Plate-Switches.
Ruijie Network hat zwei kommerzielle flüssigkeitsgekühlte Immersions-Switches auf den Markt gebracht, nämlich einen 32-Port-100G-Rechenzentrumszugangs-Switch und einen 48-Port-1G-Management-Netzwerk-Switch. Beide Schalter sind 21″ breit und kompatibel mit 3M FC-40 Kühlmittel. Netzteil unterstützt 1+1 Redundanz. Das steckbare ABS+PC-Modul spart erheblich Kühlmittelkosten. Die Rillen auf dem Modul erleichtern den Flüssigkeitsfluss zur Wärmeableitung und gleichen Auftrieb und Schwerkraft geschickt aus.
Auf dem Global OCP Summit im November 2021 hat Ruijie Network offDer flüssigkeitsgekühlte 64*400G-Coldplate-NPO-Switch wurde offiziell herausgebracht, um die hohen Zuverlässigkeitsanforderungen von Rechenzentren und Carrier-Netzwerken zu erfüllen.
Unter der Führung von OIF kooperierte Ruijie Network mit vielen Herstellern in der Branche, um auf dem OFC-Gipfel 64 einen flüssigkeitsgekühlten NPO-Switch-Strukturprototyp mit 800*2022G-Kaltplatte herauszubringen. Die Frontplatte unterstützt 64 800G-Glasfaseranschlüsse, von denen jeder auch in zwei 400G-Ports für Vorwärtskompatibilität unterteilt werden kann. Die Anzahl der externen Laserquellenmodule wurde auf 16 erhöht. Aufgrund des Blind-Mate-Designs wird die Schädigung des menschlichen Auges durch Hochleistungslaser vermieden und die Sicherheit des Betriebs- und Wartungspersonals in größerem Umfang gewährleistet. Switch-Chips und NPO-Module unterstützen die Cold-Plate-Kühlung für eine effiziente Wärmeableitung, wodurch das Problem des hochkonzentrierten Wärmeflusses gelöst wird. Verglichen mit der Leistung des Schalters mit dem herkömmlichen steckbaren optischen Modul und der luftgekühlten Lösung wird der Stromverbrauch stark reduziert.