¿Cómo se diseñan los servidores Blade totalmente refrigerados por líquido?

En el contexto de promover la tecnología de refrigeración líquida y mejorar la madurez ecológica, Inspur Information e Intel han colaborado para optimizar el diseño de servidores refrigerados por líquido para uso general de alta densidad. Más allá de los métodos de refrigeración líquida de CPU y GPU ampliamente adoptados, también han explorado e investigado soluciones de refrigeración líquida para memorias de alta potencia, unidades de estado sólido, tarjetas de red OCP, fuentes de alimentación de fuentes de alimentación, PCIe y módulos ópticos. El objetivo es lograr la cobertura de refrigeración líquida más alta de la industria, satisfaciendo diversos requisitos de implementación de refrigeración líquida para clientes en industrias como Internet y comunicaciones.

El desarrollo del sistema blade totalmente refrigerado por líquido se basa en el servidor informático de alta densidad de cuatro nodos 2U de Inspur Information, el i24. Cada nodo refrigerado por líquido admite dos procesadores Intel Xeon Scalable de quinta generación, 5 módulos de memoria DDR16, una tarjeta de expansión PCIe y una tarjeta de red OCP 5. Todo el sistema puede alojar hasta ocho unidades de estado sólido SSD, lo que proporciona potencia informática de alta densidad y capacidad de almacenamiento a los clientes. Los principales componentes generadores de calor en el servidor incluyen la CPU, la memoria, las placas de E/S, los discos duros locales y la fuente de alimentación del chasis.

La solución de refrigeración líquida elimina eficientemente aproximadamente el 95 % del calor del sistema directamente de la fuente de calor a través del contacto con la placa enfriada por líquido. El 5% restante del calor lo elimina el agua de refrigeración dentro del intercambiador de calor aire-líquido ubicado detrás de la fuente de alimentación de la fuente de alimentación. En general, esto logra una eficiencia de captura de calor de refrigeración líquida cercana al 100 % a nivel del sistema.

Composición del sistema y diseño de tuberías

El sistema de servidor de cuatro nodos y 2U con refrigeración totalmente líquida consta de nodos, chasis, plano medio y módulos de unidades de estado sólido. Las conexiones entre el nodo y los componentes del chasis se logran a través de conectores rápidos para inserción ciega de agua, energía y señal.

Cada nodo individual en el servidor totalmente refrigerado por líquido comprende un gabinete de nodo, una placa base, un chip de CPU, módulos de memoria, una placa fría de memoria, una placa fría de CPU, una placa fría de E/S, una fuente de alimentación y un intercambiador de calor trasero.

Selección de ruta de flujo y cálculo de caudal

Para simplificar la complejidad del diseño de la ruta de flujo, este servidor totalmente refrigerado por líquido adopta una configuración de ruta de flujo en serie. El medio refrigerante fluye desde los componentes de baja potencia a los componentes de alta potencia, como se ilustra en el diagrama.

El caudal de líquido en el servidor enfriado totalmente por líquido debe cumplir con los requisitos de disipación de calor del sistema:

1. Para garantizar la confiabilidad a largo plazo de los materiales de la tubería del lado secundario, la temperatura del agua de retorno del lado secundario no debe exceder los 65°C.
2. Todos los componentes del servidor totalmente refrigerado por líquido deben cumplir los requisitos de disipación de calor en condiciones límite definidas. Para el análisis del diseño del caudal, se seleccionan placas frías de cobre con PG25.

Para cumplir con el requisito de que la temperatura del agua de retorno del lado secundario no exceda los 65 °C, el caudal mínimo (Qmin) para un solo nodo PG25 se calcula usando la siguiente fórmula: Qmin​=ρ⋅C⋅ΔTPsys​​≈1.3LPM

Diseño de placa fría de CPU

El módulo de placa fría de la CPU está diseñado en función de los requisitos de los procesadores escalables Xeon de quinta generación de Intel. Optimiza factores como la disipación de calor, el rendimiento estructural, el rendimiento, el precio y la compatibilidad con diferentes materiales de placa fría. El diseño de referencia de la placa fría de la CPU consta principalmente de un soporte de aluminio, una placa fría de la CPU y conectores de placa fría.

Diseño de refrigeración líquida con memoria

El diseño de refrigeración líquida de la memoria emplea una innovadora solución de radiador "dormido", llamado así por la forma en que los módulos de memoria se llenan como durmientes en las vías del tren. Combina refrigeración por aire tradicional y refrigeración por placa fría. El calor generado por los módulos de memoria se transfiere a ambos extremos del radiador del dormitorio (que contiene tubos de calor incorporados, placas de aluminio/cobre o cámaras de vapor). Luego, el calor se conduce a la placa fría a través de almohadillas térmicas seleccionadas y finalmente se disipa utilizando el medio de enfriamiento dentro de la placa fría.

La memoria y el radiador se pueden ensamblar externamente usando accesorios para crear la unidad de mantenimiento más pequeña (de aquí en adelante denominada “módulo de memoria”). La placa fría de la memoria presenta una estructura fija para garantizar un buen contacto entre el radiador y la placa fría de la memoria. Dependiendo de los requisitos, la fijación del módulo de memoria puede utilizar tornillos o mecanismos sin herramientas. La parte superior de la placa fría de la memoria se encarga de la disipación de calor de la memoria, mientras que la parte inferior se puede utilizar para otros componentes generadores de calor en la placa base, como componentes de realidad virtual, maximizando la utilización de la placa fría de la memoria.

Para simplificar el diseño de la placa fría de la memoria, se pueden usar soportes adaptadores entre la memoria y la placa base para adaptarse a diferentes restricciones de altura.

En comparación con las soluciones de refrigeración líquida con memoria basadas en tubos existentes en el mercado, el enfoque del radiador durmiente ofrece varias ventajas:

Facilidad de mantenimiento: Los módulos de memoria se pueden mantener de manera similar a la memoria enfriada por aire, sin quitar el radiador ni los accesorios. Esto mejora significativamente la eficiencia y confiabilidad del ensamblaje al tiempo que reduce el riesgo de daños durante el desmontaje o la reinstalación del sistema.

Versatilidad: el rendimiento de disipación de calor de la solución no se ve afectado por las variaciones en el grosor o el espaciado del chip de memoria. Puede adaptarse a un espacio mínimo de memoria de 7.5 mm y es compatible con versiones posteriores. El diseño de desacoplamiento entre el radiador y la placa fría permite la reutilización y estandarización de la refrigeración líquida con memoria.

Rentabilidad: Los radiadores con memoria se pueden adaptar a diferentes niveles de potencia y fabricarse mediante diversos procesos. La cantidad se puede ajustar según los requisitos de memoria. Con un espacio de memoria de 7.5 mm, puede satisfacer las necesidades de disipación de calor de módulos de memoria que superan los 30 W.

Simplicidad de fabricación y montaje: la ausencia de tubos de refrigeración líquida entre las ranuras de memoria elimina el control complejo de procesos y soldadura. Se pueden utilizar los procesos tradicionales de fabricación de radiadores enfriados por aire y placas frías de CPU estándar. Durante el montaje del radiador, el rendimiento de la disipación de calor no es sensible a las tolerancias verticales entre el radiador y la placa base, lo que garantiza un buen contacto térmico y una facilidad de montaje.

Fiabilidad: el enfoque de refrigeración líquida durmiente evita posibles daños a los chips de memoria y las almohadillas térmicas durante el montaje y admite múltiples inserciones y extracciones. Además, mitiga el riesgo de un contacto deficiente de la señal debido a la inclinación de la memoria después de la instalación, lo que mejora significativamente la confiabilidad del sistema.

3) Diseño de refrigeración líquida para discos duros

Una innovadora solución de refrigeración líquida para unidades de estado sólido (SSD) implica un disipador térmico interno basado en un tubo de calor que extrae el calor del área de la unidad y lo transfiere a una placa fría externa mediante almohadillas térmicas. Este diseño de refrigeración líquida consta principalmente de un módulo de unidad de estado sólido con un disipador de calor integrado, una placa fría para disipar el calor, un mecanismo de bloqueo para asegurar el módulo de unidad y un soporte de unidad. El mecanismo de bloqueo garantiza la confiabilidad del contacto a largo plazo entre el módulo SSD y la placa fría al proporcionar una fuerza de precarga adecuada. Para facilitar la instalación en espacios reducidos, el soporte de la unidad está diseñado para un montaje estilo cajón en la dirección de profundidad del servidor.

En comparación con los intentos de refrigeración líquida existentes en la industria, esta solución demuestra varios avances:

• Admite más de 30 intercambios en caliente sin interrupción de la alimentación del sistema.
• Elimina el riesgo de dañar los materiales de la interfaz térmica durante la instalación de SSD debido al diseño del mecanismo de bloqueo, lo que garantiza la confiabilidad del contacto a largo plazo.
• Requiere una complejidad de procesamiento mínima para la solución de refrigeración líquida, utilizando procesos tradicionales de fabricación de placas frías de CPU y refrigeración por aire.
• Presenta un diseño sin agua entre unidades, lo que permite que varias unidades compartan la misma placa fría y reduzca la cantidad de conectores, minimizando así los riesgos de fugas.
• Adaptable a diferentes espesores y cantidades de SSD.

4) Diseño de refrigeración líquida para tarjetas PCIe/OCP

1.1 Solución de refrigeración líquida PCIe

La solución de refrigeración líquida de la tarjeta PCIe se basa en las tarjetas PCIe refrigeradas por aire existentes mediante el desarrollo de un módulo disipador de calor que hace contacto directo con la placa fría del sistema. Este diseño disipa eficazmente el calor de los módulos ópticos y los chips principales de las tarjetas PCIe. El calor de los módulos ópticos se conduce a través de tubos de calor hasta el módulo disipador de calor en el chip principal de la tarjeta PCIe. Luego, el módulo del disipador de calor interactúa con la placa fría IO utilizando un material de interfaz térmica apropiado para una transferencia de calor eficiente. La tarjeta PCIe refrigerada por líquido consta de los siguientes componentes: abrazaderas del disipador de calor QSFP, módulos de disipador de calor del chip PCIe y la propia tarjeta PCIe. Las abrazaderas del disipador térmico QSFP están diseñadas con la cantidad adecuada de elasticidad para garantizar una flotación adecuada durante la instalación del módulo óptico, brindando una buena experiencia de usuario, evitando daños a los módulos ópticos y logrando el rendimiento de enfriamiento esperado.

1.2 Solución de refrigeración líquida OCP3.0

La solución de refrigeración líquida de la tarjeta OCP3.0 es similar a las tarjetas PCIe. Implica personalizar un disipador térmico refrigerado por líquido para la tarjeta OCP3.0, que transfiere calor desde los chips generadores de calor de la tarjeta al disipador térmico refrigerado por líquido. En última instancia, el calor se disipa mediante el contacto del disipador de calor con la placa fría IO del sistema.

El módulo de refrigeración líquida OCP3.0 consta principalmente del módulo disipador de calor, la tarjeta OCP3.0 y su soporte. Debido a limitaciones de espacio, un mecanismo de bloqueo de tornillo de resorte garantiza una confiabilidad de contacto a largo plazo entre la tarjeta OCP3.0 refrigerada por líquido y el módulo disipador de calor después del ensamblaje.

Las consideraciones sobre la facilidad de mantenimiento y los frecuentes requisitos de intercambio en caliente de la tarjeta OCP3.0 han llevado a optimizaciones en el diseño del mecanismo de bloqueo y la selección de materiales de interfaz térmica, lo que mejora la confiabilidad general y la conveniencia operativa.

1.3 Solución de placa fría IO

La placa fría IO sirve como placa refrigeradora multifuncional. No solo disipa el calor de los componentes dentro del área IO de la placa base, sino que también proporciona refrigeración para tarjetas PCIe y OCP3.0 refrigeradas por líquido.

La placa fría IO consta principalmente del cuerpo de la placa fría IO y canales de tubo de cobre. El cuerpo de la placa fría está hecho de aleación de aluminio, mientras que los tubos de cobre desempeñan un papel crucial tanto en el flujo del refrigerante como en una mejor disipación del calor. Las consideraciones de diseño específicas dependen del diseño de la placa base y de los requisitos de disipación de calor de los componentes individuales. Los módulos de disipador de calor refrigerados por líquido en tarjetas PCIe y tarjetas OCP3.0 refrigeradas por líquido hacen contacto con la placa fría de E/S en la dirección indicada por las flechas. La selección de materiales para los canales de flujo de refrigerante debe tener en cuenta la compatibilidad con los materiales refrigerantes y humectantes del sistema.

Esta solución de refrigeración líquida de placa fría IO aborda los requisitos de ensamblaje multidimensional para varios componentes. El uso híbrido de materiales de cobre y aluminio resuelve los problemas de compatibilidad de materiales, asegurando una disipación de calor efectiva al tiempo que reduce el peso de la placa fría en un 60 % y reduce los costos.

5) Diseño de placa fría de fuente de alimentación

La solución de refrigeración líquida de la unidad de fuente de alimentación (PSU) se basa en las PSU enfriadas por aire existentes al conectar externamente un intercambiador de calor aire-líquido para enfriar el aire caliente expulsado por el ventilador de la PSU. Esto minimiza el impacto del precalentamiento del sistema en el entorno del centro de datos externo.

El intercambiador de calor trasero de la PSU presenta una estructura multicapa con aletas y canales de flujo superpuestos. Las dimensiones del intercambiador de calor trasero de la PSU deben equilibrar los requisitos de disipación de calor, el peso y el costo, al tiempo que garantizan la compatibilidad con la inserción del cable de la PSU y cumplen con las limitaciones de espacio del gabinete del sistema. El intercambiador de calor trasero de la fuente de alimentación se ensambla de forma independiente en el soporte del nodo.

Esta innovadora solución de refrigeración líquida para fuentes de alimentación elimina la necesidad de desarrollar fuentes de alimentación dedicadas refrigeradas por líquido completamente nuevas. Al aprovechar su versatilidad, acorta significativamente los ciclos de desarrollo y reduce los costos. La solución puede adaptarse de manera flexible a diseños de fuentes de alimentación de múltiples proveedores, lo que genera ahorros de costos de más del 60 % en comparación con las fuentes de alimentación personalizadas con refrigeración líquida.

Para aplicaciones de gabinetes completos, el enfoque de refrigeración líquida de la fuente de alimentación puede emplear una solución centralizada de intercambiador de calor aire-líquido. En esta configuración, las puertas delantera y trasera del gabinete están selladas y se coloca un intercambiador de calor aire-líquido centralizado en la parte inferior del gabinete. Esta estructura centralizada reemplaza los intercambiadores de calor distribuidos de aire-líquido que normalmente se encuentran en las fuentes de alimentación montadas en la parte trasera.

El intercambiador de calor centralizado aire-líquido cuenta con aletas corrugadas de aluminio con revestimientos hidrófilos, combinados con tubos de cobre con un alto coeficiente de transferencia de calor. Puede proporcionar no menos de 8 kW de capacidad de refrigeración con una diferencia de temperatura de 10°C. La ruta de flujo del intercambiador de calor está optimizada para una baja resistencia, lo que le permite manejar caudales más altos. Incorpora diseño anticondensación y detección integral de fugas para eliminar riesgos de seguridad. El diseño exclusivo de la bisagra garantiza una capacidad de carga robusta, mientras que el diseño de conexión a presión facilita la instalación y el mantenimiento.

Teniendo en cuenta que más del 95 % del calor generado por un servidor totalmente refrigerado por líquido se disipa a través de la placa fría, solo una pequeña fracción (menos del 5 %) requiere intercambiadores de calor aire-líquido para los cálculos de refrigeración. Cada nodo individual produce aproximadamente entre 40 y 50 W de calor que se pueden gestionar de manera eficiente mediante un intercambiador de calor aire-líquido centralizado que admite 8 kW de disipación de calor. Esta solución puede enfriar eficazmente las fuentes de alimentación de más de 150 nodos, todo ello a un coste significativamente menor que el de implementar 150 intercambiadores de calor de aire-líquido distribuidos por separado.

Al implementar este enfoque, las fuentes de alimentación del servidor no se modifican y el calor generado se recoge e intercambia de manera eficiente en la parte posterior del gabinete mediante el intercambiador de calor centralizado de aire-líquido. Esta circulación autónoma dentro del gabinete garantiza que no haya impacto adverso en el entorno del centro de datos, logrando verdaderamente el concepto de "Rack como computadora".