FiberMall analizará la necesidad de introducir la tecnología de refrigeración líquida en los conmutadores del centro de datos desde la perspectiva de la política y el chip y analizará la diferenciación de las diferentes soluciones de tecnología de refrigeración líquida, así como la experiencia en investigación y desarrollo y los logros de Ruijie en refrigeración líquida de placa fría. Interruptor e interruptor de refrigeración líquida de inmersión.
Con el aumento de Internet, la computación en la nube y los servicios de big data, el consumo total de energía de los centros de datos está aumentando y su eficiencia energética está recibiendo cada vez más atención. Según las estadísticas, la Eficacia de uso de energía (PUE) promedio de un centro de datos es 1.49, mucho más alta que el requisito de que el PUE sea inferior a 1.25 para un nuevo centro de datos grande.
La reducción de PUE es inminente. ¿Cómo pueden los fabricantes de equipos de red reducir significativamente el consumo de energía y garantizar un alto rendimiento? Como factor clave que afecta tanto al rendimiento como al consumo de energía, el sistema de refrigeración se ha convertido en el foco de la reforma del centro de datos, y la tecnología de refrigeración líquida está reemplazando gradualmente a la refrigeración por aire tradicional como la solución de refrigeración principal debido a sus ventajas únicas.
Perspectiva de política y consumo de energía
El valor PUE es la relación entre el consumo total de energía de un centro de datos y el consumo de energía de los equipos de TI. Cuanto más cerca esté el valor PUE de 1, menor será el consumo de energía de los equipos que no sean de TI, mejor será el nivel de eficiencia energética y más ecológico será el centro de datos.
Figura 1. La métrica PUE
FiberMall descubrió que el consumo de energía promedio del sistema de enfriamiento llega al 33 % del consumo de energía del centro de datos, que es cerca de un tercio del consumo total. Esto se debe a que el sistema de refrigeración por aire utilizado en el centro de datos tradicional utiliza aire con una capacidad calorífica específica deficiente como medio de refrigeración. Impulsado por el ventilador en el equipo, el calor transferido por la CPU y otras fuentes de calor al radiador se retira del equipo de TI, y el aire se enfría haciendo circular el intercambiador de calor del fancoil o la refrigeración del aire acondicionado, que también es el limitación de la refrigeración por aire. Por lo tanto, resolver la eficiencia del uso de energía del sistema de enfriamiento se ha convertido en un desafío de iteración tecnológica que enfrentan los fabricantes de equipos bajo el nuevo entorno de políticas.
Figura 2. Composición del consumo de energía del centro de datos
Perspectiva de la demanda de enfriamiento de chips
Con el desarrollo de chips conmutadores, los procesos de chip de alto rendimiento (como 5nm) pueden reducir efectivamente el consumo de energía por unidad de potencia informática. Sin embargo, a medida que el ancho de banda del chip de conmutación aumenta a 51.2 Tbps, el consumo total de energía de un solo chip aumenta a unos 900 W. Por lo tanto, cómo resolver el problema de disipación de calor del chip del dispositivo se ha convertido en una dificultad en el diseño de hardware de todo el dispositivo.
Aunque el sistema de refrigeración por aire actual todavía puede soportar la operación, cuando el flujo de calor del chip (un flujo de energía por unidad de área por unidad de tiempo) es superior a 100 W/cm², el problema vendrá uno tras otro:
Nombre, la reducción adicional de la resistencia térmica del disipador de calor encuentra un cuello de botella. Para poder resolver el pequeño chip en casi kilovatios de energía térmica, el disipador de calor debe usar una resistencia térmica total más baja del enfoque arquitectónico. Esto también significa que se necesita una mejor conductividad térmica y un diseño del disipador de calor si la mayor capacidad del disipador de calor debe equilibrar el mayor consumo de energía del chip. Pero en la actualidad, el diseño y el procesamiento de disipadores de calor enfriados por aire de alto rendimiento han obtenido principalmente soporte de tubería de calor, cámara de vapor y VC 3D, que ya están cerca del límite de optimización del rendimiento.
Segundo, limitado por los requisitos de altura de los productos del interruptor, es difícil resolver el problema de disipación de calor al expandir el volumen del disipador de calor. Porque el calor que sale del chip atraviesa la carcasa del chip, los materiales de la interfaz térmica, la cámara de vapor, la soldadura, el tubo de calor, etc., pero finalmente queda atrapado en las aletas de la interfaz de aire sólido. Y debido al bajo coeficiente de transferencia de calor por convección entre las aletas y el aire, para lograr el área de disipación de calor requerida para el enfriamiento de chips de alta potencia, los ingenieros de diseño térmico tienen que expandir el tamaño del disipador de calor una y otra vez. casi llenando el espacio disponible dentro de los servidores y conmutadores. Se puede decir que el cuello de botella final de la disipación de calor del enfriamiento por aire es su estructura con aletas a la demanda inelástica de espacio. Además, para aumentar el volumen de aire, la velocidad del ventilador ha alcanzado las 30,000 RPM y la aeronave tomaoff-como el ruido es un personal de desarrollo y operaciones profundamente preocupante.
Finalmente, con el consumo de energía del chip aún en aumento, la capacidad de enfriamiento del sistema de enfriamiento por aire está a punto de alcanzar su límite. Incluso si los disipadores de calor enfriados por aire pueden resolver el problema actual de enfriamiento del interruptor, en el futuro, cuando 102.4/204.8 Tbps se generalicen y el consumo de energía del chip sea mayor, los disipadores de calor enfriados por aire finalmente no podrán hacer frente. Por lo tanto, surge la tecnología de refrigeración líquida de mayor rendimiento para la próxima generación de equipos de TI. En los próximos 5 a 10 años, se ha convertido en un consenso en la industria que la refrigeración por aire será reemplazada gradualmente por refrigeración líquida en los centros de datos.
Clasificación, ventajas y desventajas de la tecnología de refrigeración líquida
La tecnología de refrigeración líquida actual se divide principalmente en refrigeración líquida monofásica y refrigeración líquida bifásica. En el libro blanco de COBO "Consideraciones de diseño de la conectividad óptica en un conmutador óptico integrado o en paquete conjunto", Ruijie ha ordenado y clasificado de manera integral las formas de los sistemas de refrigeración para los equipos de TI en los centros de datos (Figura 3).
El enfriamiento por líquido monofásico significa que el refrigerante siempre mantiene el líquido en el proceso del ciclo de disipación de calor y elimina fácilmente el calor a través de una alta capacidad de calor específico.
El enfriamiento líquido de dos fases significa que el refrigerante experimenta un cambio de fase durante el proceso de disipación de calor, y el refrigerante elimina el calor del equipo a través del calor latente de vaporización muy alto.
Por el contrario, la refrigeración líquida monofásica tiene una complejidad menor y es más fácil de lograr, y su capacidad de disipación de calor es suficiente para admitir dispositivos de TI en el centro de datos. Por lo tanto, es la mejor opción en la fase actual.
Figura 3. Principales modos de disipación de calor de los dispositivos de TI en el centro de datos
La refrigeración líquida monofásica se divide en refrigeración líquida de placa fría y refrigeración líquida por inmersión. El enfriamiento por líquido de placa fría fija la placa fría de líquido en el dispositivo de calentamiento principal del equipo y depende del líquido que fluye a través de la placa fría para quitar el calor y lograr el propósito de disipación de calor. Ya existen varias aplicaciones para el centro de datos de supercomputadoras, y el Comité OCP ha promovido el despliegue del estándar de arquitectura Manifold a través de Open Rack V3.0.
La refrigeración líquida por inmersión consiste en sumergir toda la máquina directamente en el refrigerante, confiando en el flujo de circulación natural o forzada del líquido para eliminar el calor generado por el funcionamiento del servidor y otros equipos. Ha sido ampliamente utilizado en minería de moneda digital y supercomputación y también ha sido un tema candente discutido por OCP, ODCC y otras organizaciones en los últimos años. El centro de datos de una gran empresa de computación en la nube ha llevado a cabo una implementación a gran escala.
Las ventajas de la refrigeración líquida por inmersión incluyen:
- debido a que el refrigerante entra en contacto directo con el equipo, la capacidad de disipación de calor es más fuerte y el riesgo de sobrecalentamiento del dispositivo es menor;
- Los equipos de refrigeración líquida por inmersión no requieren ventiladores, lo que se traduce en una menor vibración del equipo y una mayor vida útil de los dispositivos de hardware.
- La temperatura del suministro de agua fría del lado de la sala de refrigeración líquida de inmersión es alta, el lado exterior es más fácil de calentar. Por lo tanto, la selección del sitio de la habitación ya no es como la era del enfriamiento por aire, tan restringida por la región y la temperatura.
Por supuesto, la refrigeración líquida por inmersión también tiene desventajas, incluido el alto costo, los altos requisitos de seguridad y los altos requisitos de carga.
Las ventajas de la refrigeración líquida por placa fría son las siguientes:
Hay pocos cambios en la sala de equipos. Solo es necesario cambiar los bastidores, las unidades de distribución de refrigerante (CDU) y los sistemas de suministro de agua. Además, el enfriamiento por líquido de placa fría puede usar más tipos de refrigerante, y la cantidad es mucho menor que el tipo de inmersión, por lo que el costo de inversión inicial es menor. Además, la cadena de la industria de refrigeración líquida de placa fría es más madura, el mercado es más aceptable. Sin embargo, la placa fría también tiene algunas limitaciones. En primer lugar, las líneas de líquido y los conectores pueden tener fugas, lo que provoca daños en el equipo e interrupción del servicio.
Experiencia en investigación y desarrollo de interruptores refrigerados por líquido de inmersión
En los últimos años, las principales empresas han explorado la solución de centros de datos refrigerados por líquido de inmersión, y Ruijie Network ha acumulado más experiencia en la investigación y el desarrollo de interruptores refrigerados por líquido de inmersión, lo que se refleja principalmente en la apariencia estructural, corte del ventilador, compatibilidad de materiales , SI características (integridad de la señal) cuatro aspectos:
- Aspecto estructural
Primero, el mayor cambio es que la fuente de alimentación se ha movido del panel posterior del interruptor al panel frontal. La interfaz del panel también aumenta el ancho del interruptor de 19 pulgadas a 21-23 pulgadas para que quepan dos fuentes de alimentación. El diseño general de alineación de la fuente de alimentación de la placa de circuito impreso (PCB) también cambiará.
Figura 4. Cambios en la apariencia del interruptor
Debido al alto costo del refrigerante, para ahorrar el uso total de refrigerante tanto como sea posible, el espacio adicional se llena con relleno para lograr el propósito de ocupar más espacio de refrigerante en el tanque de inmersión personalizado basado en servidor. Como se muestra en la Figura 5, el bloque amarillo es el relleno, que se utiliza para ocupar el líquido.
Figura 5. Evolución de la estructura del interruptor
- Recorte del ventilador
Los cambios estructurales también conducen a un recorte general del ventilador. Los diseñadores no solo ya no necesitan diseñar ventiladores de dispositivos para el conmutador, sino que también pueden elegir un diseño sin ventilador para la fuente de alimentación. Este cambio no solo reduce el valor de PUE, sino que también reduce significativamente el ruido en la sala de servidores.
- Compatibilidad de materiales
Dado que el refrigerante del enfriamiento por líquido de inmersión se divide principalmente en fluorocarbonos y una variedad de aceites, el interruptor debe prestar atención a los siguientes dos puntos:
- Si los materiales de los dispositivos ópticos utilizados están sellados. Si no están sellados y se producen fugas, la contaminación del camino óptico puede provocar la atenuación de la señal y la falla del interruptor;
- Si todos los dispositivos reaccionarán física o químicamente con el refrigerante. Si ocurre una reacción, la proporción material de algunos componentes del interruptor original cambiará, lo que traerá riesgos como el cambio de aislamiento. Por lo tanto, las partes estructurales no metálicas, varias partes eléctricas, materiales TIM, bloques de relleno, manijas de plástico, ensamblajes de orejetas colgantes, etiquetas, pegamentos, conectores, cables y placas de circuito impreso (PCB) deben ser compatibles con el refrigerante.
- Características SI (integridad de la señal)
Como el interruptor de inmersión refrigerado por líquido estará en contacto directo con el líquido, la SI (integridad de la señal) se verá afectada por el líquido. Por lo tanto, existen requisitos especiales para las placas PCB de la siguiente manera.
(1) Trate de evitar el montaje en superficie de los modelos clave.
(2) La señal interna no se ve afectada y la señal de baja velocidad se monta en la superficie sin mucha atención.
(3) La señal de alta velocidad debe montarse en la superficie para mejorar el diseño de impedancia;
(4) Ventilador de BGA y conectores para minimizar la longitud de la línea de superficie;
(5) El diseño de pérdida y el diseño de impedancia de 25G y 50G SerDes son diferentes de los tradicionales.
Experiencia en investigación y desarrollo de interruptores refrigerados por líquido de placa fría
Basándose en las características especiales de la tecnología fotónica de silicio, Ruijie Network ha desarrollado interruptores refrigerados por líquido de placa fría. Entre ellos, la tecnología OBO y la tecnología NPO son para empaquetar el módulo óptico en la placa base, lo más cerca posible del chip MAC. Sin embargo, esto hará que la fuente de calor se concentre demasiado y la altura del equipo esté limitada por los requisitos de diseño de la forma de alta densidad esperada de 1RU, por lo que es difícil resolver el problema con el disipador de calor enfriado por aire tradicional. Si se utiliza refrigeración líquida por inmersión, el sellado del enlace óptico se ve seriamente desafiado.
Figura 6. Evolución de la estructura de interruptores
En este sentido, Ruijie adopta un disipador de calor de refrigeración líquida de placa fría para cubrir el chip MAC y el módulo óptico circundante de forma integrada, y se lleva el calor a través del flujo del líquido refrigerante en el canal de flujo de la placa. Además, para minimizar la complejidad y el riesgo de fugas de las tuberías de líquidos, los ventiladores enfrían otros componentes de calefacción del dispositivo. La solución de enfriamiento de placa fría puede matar dos pájaros de un tiro. No solo puede cumplir con los requisitos de disipación de calor de la fuente de calor de alta densidad y potencia NPO/CPO, sino que también reduce la altura del dispositivo a la extremadamente delgada 1RU.
Logros de investigación y desarrollo de Ruijie en interruptores refrigerados por líquido
En 2019, Ruijie Network cooperó con un cliente de Internet nacional para entregar el conmutador de centro de datos sumergido refrigerado por líquido de 32*100 Gbps y el correspondiente conmutador de gestión de red gigabit. En 2022, Ruijie Network comenzó a distribuir interruptores refrigerados por líquido de inmersión 100/200/400G e interruptores refrigerados por líquido de placa fría.
Ruijie Network ha lanzado dos conmutadores refrigerados por líquido de inmersión comercial, a saber, un conmutador de acceso al centro de datos 32G de 100 puertos y un conmutador de red de gestión 48G de 1 puertos. Ambos interruptores son de 21″ de ancho y compatibles con refrigerante 3M FC-40. La fuente de alimentación admite redundancia 1+1. El módulo ABS+PC enchufable ahorra en gran medida el costo del refrigerante. Las ranuras del módulo facilitan el flujo de líquido para disipar el calor y equilibran hábilmente la flotabilidad y la gravedad.
En la Cumbre Global OCP en noviembre de 2021, Ruijie Network offConmutador NPO refrigerado por líquido de placa fría 64*400G lanzado recientemente para cumplir con los requisitos de alta confiabilidad de los centros de datos y redes de operadores.
Bajo el liderazgo de OIF, Ruijie Network cooperó con muchos fabricantes en la industria para lanzar un prototipo estructural de interruptor NPO refrigerado por líquido de placa fría de 64 * 800G en la Cumbre OFC de 2022. El panel frontal admite 64 conectores de fibra 800G, cada uno de los cuales también se puede dividir en dos puertos 400G para compatibilidad con versiones posteriores. El número de módulos de fuente de láser externa ha aumentado a 16. Debido al diseño Blind-mate, se evita el daño del láser de alta potencia a los ojos humanos y se garantiza en mayor medida la seguridad del personal de operación y mantenimiento. Los chips de conmutación y los módulos NPO admiten refrigeración de placa fría para una disipación de calor eficiente, lo que resuelve el problema del flujo de calor altamente concentrado. En comparación con el rendimiento del conmutador con el módulo óptico enchufable tradicional y la solución refrigerada por aire, el consumo de energía se reduce considerablemente.