Como são projetados os servidores blade totalmente refrigerados a líquido?

No contexto da promoção da tecnologia de refrigeração líquida e do aumento da maturidade ecológica, a Inspur Information e a Intel colaboraram para otimizar o design de servidores refrigerados a líquido para uso geral de alta densidade. Além dos métodos de resfriamento líquido de CPU e GPU amplamente adotados, eles também exploraram e pesquisaram soluções de resfriamento líquido para memória de alta potência, unidades de estado sólido, placas de rede OCP, fontes de alimentação PSU, PCIe e módulos ópticos. O objetivo é alcançar a maior cobertura de refrigeração líquida do setor, atendendo a diversos requisitos de implantação de refrigeração líquida para clientes em setores como Internet e comunicações.

O desenvolvimento do sistema blade totalmente refrigerado a líquido é baseado no servidor de computação 2U de quatro nós e alta densidade da Inspur Information, o i24. Cada nó com refrigeração líquida suporta dois processadores escaláveis ​​Intel Xeon de 5ª geração, 16 módulos de memória DDR5, uma placa de expansão PCIe e uma placa de rede OCP 3.0. Todo o sistema pode acomodar até oito unidades de estado sólido SSD, fornecendo aos clientes poder de computação de alta densidade e capacidade de armazenamento. Os principais componentes geradores de calor no servidor incluem CPU, memória, placas de E/S, discos rígidos locais e fonte de alimentação do chassi.

A solução de resfriamento líquido remove com eficiência aproximadamente 95% do calor do sistema diretamente da fonte de calor através do contato com a placa resfriada por líquido. Os 5% restantes do calor são transportados pela água de resfriamento dentro do trocador de calor ar-líquido localizado atrás da fonte de alimentação da PSU. No geral, isso atinge quase 100% de eficiência de captura de calor de resfriamento líquido no nível do sistema.

Composição do sistema e layout do pipeline

O sistema de servidor 2U de quatro nós totalmente refrigerado a líquido consiste em nós, chassi, midplane e módulos de unidade de estado sólido. As conexões entre os componentes do nó e do chassi são obtidas através de conectores rápidos para inserção de água, energia e blindagem de sinal.

Cada nó individual no servidor totalmente refrigerado a líquido compreende um gabinete de nó, placa-mãe, chip de CPU, módulos de memória, placa fria de memória, placa fria de CPU, placa fria de E/S, fonte de alimentação e trocador de calor traseiro.

Seleção do caminho de fluxo e cálculo da taxa de fluxo

Para simplificar a complexidade do design do caminho de fluxo, este servidor totalmente refrigerado a líquido adota uma configuração de caminho de fluxo em série. O meio de resfriamento flui dos componentes de baixa potência para os componentes de alta potência, conforme ilustrado no diagrama.

A taxa de fluxo de líquido no servidor totalmente refrigerado a líquido deve atender aos requisitos de dissipação de calor do sistema:

1. Para garantir a confiabilidade a longo prazo dos materiais da tubulação do lado secundário, a temperatura da água de retorno do lado secundário não deve exceder 65°C.
2. Todos os componentes do servidor totalmente refrigerado a líquido devem atender aos requisitos de dissipação de calor sob condições limite definidas. Para análise de projeto de vazão, são selecionadas placas frias de cobre com PG25.

Para atender ao requisito de temperatura da água de retorno do lado secundário não superior a 65°C, a vazão mínima (Qmin) para um único nó PG25 é calculada usando a seguinte fórmula: Qmin​=ρ⋅C⋅ΔTPsys​​≈1.3LPM

Design de placa fria de CPU

O módulo de placa fria da CPU foi projetado com base nos requisitos dos processadores escaláveis ​​Xeon de 5ª geração da Intel. Otimiza fatores como dissipação de calor, desempenho estrutural, rendimento, preço e compatibilidade com diferentes materiais de placas frias. O design de referência da placa fria da CPU consiste principalmente em um suporte de alumínio, placa fria da CPU e conectores de placa fria.

Design de resfriamento líquido de memória

O design de refrigeração líquida de memória emprega uma solução inovadora de radiador “adormecido”, batizado em homenagem à forma como os módulos de memória se enchem como travessas em uma ferrovia. Ele combina resfriamento de ar tradicional e resfriamento de placa fria. O calor gerado pelos módulos de memória é transferido para ambas as extremidades do radiador dormente (que contém tubos de calor integrados, placas de alumínio/cobre ou câmaras de vapor). O calor é então conduzido para a placa fria através de almofadas térmicas selecionadas e finalmente dissipado usando o meio de resfriamento dentro da placa fria.

A memória e o radiador podem ser montados externamente usando acessórios para criar a menor unidade de manutenção (doravante denominada “módulo de memória”). A placa fria de memória possui uma estrutura fixa para garantir um bom contato entre o radiador e a placa fria de memória. Dependendo dos requisitos, a fixação do módulo de memória pode utilizar parafusos ou mecanismos sem ferramentas. A parte superior da placa fria de memória lida com a dissipação de calor da memória, enquanto a parte inferior pode ser usada para outros componentes geradores de calor na placa-mãe, como componentes VR, maximizando a utilização da placa fria de memória.

Para simplificar o design da placa fria de memória, suportes adaptadores podem ser usados ​​entre a memória e a placa-mãe para acomodar diferentes restrições de altura.

Comparado às soluções de resfriamento líquido de memória baseadas em tubos existentes no mercado, a abordagem do radiador dormente oferece diversas vantagens:

Facilidade de manutenção: Os módulos de memória podem ser mantidos de forma semelhante à memória resfriada a ar, sem remover o radiador e os acessórios. Isto melhora significativamente a eficiência e a confiabilidade da montagem, ao mesmo tempo que reduz o risco de danos durante a desmontagem ou reinstalação do sistema.

Versatilidade: O desempenho de dissipação de calor da solução não é afetado por variações na espessura ou espaçamento do chip de memória. Ele pode se adaptar a um espaçamento mínimo de memória de 7.5 mm e é compatível com versões anteriores. O design de desacoplamento entre o radiador e a placa fria permite a reutilização e padronização do resfriamento líquido da memória.

Economia: Os radiadores de memória podem ser adaptados para diferentes níveis de potência e fabricados usando vários processos. A quantidade pode ser ajustada com base nos requisitos de memória. Com espaçamento de memória de 7.5 mm, ele pode atender às necessidades de dissipação de calor de módulos de memória superiores a 30W.

Simplicidade de fabricação e montagem: A ausência de tubulação de resfriamento líquido entre slots de memória elimina soldagem complexa e controle de processo. Radiadores resfriados a ar tradicionais e processos padrão de fabricação de placas frias de CPU podem ser usados. Durante a montagem do radiador, o desempenho da dissipação de calor não é sensível às tolerâncias verticais entre o radiador e a placa-mãe, garantindo bom contato térmico e facilidade de montagem.

Confiabilidade: A abordagem de resfriamento líquido dormente evita possíveis danos aos chips de memória e às almofadas térmicas durante a montagem e suporta múltiplas inserções e remoções. Além disso, reduz o risco de mau contato do sinal devido à inclinação da memória após a instalação, melhorando significativamente a confiabilidade do sistema.

3) Projeto de refrigeração líquida para discos rígidos

Uma solução inovadora de resfriamento líquido para unidades de estado sólido (SSDs) envolve um dissipador de calor interno baseado em tubo de calor que extrai calor da área da unidade e o transfere para uma placa fria externa por meio de almofadas térmicas. Este projeto de resfriamento líquido consiste principalmente em um módulo de unidade de estado sólido com um dissipador de calor integrado, uma placa fria para dissipar o calor, um mecanismo de travamento para proteger o módulo de unidade e um suporte de unidade. O mecanismo de travamento garante confiabilidade de contato de longo prazo entre o módulo SSD e a placa fria, fornecendo força de pré-carga apropriada. Para facilitar a instalação em espaços apertados, o suporte da unidade foi projetado para montagem em estilo gaveta na direção da profundidade do servidor.

Em comparação com as tentativas de refrigeração líquida existentes na indústria, esta solução demonstra vários avanços:

• Suporta mais de 30 hot-swaps sem interrupção de energia do sistema.
• Elimina o risco de danificar materiais de interface térmica durante a instalação do SSD devido ao design do mecanismo de travamento, garantindo confiabilidade de contato a longo prazo.
• Requer complexidade mínima de processamento para a solução de refrigeração líquida, utilizando processos tradicionais de refrigeração a ar e fabricação de placas frias de CPU.
• Apresenta um design sem água entre os drives, permitindo que vários drives compartilhem a mesma placa fria e reduzindo o número de conectores, minimizando assim os riscos de vazamento.
• Adaptável a diferentes espessuras e quantidades de SSD.

4) Projeto de resfriamento líquido para placas PCIe/OCP

1.1 Solução de resfriamento líquido PCIe

A solução de refrigeração líquida da placa PCIe baseia-se nas placas PCIe refrigeradas a ar existentes, desenvolvendo um módulo de dissipador de calor que faz contato direto com a placa fria do sistema. Este design dissipa efetivamente o calor dos módulos ópticos e dos chips principais das placas PCIe. O calor dos módulos ópticos é conduzido através de tubos de calor para o módulo dissipador de calor no chip principal da placa PCIe. O módulo do dissipador de calor então faz interface com a placa fria IO usando um material de interface térmica apropriado para uma transferência de calor eficiente. A placa PCIe com refrigeração líquida compreende os seguintes componentes: grampos do dissipador de calor QSFP, módulos de dissipador de calor com chip PCIe e a própria placa PCIe. Os grampos do dissipador de calor QSFP são projetados com a quantidade certa de elasticidade para garantir flutuação adequada durante a instalação do módulo óptico, proporcionando uma boa experiência ao usuário, evitando danos aos módulos ópticos e alcançando o desempenho de resfriamento esperado.

1.2 Solução de resfriamento líquido OCP3.0

A solução de refrigeração líquida da placa OCP3.0 é semelhante às placas PCIe. Envolve a personalização de um dissipador de calor refrigerado a líquido para a placa OCP3.0, que transfere calor dos chips geradores de calor da placa para o dissipador de calor refrigerado a líquido. Em última análise, o calor é dissipado pelo contato do dissipador de calor com a placa fria IO do sistema.

O módulo de refrigeração líquida OCP3.0 consiste principalmente no módulo do dissipador de calor, na placa OCP3.0 e em seu suporte. Devido às restrições de espaço, um mecanismo de travamento por parafuso de mola garante confiabilidade de contato de longo prazo entre a placa OCP3.0 refrigerada a líquido e o módulo do dissipador de calor após a montagem.

Considerações sobre a facilidade de manutenção e os frequentes requisitos de troca a quente da placa OCP3.0 levaram a otimizações no design do mecanismo de travamento e na seleção de materiais de interface térmica, melhorando a confiabilidade geral e a conveniência operacional.

1.3 Solução de placa fria IO

A placa fria IO serve como uma placa de resfriamento multifuncional. Ele não apenas dissipa o calor dos componentes dentro da área de E/S da placa-mãe, mas também fornece resfriamento para placas PCIe e placas OCP3.0 com refrigeração líquida.

A placa fria IO consiste principalmente no corpo da placa fria IO e nos canais de tubo de cobre. O corpo da placa fria é feito de liga de alumínio, enquanto os tubos de cobre desempenham um papel crucial no fluxo do líquido refrigerante e na melhor dissipação de calor. As considerações específicas do projeto dependem do layout da placa principal e dos requisitos de dissipação de calor dos componentes individuais. Os módulos dissipadores de calor refrigerados a líquido em placas PCIe e placas OCP3.0 refrigeradas a líquido fazem contato com a placa fria de E/S na direção indicada pelas setas. A seleção do material para os canais de fluxo do líquido refrigerante deve levar em consideração a compatibilidade com o líquido refrigerante e os materiais umectantes do sistema.

Esta solução de refrigeração líquida de placa fria IO atende aos requisitos de montagem multidimensionais para vários componentes. O uso híbrido de materiais de cobre e alumínio resolve problemas de compatibilidade de materiais, garantindo uma dissipação de calor eficaz, ao mesmo tempo que reduz o peso da placa fria em 60% e reduz os custos.

5) Projeto de placa fria da fonte de alimentação

A solução de resfriamento líquido da unidade de fonte de alimentação (PSU) baseia-se nas PSUs resfriadas a ar existentes, anexando externamente um trocador de calor ar-líquido para resfriar o ar quente expelido pelo ventilador da PSU. Isto minimiza o impacto do pré-aquecimento do sistema no ambiente externo do data center.

O trocador de calor traseiro da PSU apresenta uma estrutura multicamadas com canais de fluxo e aletas sobrepostas. As dimensões do trocador de calor traseiro da PSU devem equilibrar os requisitos de dissipação de calor, peso e custo, garantindo ao mesmo tempo a compatibilidade com a inserção do cabo da PSU e atendendo às limitações de espaço do gabinete do sistema. O trocador de calor traseiro da PSU é montado de forma independente no suporte do nó.

Esta solução inovadora de refrigeração líquida para fontes de alimentação elimina a necessidade de desenvolver fontes de alimentação dedicadas com refrigeração líquida inteiramente novas. Ao aproveitar a sua versatilidade, encurta significativamente os ciclos de desenvolvimento e reduz os custos. A solução pode se adaptar de forma flexível a projetos de fontes de alimentação de vários fornecedores, resultando em economias de custos de mais de 60% em comparação com fontes de alimentação personalizadas com refrigeração líquida.

Para aplicações de gabinete inteiro, a abordagem de refrigeração líquida da fonte de alimentação pode empregar uma solução centralizada de trocador de calor ar-líquido. Nesta configuração, as portas frontal e traseira do gabinete são vedadas e um trocador de calor ar-líquido centralizado é posicionado na parte inferior do gabinete. Esta estrutura centralizada substitui os trocadores de calor ar-líquido distribuídos normalmente encontrados em PSUs montadas na parte traseira.

O trocador de calor ar-líquido centralizado possui aletas corrugadas de alumínio com revestimentos hidrofílicos, combinadas com tubos de cobre de alto coeficiente de transferência de calor. Ele pode fornecer nada menos que 8 kW de capacidade de resfriamento com uma diferença de temperatura de 10°C. O caminho de fluxo do trocador de calor é otimizado para baixa resistência, permitindo lidar com vazões mais altas. Ele incorpora design anticondensação e detecção abrangente de vazamentos para eliminar riscos de segurança. O design exclusivo da dobradiça garante uma capacidade robusta de suporte de carga, enquanto o design da conexão de encaixe facilita a instalação e a manutenção.

Considerando que mais de 95% do calor gerado por um servidor totalmente refrigerado a líquido é dissipado através da placa fria, apenas uma pequena fração (menos de 5%) requer trocadores de calor ar-líquido para cálculos de resfriamento. Cada nó individual produz aproximadamente 40-50 W de calor que pode ser gerenciado de forma eficiente por um trocador de calor ar-líquido centralizado que suporta 8 kW de dissipação de calor. Esta solução pode resfriar efetivamente mais de 150 fontes de alimentação de nós, tudo a um custo significativamente menor do que a implantação de 150 trocadores de calor ar-líquido distribuídos separados.

Ao implementar esta abordagem, as fontes de alimentação do servidor permanecem inalteradas e o calor gerado é coletado e trocado de forma eficiente na parte traseira do gabinete usando o trocador de calor ar-líquido centralizado. Essa circulação autônoma dentro do gabinete não garante nenhum impacto adverso no ambiente do data center, alcançando verdadeiramente o conceito de “Rack como um computador”.