NVIDIA HGX B200 e reflexões sobre sua solução de resfriamento líquido

A NVIDIA HGX B200 é a mais recente plataforma de computação de alto desempenho da NVIDIA, baseada na arquitetura de GPU Blackwell. Ela integra diversas tecnologias e componentes avançados projetados para oferecer desempenho de computação e eficiência energética excepcionais.

A altura completa do sistema com o módulo HGX B200 refrigerado a ar chega a 10U, com o próprio módulo HGX B200 refrigerado a ar respondendo por aproximadamente 6U.

Servidor Exxact TensorEX 10U HGX B200

6x 5250W Fontes de alimentação redundantes (3 + 3)

SuperServer SYS-A22GA-NBRT（10U）6x 5250W Fontes de alimentação redundantes (3 + 3)

No OCP Global Summit 2024, várias novas fotografias do NVIDIA HGX B200 foram exibidas. Em comparação com o NVIDIA HGX A100/H100/H200, uma mudança significativa é a realocação do chip NVLink Switch para o centro do componente, em vez de para um lado. Essa mudança minimiza a distância máxima do link entre as GPUs e o chip NVLink Switch. O NVLink Switch agora consiste em apenas dois chips, em comparação com quatro na geração anterior, e seu tamanho aumentou notavelmente.

Perto dos conectores de borda, um PCIe Retimer substituiu o NVSwitch. Esses Retimers normalmente usam dissipadores de calor menores, pois seu TDP (Thermal Design Power) é de cerca de 10-15 W.

Placa-mãe HGX B200 sem dissipadores de calor – 1

Placa-mãe HGX B200 sem dissipadores de calor – 2

Chip Retimer da Placa-mãe HGX B200 Dissipador de calor

A serigrafia na superfície superior do conector EXAMAX indica que esta é uma placa-mãe Umbriel GB200 SXM6 8 GPU, com o número de peça: 675-26287-00A0-TS53. Uma inspeção mais detalhada revela que o fabricante do chip Retimer é a Astera Labs.

Informações sobre o número da peça NVIDIA HGX B200

Chip NVIDIA HGX B200 Astera Labs Retimer Close-Up

O perímetro da placa-mãe HGX B200 é envolto em uma estrutura de montagem de liga de alumínio preta usada para fixar dissipadores de calor e conectar materiais térmicos.

Quadro de montagem do dissipador de calor da placa-mãe NVIDIA HGX B200

Abaixo estão as imagens do chip NVLink Switch apresentado no OCP Global Summit de 2024.

Considerações para a solução de resfriamento líquido para HGX B200

A NVIDIA estabeleceu dois valores de TDP (Thermal Design Power) para o B200: 1200 W para resfriamento líquido e 1000 W para resfriamento a ar. Além disso, o B100 oferece uma faixa de 700 W semelhante ao H100 SXM anterior, permitindo que os fabricantes OEM reutilizem o design de resfriamento a ar de 700 W. Limites de TDP mais altos se correlacionam com frequências de clock maiores e o número de unidades aritméticas habilitadas, melhorando assim o desempenho. Na verdade, o desempenho do FP4 (Tensor Core) para o B200/1200 W é de 20 PFLOPS, para o B200/1000 W é de 18 PFLOPS e para o B100/700W é de 14 PFLOPS.

O sistema OAI emprega um loop de placa fria 4×2 (ou seja, tubo de água), com líquido frio fluindo inicialmente para as placas frias sobre OAM 1-4, absorvendo calor e então aquecendo levemente antes de passar pelas placas frias sobre OAM 5-8. Isso se assemelha ao resfriamento a ar, onde o fluxo de ar passa sequencialmente pelos dissipadores de calor de duas CPUs.

Em contraste, um layout de circuito de placa fria 8×1 distribui o líquido frio uniformemente para todos os 8 OAMs, evitando temperaturas mais altas em metade dos OAMs, mas potencialmente incorrendo em custos mais altos devido à tubulação adicional.

Na especificação OAM 1.5, o conjunto de placas frias é ilustrado em um arranjo de 4 paralelos e 2 séries.

Configuração 4-paralelo-2-série versus 8×1

Módulo H3C R5500 G6 H100 Refrigeração Líquida 4-paralelo-3-série (2 GPUs em paralelo + 1 switch em série)

Com base nas configurações de placa fria H100 acima, as considerações para a solução de resfriamento líquido B200 são as seguintes: As 8 GPUs e 2 Switches são divididas em 2 grupos. Cada grupo consiste em 4 GPUs e 1 Switch. Ambos os grupos usam o mesmo esquema de resfriamento líquido. Cada grupo tem 2 portas de entrada e 2 de saída para as placas frias. As 2 GPUs superiores estão em paralelo e conectadas em série com o Switch, e as 2 GPUs inferiores também estão em paralelo e conectadas em série com o mesmo Switch, resultando em 4 portas de entrada/saída na placa fria do Switch.

Alternativamente, o coletor pode ser projetado com 6 entradas e 6 saídas, onde 4 das entradas e saídas são usadas para as 8 GPUs (configuração 4-paralelo-2-série), e as outras 2 entradas e 2 saídas são para os 2 Switches, cada um conectado ao coletor. Essa abordagem requer consideração cuidadosa do caminho de roteamento e restrições de espaço para a tubulação. No entanto, independentemente da solução escolhida, avaliação detalhada da simulação e projeto prático do sistema são necessários.