NVIDIA ConnectX-7 400GbE e NDR Infiniband NIC Introdução

Os adaptadores de rede da família NVIDIA ConnectX-7 suportam os protocolos InfiniBand e Ethernet, fornecendo uma solução versátil para uma ampla gama de necessidades de rede. Esses adaptadores são projetados para fornecer recursos de rede inteligentes, escaláveis ​​e ricos em recursos, atendendo aos requisitos de aplicativos corporativos tradicionais, bem como cargas de trabalho de alto desempenho em IA, computação científica e data centers em nuvem de hiperescala.

Os adaptadores de rede ConnectX-7 estão disponíveis em dois formatos diferentes: placas PCIe stand-up e placas Open Compute Project (OCP) Spec 3.0. Essa flexibilidade permite que os usuários escolham o adaptador que melhor se adapta aos seus requisitos específicos de implantação.

As redes de 400 Gbps são um novo recurso que pode ser gerenciado pelos slots PCIe Gen5 x16. Vamos dar uma olhada na configuração para usar NDR 400Gbps InfiniBand/400GbE.

Ângulo 1 tiro de NVIDIA ConnectX 7 400G OSFP

Visão geral do hardware do adaptador MCX75310AAS-NEAT

O ConnectX-7 (MCX75310AAS-NEAT) é uma placa de baixo perfil projetada para slots PCIe Gen5 x16. A imagem abaixo mostra o suporte de altura total, mas também inclui um suporte de baixo perfil na caixa.

Frente de NVIDIA ConnectX 7 400G OSFP

Vale a pena observar as dimensões da solução de resfriamento. No entanto, a NVIDIA não divulga as especificações de energia desses adaptadores de rede.

ângulo 2 tiro de NVIDIA ConnectX 7 400G OSFP

Aqui está a parte de trás do cartão com uma placa traseira do dissipador de calor.

Parte de trás da placa NVIDIA ConnectX 7 400G OSFP

Aqui está uma visão lateral da placa do conector PCIe Gen5 x16.

Ângulo do conector NVIDIA ConnectX 7 400G OSFP

Esta é outra visão do cartão da parte superior do cartão.

NVIDIA ConnectX 7 400G OSFP ângulo superior

Esta é uma visão da direção do fluxo de ar na maioria dos servidores.

Esta é uma placa plana de porta única que opera a uma velocidade de 400 Gbps. Ele fornece uma enorme quantidade de largura de banda.

Instalando o adaptador NVIDIA ConnectX-7 400G

Um dos aspectos mais importantes de tal cartão é instalá-lo em um sistema que possa tirar proveito de sua velocidade.

O procedimento de instalação das placas adaptadoras ConnectX-7 envolve as seguintes etapas:

1. Verifique os requisitos de hardware e software do sistema.
2. Preste atenção à consideração do fluxo de ar dentro do sistema host.
3. Siga as precauções de segurança.
4. Descompacte o pacote.
5. Siga a lista de verificação de pré-instalação.
6. (Opcional) Substitua o suporte de montagem de altura total pelo suporte curto fornecido.
7. Instale a placa adaptadora ConnectX-7 PCle x16/ConnectX-7 2x PCle x16 Socket Direct no sistema.
8. Conecte cabos ou módulos ao cartão.
9. Identifique o ConnectX-7 no sistema.

Supermicro SYS 111C NR com adaptador NVIDIA ConnectX 7 400 Gbps 1

Felizmente, instalamos com sucesso esses dispositivos nos servidores Supermicro SYS-111C-NR 1U e Supermicro SYS-221H-TNR 2U e eles estão funcionando bem.

Supermicro SYS 111C NR com adaptador NVIDIA ConnectX 7 400 Gbps 2

O SYS-111C-NR é um servidor de nó de slot único que nos oferece mais flexibilidade porque não precisamos nos preocupar com as conexões entre os slots ao configurar o sistema. Em velocidades de 10/40 Gbps ou mesmo de 25/50 Gbps, houve discussões sobre os desafios de desempenho por meio de conexões entre slots de CPU. Com o advento do 100GbE, a questão de ter um adaptador de rede para cada CPU para evitar conexões entre slots tornou-se mais proeminente e predominante. O impacto é ainda mais pronunciado e severo ao usar redes com velocidades de 400 GbE. Para servidores de dois slots usando uma única NIC de 400 GbE, considerar vários adaptadores de host que se conectam diretamente a cada CPU pode ser uma opção que vale a pena considerar.

OSFP vs QSFP-DD

Depois de instaladas as placas, tivemos nosso próximo desafio. Essas placas usam gaiolas OSFP, mas nosso switch de 400 GbE usa QSFP-DD.

Supermicro SYS 111C NR com adaptador NVIDIA ConnectX 7 400 Gbps 4

Esses dois padrões têm algumas diferenças nos níveis de potência e no design físico. É possível converter QSFP-DD para OSFP, mas o inverso não é possível. Se você nunca viu a ótica OSFP ou DACs, eles têm suas próprias soluções de gerenciamento térmico. O QSFP-DD normalmente usa um dissipador de calor na parte superior do soquete, enquanto o OSFP normalmente inclui uma solução de resfriamento em DACs OSFP e ótica no laboratório.

Conectores OSFP e QSFP-DD 1

Este é um assunto complicado. Tanto o OSFP DAC quanto o OSFP para QSFP-DD DAC usam uma solução de resfriamento do dissipador de calor. E devido ao resfriamento direto no DAC, o plugue OSFP não será inserido na porta OSFP do Placa de rede ConnectX-7.

A NVIDIA provavelmente está usando OSFP porque tem um nível de energia mais alto. O OSFP permite óptica de 15W, enquanto o QSFP-DD suporta apenas 12W. Ter um teto de potência mais alto pode facilitar a adoção antecipada durante a fase de adoção inicial, que é uma das razões pelas quais produtos como o módulo CFP24 de 8 W estão disponíveis.

Sempre que possível, esteja ciente do tamanho do dissipador de calor no lado OSFP da inserção ConnectX-7. Se você está acostumado com QSFP/QSFP-DD, todos os dispositivos serão conectados e funcionarão bem, mas encontrar um problema menor, como o tamanho do conector, pode representar um desafio maior. No entanto, se você for um provedor de soluções, esta também é uma oportunidade de fornecer suporte de serviço profissional. Distribuidores como NVIDIA e PNY também vendem cabos LinkX, o que seria uma opção mais conveniente. Esta é uma lição valiosa.

Em seguida, vamos configurar tudo isso e começar a trabalhar.

Configuração de software NDR InfiniBand vs 400 GbE

Além de fazer a instalação física, também trabalhamos no software no servidor. Felizmente, esta foi a parte mais fácil. Usamos o adaptador ConnectX-2910 da série MT7 da Supermicro.

NVIDIA MT2910 Lshw

Fazendo uma rápida instalação e reinicialização do OFED (OpenFabrics Enterprise Distribution), o

temos o sistema pronto.

NVIDIA MT2910 Lshw após a instalação do OFED

Como estamos usando um switch Broadcom Tomahawk 4 em Ethernet e executando diretamente no modo InfiniBand, também precisamos alterar o tipo de link.

O processo é simples e semelhante à alteração da porta Mellanox ConnectX VPI para Ethernet ou InfiniBand no Linux.

O seguinte é o processo básico:

0. Instale o OFED e atualize o firmware

Esta é uma etapa necessária para garantir que o cartão funcione corretamente.

Durante a instalação do MLNX_OFED_LINUX, NVIDIA ConnectX 7 Mellanox Technologies MT2910 MT2910 Series

O processo é bastante simples. Primeiro, baixe a versão necessária para o seu sistema operacional e use o script fornecido no download para instalar o driver. O instalador padrão também atualizará o firmware da placa.

NVIDIA ConnectX 7 MT2910 MT2910 MLNX_OFED_LINUX Instalando a atualização de firmware

Depois de instalar o OFED após a reinicialização do servidor, podemos ver que o NVIDIA ConnectX-7 MCX75310AAS-NEAT é compatível com 400GbE e NDR IB (InfiniBand). NDR IB está definido para o modo padrão.

NVIDIA ConnectX 7 MCX75310AAS NEAT Mlxconfig

Se quisermos transformá-lo em Ethernet, existem apenas três passos simples:

1. Encontre o dispositivo ConnectX-7

Especialmente se você tiver outros dispositivos em seu sistema, precisará encontrar o dispositivo certo para alterar. Se você tiver apenas um cartão, isso é fácil de fazer.

lspci | grep Mellanox

16:00.0 Controlador Infiniband: Família Mellanox Technologies MT2910 [ConnectX-7]

Aqui, agora sabemos que nosso dispositivo está em 16:00.0 (como você pode ver na captura de tela acima).

2. Use mlxconfig para alterar o dispositivo ConnectX-7 de NDR Infiniband para Ethernet.

Em seguida, usaremos o ID do dispositivo para alterar o tipo de link do Infiniband.

sudo mlxconfig -d 16:00.0 definir LINK_TYPE_P1 = 2

NVIDIA ConnectX 7 MCX75310AAS NEAT Mlxconfig define o tipo de link para Ethernet

Aqui LINK_TYPE_P1=2 define P1 (porta 1) para 2 (Ethernet). O padrão LINK_TYPE_P1=1 significa que P1 (porta 1) está definido como 1 (NDR InfiniBand.) Se precisar alterá-lo de volta, basta inverter o processo.

3. Reinicialize o sistema

Após uma rápida reinicialização, agora temos um adaptador Ethernet ConnectX-7.

Várias opções de velocidade Ethernet para o NVIDIA ConnectX 7 MT2910

Este adaptador de 400 Gbps ainda suporta velocidades de 1 GbE.

FCaracterística e Compatibilidade de NVIDIA Connect X-7

Performance

NVIDIA ConnectX 7 400 Gbps NDR Infiniband

Claro, existem muitas outras opções de desempenho disponíveis. Podemos atingir velocidades entre 300Gbps e 400Gbps em InfiniBand e Ethernet. Para Ethernet, é preciso alguma ajuda para chegar a velocidades de 400 GbE, pois a conexão inicial é de apenas 200 GbE, mas não fazemos muito em termos de ajuste de desempenho.

Desempenho NVIDIA ConnectX 7 400 GbE

Essas velocidades estão na faixa de 400 Gbps que podem ser alcançadas, bem mais de três vezes a velocidade a que estamos acostumados com adaptadores de 100 Gbps, e em muito pouco tempo. No entanto, é importante enfatizar que offcarregar em velocidades de 400 GbE é muito importante. Nas velocidades de 25 GbE e 100 GbE, vimos dispositivos como DPUs usados ​​para offcarregar CPUs para tarefas de rede comuns. Nos últimos três anos, os núcleos de CPU modernos aumentaram em velocidade de 20 a 40 por cento, enquanto a largura de banda da rede aumentou de 100 GbE para 400 GbE. Como resultado, tecnologias como RDM offcargas e OVS/verificação offcargas tornaram-se críticas para minimizar o uso de CPUs. É por isso que a antiga divisão Nvidia Mellanox é uma das poucas empresas offadaptadores de 400 Gbps hoje.