Como alternar as placas de rede NVIDIA ConnectX Series do modo InfiniBand para o modo Ethernet: um guia passo a passo

As placas de interface de rede (NICs) da série NVIDIA ConnectX Virtual Protocol Interconnect (VPI) — incluindo modelos como ConnectX-4, ConnectX-5, ConnectX-6, ConnectX-7As placas ConnectX-8 (comumente abreviadas como CX-4/5/6/7/8) representam uma classe rara de adaptadores de modo duplo no setor. Uma única placa permite a alternância perfeita entre redes físicas InfiniBand (IB) e Ethernet sem a necessidade de substituição de hardware. Essa versatilidade suporta ambientes com latência ultrabaixa e habilitados para RDMA em clusters de computação de alto desempenho (HPC) e IA quando operando no modo IB, além de se integrar facilmente às infraestruturas Ethernet tradicionais de data centers. Essa abordagem maximiza a proteção do investimento e facilita a evolução da rede.

Este guia utiliza a placa de rede CX-6 de 200G como exemplo, fornecendo um processo detalhado, passo a passo, para a transição do modo InfiniBand para o modo Ethernet (com a camada de transporte utilizando o protocolo RoCE v2). O sistema operacional do host é o CentOS 7. Estas instruções são aplicáveis ​​a modelos ConnectX VPI similares e podem aprimorar as configurações para Comutação Ethernet NVIDIA ConnectX, Migração de InfiniBand para RoCE v2 e configuração de NIC de modo duplo.

Pré-requisitos

• Uma placa de rede NVIDIA ConnectX VPI compatível instalada no sistema host.
• O pacote Mellanox Firmware Tools (MFT) está instalado, incluindo os arquivos mst e mlxconfig.
• Acesso root ao host CentOS 7.
• Conhecimento básico das operações da linha de comando do Linux.

Passo 1: Inicie o serviço Mellanox Software Tools

Inicie o serviço MST no host para habilitar o gerenciamento de dispositivos:

texto

systemctl iniciar mst

Etapa 2: Verificar o status do dispositivo NIC

Verifique o status dos dispositivos Mellanox:

texto

status mst

A saída identificará o dispositivo NIC VPI, normalmente exibido como /dev/mst/mt4123_pciconf0 (ou um identificador semelhante com base no seu hardware). Consulte o exemplo na Imagem 1 para referência.

Etapa 3: Consultar a configuração atual da placa de rede

Utilize a ferramenta mlxconfig para inspecionar o tipo de link:

texto

mlxconfig -d /dev/mst/mt4123_pciconf0 q

Este comando revela o tipo de link atual para cada porta: 1 indica InfiniBand (IB), enquanto 2 indica Ethernet. No exemplo mostrado na Imagem 2, a Porta 1 (P1) está configurada para Ethernet; prossiga para o Passo 4 se for necessário alternar para IB.

Passo 4: Defina o tipo de link desejado

Aplique a alteração de configuração para a Porta 1 (P1). Substitua o caminho do dispositivo conforme necessário, com base na saída do seu comando mst status.

Para alternar para o modo Ethernet:

mlxconfig -d /dev/mst/mt4123_pciconf0 set LINK_TYPE_P1=2

Para alternar para o modo InfiniBand:

mlxconfig -d /dev/mst/mt4123_pciconf0 set LINK_TYPE_P1=1

Etapa 5: Reinicie o host

Reinicie o sistema para aplicar as alterações de firmware:

texto

reinicialização

Etapa 6: Configurar o endereço IP da porta Ethernet

Após reiniciar no modo Ethernet, identifique o nome da interface:

texto

ifconfig -a

Crie ou edite o arquivo de configuração em /etc/sysconfig/network-scripts/ (por exemplo, ifcfg-ethX, substituindo ethX pela interface real):

texto

DEVICE=ethXTYPE=EthernetBOOTPROTO=staticIPADDR=192.168.1.100 # Substitua pelo IP desejadoNETMASK=255.255.255.0GATEWAY=192.168.1.1ONBOOT=yes

Reinicie o serviço de rede:

texto

systemctl reiniciar rede

Passo 7: Inspecione e ajuste as configurações da porta com o ethtool.

Verifique os detalhes da porta usando o utilitário ethtool:

Verificar informações do motorista:

ethtool -i ethX

Defina a velocidade para 50 Gb/s, full duplex e desative a autonegociação (exemplo):

ethtool -s ethX speed 50000 duplex full autoneg off

Opções adicionais estão disponíveis através do ethtool --help. Esta etapa é crucial para a otimização. Configuração da velocidade da porta NIC ConnectX em ambientes Ethernet.

Etapa 8: Confirme o modo operacional

Valide o modo da porta (IB ou RoCE v2) com o seguinte comando (substitua mlx5_0 pelo seu dispositivo):

texto

cma_core_mode -d mlx5_0 -p 1

A saída na Imagem 3 confirma o modo RoCE v2, indicando uma transição bem-sucedida para Ethernet.

Conclusão

Sua placa de rede CX-6 agora está totalmente operacional no modo Ethernet com suporte a RoCE v2. Esse processo garante tempo de inatividade mínimo e aproveita todo o potencial da tecnologia VPI da NVIDIA. Migração de HPC para rede de data centerPara ajustes avançados de RoCE v2, testes de desempenho de RDMA ou solução de problemas da série ConnectX, consulte a documentação oficial da NVIDIA ou considere serviços profissionais de consultoria de rede.