Cómo cambiar las tarjetas de red NVIDIA ConnectX Series de modo InfiniBand a modo Ethernet: una guía paso a paso

Las tarjetas de interfaz de red (NIC) de la serie NVIDIA ConnectX Virtual Protocol Interconnect (VPI), incluidos modelos como ConnectX-4, ConnectX-5, ConnectX-6, Conectar X-7Las tarjetas ConnectX-8 (abreviadas como CX-4/5/6/7/8) representan una clase excepcional de adaptadores de modo dual en la industria. Una sola tarjeta permite la conmutación fluida entre redes físicas InfiniBand (IB) y Ethernet sin necesidad de reemplazar el hardware. Esta versatilidad es compatible con entornos de latencia ultrabaja con RDMA en clústeres de computación de alto rendimiento (HPC) e IA cuando operan en modo IB, a la vez que se integra fácilmente en las infraestructuras Ethernet tradicionales de los centros de datos. Este enfoque maximiza la protección de la inversión y facilita una evolución de red sin interrupciones.

Esta guía se centra en la NIC CX-6 de 200G como ejemplo, y proporciona un proceso detallado, paso a paso, para la transición del modo InfiniBand al modo Ethernet (con la capa de transporte utilizando el protocolo RoCE v2). El sistema operativo del host es CentOS 7. Estas instrucciones son aplicables a modelos ConnectX VPI similares y pueden mejorar las configuraciones para Conmutación Ethernet NVIDIA ConnectX, Migración de InfiniBand a RoCE v2 y configuración de NIC de modo dual.

Requisitos previos

• Una tarjeta de red NVIDIA ConnectX VPI compatible instalada en el sistema host.
• Paquete Mellanox Firmware Tools (MFT) instalado, incluyendo mst y mlxconfig.
• Acceso de administrador al host CentOS 7.
• Conocimientos básicos de las operaciones de línea de comandos de Linux.

Paso 1: Inicie el servicio de herramientas de software de Mellanox

Inicie el servicio MST en el host para habilitar la administración de dispositivos:

texto

systemctl iniciar mst

Paso 2: Verificar el estado del dispositivo NIC

Compruebe el estado de los dispositivos Mellanox:

texto

estado mst

La salida identificará el dispositivo NIC VPI, que normalmente se muestra como /dev/mst/mt4123_pciconf0 (o un identificador similar según su hardware). Consulte el ejemplo de la Imagen 1 como referencia.

Paso 3: Consultar la configuración actual de la NIC

Utilice la herramienta mlxconfig para inspeccionar el tipo de enlace:

texto

mlxconfig -d /dev/mst/mt4123_pciconf0 q

Este comando muestra el tipo de enlace actual de cada puerto: 1 indica InfiniBand (IB) y 2 indica Ethernet. En el ejemplo de la imagen 2, el puerto 1 (P1) está configurado para Ethernet; si necesita cambiar a IB, vaya al paso 4.

Paso 4: Establezca el tipo de enlace deseado

Aplique el cambio de configuración al puerto 1 (P1). Reemplace la ruta del dispositivo según sea necesario, basándose en la salida del estado de mst.

Para cambiar al modo Ethernet:

mlxconfig -d /dev/mst/mt4123_pciconf0 set LINK_TYPE_P1=2

Para cambiar al modo InfiniBand:

mlxconfig -d /dev/mst/mt4123_pciconf0 set LINK_TYPE_P1=1

Paso 5: Reiniciar el host

Reinicie el sistema para aplicar los cambios del firmware:

texto

reiniciar

Paso 6: Configurar la dirección IP del puerto Ethernet

Tras reiniciar en modo Ethernet, identifique el nombre de la interfaz:

texto

ifconfig-a

Cree o edite el archivo de configuración en /etc/sysconfig/network-scripts/ (por ejemplo, ifcfg-ethX, reemplazando ethX con la interfaz real):

texto

DISPOSITIVO=ethXTYPE=EthernetBOOTPROTO=staticIPADDR=192.168.1.100 # Reemplazar con la IP deseadaNETMASK=255.255.255.0GATEWAY=192.168.1.1ONBOOT=yes

Reinicie el servicio de red:

texto

systemctl reiniciar red

Paso 7: Inspeccione y ajuste la configuración del puerto con ethtool.

Verifique los detalles del puerto utilizando la utilidad ethtool:

Comprobar información del conductor:

ethtool -i ethX

Configure la velocidad a 50 Gb/s, dúplex completo y deshabilite la autonegociación (ejemplo):

ethtool -s ethX velocidad 50000 dúplex completo autoneg desactivado

Se pueden consultar opciones adicionales mediante el comando `ethtool --help`. Este paso es crucial para la optimización. Configuración de velocidad del puerto NIC ConnectX en entornos Ethernet.

Paso 8: Confirmar el modo operativo

Valide el modo del puerto (IB o RoCE v2) con el siguiente comando (reemplace mlx5_0 con su dispositivo):

texto

cma_core_mode -d mlx5_0 -p 1

La salida en la Imagen 3 confirma el modo RoCE v2, lo que indica una transición exitosa a Ethernet.

Conclusión

Su tarjeta de red CX-6 ya está completamente operativa en modo Ethernet con soporte para RoCE v2. Este proceso garantiza un tiempo de inactividad mínimo y aprovecha todo el potencial de la tecnología VPI de NVIDIA para migración de redes de HPC a centros de datosPara una configuración avanzada de RoCE v2, pruebas de rendimiento de RDMA o solución de problemas de la serie ConnectX, consulte la documentación oficial de NVIDIA o considere los servicios de consultoría de redes profesionales.