Переключение сетевых карт NVIDIA ConnectX Series из режима InfiniBand в режим Ethernet: пошаговое руководство

5 ноября 2025

Екатерина

Инженер оптических коммуникаций

Сетевые интерфейсные карты (NIC) серии NVIDIA ConnectX Virtual Protocol Interconnect (VPI), включая такие модели, как ConnectX-4, ConnectX-5, ConnectX-6, КоннектX-7и ConnectX-8 (обычно обозначаемые как CX-4/5/6/7/8) — представляют собой редкий класс двухрежимных адаптеров в отрасли. Одна плата обеспечивает бесперебойное переключение между физическими сетями InfiniBand (IB) и Ethernet без замены оборудования. Эта универсальность поддерживает среды с поддержкой RDMA и сверхнизкой задержкой в кластерах высокопроизводительных вычислений (HPC) и искусственного интеллекта при работе в режиме IB, а также легко интегрируется в традиционные инфраструктуры Ethernet центров обработки данных. Такой подход обеспечивает максимальную защиту инвестиций и способствует плавному развитию сети.

В этом руководстве в качестве примера рассматривается сетевая карта CX-6 200G CX-6, предлагающая подробный пошаговый процесс перехода из режима InfiniBand в режим Ethernet (с использованием протокола RoCE v2 на транспортном уровне). Хостовая операционная система — CentOS 7. Эти инструкции применимы к аналогичным моделям ConnectX VPI и могут улучшить настройку для Коммутация Ethernet NVIDIA ConnectX, Миграция с InfiniBand на RoCE v2 и настройка двухрежимной сетевой карты.

Содержание

Предпосылки

Совместимая сетевая карта NVIDIA ConnectX VPI, установленная в хост-системе.
Установлен пакет Mellanox Firmware Tools (MFT), включая mst и mlxconfig.
Root-доступ к хосту CentOS 7.
Базовые знания операций командной строки Linux.

Шаг 1: Запустите службу Mellanox Software Tools

Запустите службу MST на хосте, чтобы включить управление устройством:

текст

systemctl start mst

Шаг 2: Проверка состояния сетевого устройства

Проверьте состояние устройств Mellanox:

текст

статус мст

В выводе будет указано устройство VPI NIC, обычно отображаемое как /dev/mst/mt4123_pciconf0 (или аналогичный идентификатор в зависимости от вашего оборудования). См. пример на рисунке 1.

Пример вывода mst status, показывающий устройство VPI NIC — *Рисунок 1: Пример выходных данных mst status, показывающий устройство VPI NIC.*

Шаг 3: Запрос текущей конфигурации сетевой карты

Используйте инструмент mlxconfig для проверки типа ссылки:

текст

mlxconfig -d /dev/mst/mt4123_pciconf0 q

Эта команда показывает текущий тип соединения для каждого порта: 1 обозначает InfiniBand (IB), а 2 — Ethernet. В примере на рисунке 2 порт 1 (P1) настроен для Ethernet; перейдите к шагу 4, если требуется переключение на IB.

Информация LINK_TYPE из mlxconfig, выделяющая конфигурации портов — *Рисунок 2: информация LINK_TYPE из mlxconfig, подчеркивающая конфигурации портов.*

Шаг 4: Установите желаемый тип ссылки

Примените изменение конфигурации для порта 1 (P1). При необходимости измените путь к устройству, основываясь на выводе MST-статуса.

Чтобы переключиться в режим Ethernet:

mlxconfig -d /dev/mst/mt4123_pciconf0 установить LINK_TYPE_P1=2

Чтобы переключиться в режим InfiniBand:

mlxconfig -d /dev/mst/mt4123_pciconf0 установить LINK_TYPE_P1=1

Шаг 5: Перезагрузите хост

Перезагрузите систему, чтобы изменения прошивки вступили в силу:

текст

перезагружать

Шаг 6: Настройте IP-адрес порта Ethernet

После перезагрузки в режиме Ethernet определите имя интерфейса:

текст

ifconfig -a

Создайте или отредактируйте файл конфигурации в /etc/sysconfig/network-scripts/ (например, ifcfg-ethX, заменив ethX реальным интерфейсом):

текст

DEVICE=ethXTYPE=EthernetBOOTPROTO=staticIPADDR=192.168.1.100 # Замените на желаемую IPNETMASK=255.255.255.0GATEWAY=192.168.1.1ONBOOT=yes

Перезапустите сетевую службу:

текст

systemctl перезапустить сеть

Шаг 7: Проверка и настройка параметров порта с помощью ethtool

Проверьте данные порта с помощью утилиты ethtool:

Проверьте информацию о водителе:

ethtool -i ethX

Установите скорость 50 Гбит/с, полный дуплекс и отключите автосогласование (пример):

ethtool -s ethX скорость 50000 дуплекс полный автоотрицание выкл

Дополнительные параметры доступны через ethtool –help. Этот шаг крайне важен для оптимизации. Конфигурация скорости порта сетевой платы ConnectX в средах Ethernet.

Шаг 8: Подтверждение режима работы

Проверьте режим порта (IB или RoCE v2) с помощью следующей команды (замените mlx5_0 на ваше устройство):

текст

cma_core_mode -d mlx5_0 -p 1

Выходные данные на рисунке 3 подтверждают режим RoCE v2, что указывает на успешный переход на Ethernet.

*Рисунок 3: Проверка режима RoCE v2 после переключения.*

Заключение

Ваша сетевая карта CX-6 теперь полностью работоспособна в режиме Ethernet с поддержкой RoCE v2. Этот процесс обеспечивает минимальное время простоя и позволяет использовать весь потенциал технологии NVIDIA VPI для Миграция сети HPC в центр обработки данных. Для расширенной настройки RoCE v2, тестирования производительности RDMA или устранения неполадок серии ConnectX обратитесь к официальной документации NVIDIA или воспользуйтесь услугами профессионального сетевого консалтинга.