400G Ethernet против InfiniBand NDR: какая коммутационная матрица лучше подходит для ИИ?

Как 400G Ethernet, так и InfiniBand NDR обеспечивают номинальную пропускную способность 400 Гбит/с на порт. Однако одинаковая скорость портов не гарантирует одинаковую производительность в кластерах для обучения ИИ.

Различия выходят за рамки простого увеличения пропускной способности. InfiniBand использует собственный транспорт RDMA и управление потоком на уровне канала на основе кредитов, в то время как 400G Ethernet обычно полагается на RoCEv2 с соответствующими настройками управления перегрузкой и QoS для высокопроизводительной связи с графическими процессорами.

Совместимость оборудования — еще один важный аспект. Хотя обе экосистемы используют высокоскоростную передачу сигналов PAM4 и могут поддерживать схожие оптические форм-факторы, их интерфейсы хоста, конфигурации портов и требования к протоколам не всегда взаимозаменяемы.

В этом руководстве сравниваются 400G Ethernet и InfiniBand NDR по таким параметрам, как производительность, задержка, управление перегрузкой, коммутационные платформы, оптические трансиверы, кабели и общая стоимость владения. Также представлен практический контрольный список для настройки RoCEv2 и структура для выбора подходящей коммутационной матрицы для рабочих нагрузок ИИ.

400G Ethernet против InfiniBand NDR

Содержание

400G Ethernet против InfiniBand NDR: одинаковая скорость линии, одинаковая коммутационная матрица?

Не совсем. Обе технологии обеспечивают подключение со скоростью 400 Гбит/с, но их сетевые архитектуры и требования к эксплуатации различаются.

InfiniBand NDR поддерживает каналы связи 400 Гбит/с, используя четыре электрических канала PAM4 класса 100G, с коррекцией ошибок (FEC) для поддержания целостности сигнала. Его архитектура разработана для высокопроизводительных вычислений, связи с низкой задержкой и нативного RDMA.

В 400GbE также используется сигнализация PAM4, хотя конфигурация электрических линий зависит от поколения интерфейса Ethernet и реализации на хосте. Распространенные реализации включают 8 электрических интерфейсов класса 50G и 4 электрических интерфейса класса 100G.

Для передачи данных между графическими процессорами (GPU) в сетях 400GbE обычно используется протокол RDMA поверх конвергентного Ethernet версии 2 (RoCEv2), который передает трафик RDMA по сетям UDP/IP.

Основные различия суммированы ниже.

ХарактеристикаInfiniBand NDR 400G400GbE с RoCEv2
Номинальная пропускная способность порта400 Gb / s400 Gb / s
Транспорт RDMAВстроенный InfiniBand RDMARoCEv2 через UDP/IP
Управление потокомУправление потоками на уровне звеньев на основе кредитовУправление потоками и перегрузками в сети Ethernet
Управление заторамиМеханизмы управления перегрузкой InfiniBandECN, управление перегрузкой конечных точек и, опционально, PFC
ЗадержкаОптимизировано для высокопроизводительных вычислений с низкой задержкой.Зависит от сетевой карты, коммутатора, топологии и конфигурации.
Эффективная коллективная пропускная способностьЗависит от рабочей нагрузки и топологии.Зависит от рабочей нагрузки и топологии.
Типичные оптические форм-факторыOSFP, QSFP112OSFP, QSFP-DD, QSFP112
Переключить платформыNVIDIA Квантум-2Платформы на базе NVIDIA Spectrum-4 и Broadcom
Общие варианты использованияОбучение ИИ, высокопроизводительные вычисления, крупномасштабные кластеры RDMAОбучение ИИ, вывод результатов, хранение данных и общие сетевые возможности центров обработки данных.

Самое важное различие заключается не в номинальной скорости линии связи. Оно состоит в том, как каждая коммутационная сеть управляет обменом данными, перегрузками и доставкой пакетов при высоких нагрузках.

При сравнении оборудования InfiniBand NDR особенно важна одна деталь.

Один канал NDR работает на скорости 400 Гбит/с. Коммутаторы NVIDIA Quantum-2 также поддерживают двухпортовые реализации OSFP, которые обеспечивают два независимых канала 400G через один физический модуль, совокупная пропускная способность которых составляет 800 Гбит/с.

Это два отдельных соединения 400G, а не одно собственное соединение 800G NDR.

Задержка и эффективная пропускная способность на частоте 400 Гбит/с

Пропускная способность порта сама по себе не определяет производительность обучения ИИ.

Хотя Ethernet 400G и InfiniBand NDR обеспечивают одинаковую номинальную пропускную способность на порт, их фактическая производительность в приложениях зависит от нескольких факторов:

  • Топология сети и количество коммутаторов
  • Архитектура межсоединения графического процессора и сервера
  • Конфигурация транспортного протокола RDMA и управления перегрузкой
  • Размер сообщений и модели коммуникации
  • Перегрузка сети и конкурирующий трафик
  • Программные библиотеки, драйверы и микропрограммное обеспечение

InfiniBand специально оптимизирован для высокопроизводительных вычислений с низкой задержкой. Его транспортная архитектура и управление потоком на канальном уровне помогают поддерживать предсказуемую производительность при высоких нагрузках.

RoCEv2 также может обеспечивать высокую пропускную способность и низкую задержку по Ethernet, особенно при использовании соответствующих сетевых карт, коммутаторов и систем управления перегрузкой.

Однако разница в характеристиках между двумя типами тканей не выражается в фиксированном процентном соотношении.

Например, кластер ИИ, использующий InfiniBand 400G, может превзойти по производительности эквивалентную конфигурацию RoCEv2 при определенных условиях перегрузки, в то время как хорошо спроектированная сеть Ethernet может обеспечить конкурентоспособные результаты для других рабочих нагрузок.

Понимание эффективной пропускной способности AllReduce

AllReduce — это операция коллективной коммуникации, широко используемая в распределенном обучении ИИ. Она объединяет данные с разных графических процессоров и распределяет полученные значения между участвующими устройствами.

На его производительность влияют как локальные соединения графических процессоров, так и сеть, соединяющая различные серверы.

При оценке результатов NCCL AllReduce важно различать следующие понятия:

  • Пропускная способность алгоритма (algbw): Эффективная полоса пропускания рассчитывается исходя из размера данных и общего времени выполнения операции.
  • Пропускная способность шины (busbw): Нормализованная метрика пропускной способности, учитывающая коммуникационные характеристики коллективного алгоритма.

Эти показатели не следует путать с физической пропускной способностью одного сетевого порта 400G.

Для справки, соединение со скоростью 400 Гбит/с обеспечивает номинальную пропускную способность, эквивалентную 50 ГБ/с, без учета соответствующих накладных расходов на передачу и протокол.

Сервер с восемью графическими процессорами, использующий NVLink или NVSwitch, может сообщать о совокупной пропускной способности, значительно превышающей 50 ГБ/с, поскольку большая часть обмена данными происходит внутри сервера, а не через одно внешнее сетевое соединение.

Следовательно, для проведения значимых сравнительных тестов InfiniBand NDR и Ethernet следует использовать сопоставимые системы графических процессоров, конфигурации сетевых карт, сетевые топологии и рабочие нагрузки.

На более крупных кластерных масштабах задержка в хвосте распределения и перегрузка становятся все более важными, поскольку коллективные операции зависят от коммуникации между множеством участников.

Вместо того чтобы полагаться только на среднюю задержку, отслеживайте задержку P99 и P999, общее время завершения и устойчивую пропускную способность при репрезентативных рабочих нагрузках.

Передача данных без потерь: на основе кредитов против PFC/ECN

Одно из важнейших архитектурных отличий InfiniBand от традиционных сетей Ethernet RoCEv2 заключается в способе управления потоком данных и предотвращения перегрузки.

InfiniBand: управление потоком на основе кредитов.

InfiniBand использует управление потоком на уровне канала на основе кредитов.

Передающее устройство отслеживает доступные ресурсы буфера приема на следующем узле и отправляет данные в соответствии с имеющимися кредитами.

Этот механизм предназначен для предотвращения переполнения буфера приемника во время нормальной работы и обеспечивает основу для связи на канальном уровне без потерь.

В отличие от традиционных развертываний Ethernet RoCEv2, InfiniBand не зависит от управления приоритетом потока Ethernet (PFC).

Однако это не означает, что InfiniBand не требует никакой настройки.

Для крупных сетей InfiniBand по-прежнему необходимы надлежащее управление подсетями, маршрутизация, настройка QoS, управление перегрузками и мониторинг.

Аппаратные сбои, ошибки передачи или неправильная конфигурация также могут повлиять на надежность и производительность.

Кредиты на транспортировку без потерь против PFCECN

Ethernet: управление перегрузкой RoCEv2

RoCEv2 обеспечивает передачу данных по протоколу RDMA через сети Ethernet и IP.

Поскольку Ethernet по своей сути не обеспечивает такое же управление потоком на уровне канала на основе кредитов, как InfiniBand, традиционные развертывания RoCEv2 без потерь обычно сочетают в себе несколько механизмов:

  • Приоритетное управление потоком (PFC): При необходимости приостанавливает передачу данных по выбранным приоритетам, чтобы уменьшить потери пакетов, вызванные перегрузкой сети.
  • Явное уведомление о перегрузке (ECN): Помечает пакеты для оповещения о перегрузке до того, как буферы переполнятся.
  • DCQCN: Механизм управления перегрузкой, поддерживаемый некоторыми сетевыми адаптерами с поддержкой RoCE, который регулирует скорость передачи данных на основе обратной связи по перегрузке.
  • QoS и классификация трафика: Обеспечьте единообразную обработку приоритетов на всех сетевых картах и ​​коммутаторах.

Эти механизмы выполняют различные функции и должны быть соответствующим образом настроены в соответствии с аппаратной и сетевой архитектурой.

Включение PFC без разбора для всех классов трафика может привести к ненужному распространению пауз, блокировке начала очереди и другим проблемам с производительностью.

Аналогичным образом, неподходящие пороговые значения ECN или непоследовательное сопоставление приоритетов могут снизить пропускную способность и увеличить задержку в конце цепочки запросов.

Правильно настроенная сеть RoCEv2 может обеспечить превосходную производительность, но её поведение необходимо проверить в реальных условиях трафика.

Практическое различие заключается в том, что InfiniBand предоставляет большую часть своих функций управления потоком в рамках собственной архитектуры сети, в то время как традиционные развертывания RoCEv2 часто требуют более явной конфигурации Ethernet.

Фурнитура 400G, расположенная за каждой тканью.

Выбор коммутационной матрицы 400G включает в себя нечто большее, чем просто выбор между двумя сетевыми протоколами.

Архитектура коммутатора, возможности сетевой карты, поддерживаемые форм-факторы трансиверов и программное обеспечение платформы — все это влияет на гибкость развертывания и производительность.

ПлатформаТканьРолиКлючевые возможности
NVIDIA Квантум-2Отчет о недоставке InfiniBandКоммутаторДо 64 портов 400G, суммарная двунаправленная пропускная способность 51.2 Тбит/с.
NVIDIA Spectrum-4 SN5600EthernetКоммутаторДо 128×400GbE или 64×800GbE через поддерживаемые конфигурации портов.
Broadcom Tomahawk 5EthernetКремниевый переключательКоммутационная способность 51.2 Тбит/с
NVIDIA ConnectX-7InfiniBand / EthernetНИК / HCAНекоторые модели VPI поддерживают 400G и оба протокола.
NVIDIA Блюфилд-3Варианты Ethernet / InfiniBandDPUВысокопроизводительные сетевые возможности, ускорение и разгрузка инфраструктуры; возможности различаются в зависимости от модели устройства.

ConnectX-7: поддержка InfiniBand и Ethernet

NVIDIA ConnectX-7 особенно полезен при оценке двух сетевых экосистем.

Некоторые адаптеры ConnectX-7 VPI поддерживают как InfiniBand, так и Ethernet, что позволяет организациям оценивать различные архитектуры коммутационных матриц с использованием совместимого адаптерного оборудования.

Однако поддержка протокола зависит от конкретной модели адаптера.

Режим работы настраивается с помощью поддерживаемых параметров микропрограммы или утилит управления, таких как NVIDIA mlxconfig. Подключение адаптера к другому коммутатору не гарантирует автоматического корректного изменения режима протокола.

Перед выбором оборудования ConnectX-7 необходимо убедиться в следующем:

  • Максимальная поддерживаемая скорость порта
  • Поддержка протоколов InfiniBand и Ethernet.
  • Количество портов и тип физического разъема
  • Совместимость прошивок и драйверов
  • Поддерживаемые оптические трансиверы и кабельные сборки

В технических характеристиках NVIDIA ConnectX-7 представлена ​​дополнительная информация, специфичная для конкретной модели.

Spectrum-X против InfiniBand

NVIDIA Spectrum-X — это сетевая платформа Ethernet, разработанная для рабочих нагрузок в области искусственного интеллекта.

Она объединяет коммутаторы Spectrum Ethernet, совместимые сетевые адаптеры или DPU и оптимизированный программный стек для поддержки высокопроизводительной связи RoCE.

Для сравнения, Quantum-2 предлагает собственную архитектуру InfiniBand.

Для организаций, рассматривающих возможность приобретения оборудования NVIDIA, Spectrum-X и Quantum-2 представляют собой два разных подхода к сетевым технологиям для искусственного интеллекта.

Платформы Ethernet на базе Broadcom предоставляют организациям, отдающим приоритет многовендорной сетевой экосистеме, дополнительные возможности выбора оборудования.

Внедрение решений InfiniBand NDR, особенно тех, которые используют коммутаторы Quantum-2, в большей степени связано с интегрированной аппаратной и программной экосистемой NVIDIA.

Где форм-факторы расходятся при 400 Гс

Совместимость оптических модулей — один из важнейших практических аспектов при построении сети 400G.

Технологии InfiniBand NDR и 400GbE могут использовать схожие высокоскоростные электрические компоненты, однако их трансиверы, интерфейсы хоста и поддерживаемые конфигурации портов не являются автоматически взаимозаменяемыми.

OSFP Twin-Port

Двухпортовый OSFP широко используется в коммутаторах NVIDIA Quantum-2 NDR и некоторых платформах Ethernet Spectrum-4.

Реализация OSFP с двумя портами позволяет поддерживать два независимых канала связи 400G через один физический модуль.

Это обеспечивает суммарную пропускную способность 800 Гбит/с при сохранении отдельных логических соединений.

Это особенно полезно в системах коммутации высокой плотности, требующих большого количества портов 400G.

QSFP-DD

QSFP-DD широко используется в коммутационных платформах 400GbE.

Данный форм-фактор обеспечивает восьмиполосный электрический интерфейс и поддерживает широкий спектр оптических трансиверов Ethernet.

Однако QSFP-DD не следует рассматривать как универсально совместимый с оборудованием InfiniBand NDR.

Совместимость зависит от физических характеристик коммутатора или адаптера, электрического интерфейса, поддерживаемого протокола и параметров приемопередатчика.

Трансивер QSFP-DD нельзя напрямую вставить в корпус OSFP или QSFP112.

Где форм-факторы расходятся при 400 Гс

QSFP112

QSFP112 — это четырехполосный форм-фактор PAM4 класса 100G, широко используемый для подключения к сети 400G.

Поддержка осуществляется некоторыми высокопроизводительными адаптерами, включая определенные модели NVIDIA ConnectX-7 и BlueField-3.

Продукты QSFP112 доступны для различных сетевых приложений, но сам по себе форм-фактор не гарантирует совместимость как с Ethernet, так и с InfiniBand.

Для получения более подробной информации о его электрическом интерфейсе, областях применения и вопросах совместимости ознакомьтесь с нашим руководством по трансиверу QSFP112.

Почему важна совместимость с хостом

Хотя однопортовые и двухпортовые OSFP-модули могут иметь одинаковые физические размеры, их внутренняя конфигурация портов и распределение электрических линий могут различаться.

Кабель или трансивер, предназначенный для одной конфигурации хоста, может некорректно работать в другой.

Несовместимые комбинации могут привести к сбоям связи, недоступности портов, неподдерживаемым режимам подключения или другим проблемам с соединением.

Перед приобретением трансиверов и кабелей 400G проверьте следующее:

  • Модель и характеристики портов хост-устройства
  • Физический форм-фактор и совместимость с каркасом
  • Поддерживаемая конфигурация электрических линий
  • Требования к протоколу и встроенному программному обеспечению
  • Тип оптического разъема и полярность волокна.
  • Поддерживаемые конфигурации с разветвлением или многопортовые конфигурации

В системах InfiniBand такие инструменты, как ibstat, могут помочь проверить состояние и скорость согласованного канала связи.

Кабели и оптика: самая большая статья расходов

Трансиверы и кабельные сборки обычно составляют наибольшую долю в спецификации компонентов 400G-сети. Это удивляет тех, кто считает, что коммутаторы занимают основную часть бюджета.

Требования к дальности действия определяют стоимость.

ТипВылетТипичное использованиеОриентировочная цена на конец 2026 года
Пассивный медный ЦАП1-3 мВнутри стойки переключитесь на сетевую карту.$ 280-450
Активный оптический кабель (АОК)3-30 мСоседние стеллажи$ 1,500-2,800
OSFP SR4 многомодовый~ 50 мМногомодовая структурированная кабельная система$ 1,800-2,400
OSFP DR4 одномодовый~ 500 мОднорежимные запуски$ 2,400-3,200
OSFP FR4 одномодовый~2 кмБолее длинные маршруты по кампусу$ 3,500-5,000
Двухпортовый AOC (суммарный ток 800 Гбит/с)3-30 мДва канала связи 400 Гбит/с на модуль$ 2,800-4,500

В данном случае развертыванию чаще всего мешают две детали, и обе они специфичны для оптических каналов NDR. Во-первых, разъемы MPO должны иметь полировку APC. Полировка UPC вызывает нестабильность канала, и симптом больше похож на неисправность оптики, чем на некачественную полировку. Во-вторых, полярность волокна и тип разъема должны соответствовать используемому кассетному или магистральному кабелю, иначе вы потратите целый день на поиски каналов, которые так и не будут установлены.

Руководство NVIDIA по кабелям и трансиверам LinkX является справочным материалом по пассивному слою в обеих сетях.

Для более подробного сравнения форм-факторов, в нашей статье «400G QSFP-DD против OSFP против QSFP56» рассматривается совместимость с разъемами и варианты разветвления. А если вы одновременно создаете пассивный слой, руководство по кабелям InfiniBand DAC и AOC охватывает выбор длины и типа кабеля в зависимости от поколения.

Нужно решить вопрос с оптикой до установки коммутаторов? FiberMall поставляет модули 400G для обеих сетей, включая трансиверы 400G NDR InfiniBand и альтернативы 400GbE QSFP-DD. Запросите коммерческое предложение, и мы составим спецификацию компонентов в соответствии с вашей платформой коммутаторов.

Повышение производительности 400GbE RoCEv2

Если вы выберете Ethernet, то именно в этом разделе будет решаться, получите ли вы 90% или 30% возможностей InfiniBand. Разница заключается в конфигурации.

Прежде чем доверять какому-либо бенчмарку, внимательно изучите следующие моменты:

1. Ограничьте использование PFC только для класса приоритета RDMA. Глобальная настройка PFC является наиболее распространенной ошибкой конфигурации и причиной возникновения «штормов пауз».

2. Повысьте пороговые значения ECN по сравнению со значениями по умолчанию для веб-серверов. Значения в диапазоне 500 КБ–1 МБ подходят для всего трафика с низким трафиком; значения по умолчанию для центров обработки данных обычно слишком агрессивны.

3. Включите протокол DCQCN для сквозной передачи данных и убедитесь, что сетевая карта, драйвер и коммутатор согласны с этим.

4. Включите адаптивную маршрутизацию. Статическая маршрутизация приводит к доставке в неправильном порядке, что замедляет работу AllReduce.

5. Согласуйте сопоставление QoS и DSCP для сетевой карты, драйвера и порта коммутатора.

6. Проверьте задержку на P99 и P999, уменьшив ее полностью. Средние значения скрывают «хвост» распределения, который отнимает время на обучение.

7. Введите импульс памяти и убедитесь, что задержка в хвосте памяти сохраняется при использовании incast. Ткань, которая работает без потерь в режиме ожидания, ничего не доказывает.

Хорошо настроенный кластер из 512 графических процессоров должен обеспечивать загрузку пропускной способности шины более 90% с задержкой P99 all-reduce менее 2.5 микросекунд. Если эти показатели значительно ниже, проблема не в коммутаторе, а в конфигурации.

На настройку первого развертывания 400GbE следует заложить около двух недель. Команды, которые уже делали это раньше, работают быстрее, но первый проект — это уже задача, а не формальность.

Стоимость и совокупная стоимость владения: Ethernet 400 Гбит/с против InfiniBand

Ethernet выигрывает по стоимости приобретения, и это неоспоримо. Цена за порт 400GbE примерно на 30–50% ниже, чем у InfiniBand, если учитывать коммутаторы и оптические модули.

InfiniBand выигрывает по времени, затрачиваемому на разработку. Вы тратите меньше времени на настройку и устранение неполадок, потому что отсутствие потерь — это свойство сети, а не параметр, которым вы владеете.

Оба утверждения могут быть верны одновременно, и это подтверждают общедоступные данные. По сообщениям Meta, преимущество InfiniBand в производительности примерно на 15% не оправдывает увеличение совокупной стоимости владения в 2.3 раза для парка из почти 600 000 графических процессоров. OpenAI, работая с теми же двумя вариантами, отметила, что управление перегрузкой InfiniBand позволило проводить обучение примерно на 40% быстрее, чем в их предыдущих попытках с использованием Ethernet.

Если сопоставить эти два результата, то вывод будет не в том, что один из поставщиков был прав, а в том, что масштаб меняет ответ. В масштабах Meta разница в цене за порт суммируется и перекрывает прирост производительности. Для команды, чья первая Ethernet-сеть была недостаточно оптимизирована, разрыв в производительности стал доминирующим фактором.

Использование оптики сторонних производителей еще больше меняет эти расчеты. Покупка модулей 400G, совместимых с MSA, вместо фирменных компонентов OEM-производителя значительно меняет спецификацию материалов, при этом модули изготавливаются по тем же стандартам.

Ultra Ethernet 1.0: Заполняет ли он пробел?

Ultra Ethernet Consortium (UEC) 1.0 появился в июне 2025 года, а в сентябре того же года вышло обновление до версии 1.0.1. Это проект Linux Foundation, поддерживаемый компаниями AMD, Arista, Broadcom, Cisco, HPE, Intel, Meta, Microsoft и Oracle.

Ключевое изменение заключается в новом транспортном уровне, Ultra Ethernet Transport, который заменяет старые верхние уровни Ethernet, сохраняя при этом базовый уровень стандартного Ethernet. Он обеспечивает рассылку пакетов по всем доступным путям, многопутевой RDMA с нерегулярной доставкой, которая собирается на сетевой карте, выборочную повторную передачу только потерянных пакетов и современное управление перегрузкой, которое не зависит от коррекции коэффициента мощности (PFC) для корректной работы. PFC становится скорее резервным вариантом, чем обязательным требованием.

Последний пункт — самый важный. Если PFC перестанет быть несущей нагрузкой, то основной тип отказов кластеров 400GbE перестанет быть основным типом отказов.

Следует отметить один важный момент: сроки. UEC 1.0 использует то же оборудование, что и RoCEv2, и совместимые продукты продолжали появляться в течение 2025 и 2026 годов. Работа в 2026 году сосредоточена на программируемом управлении перегрузкой, повышении производительности при передаче небольших сообщений и коллективных операциях внутри сети.

Воспринимайте всё это как план развития, а не как спецификацию для выпуска. Если вам нужен первоисточник, ознакомьтесь со спецификацией непосредственно на сайте Ultra Ethernet Consortium.

400G Ethernet против InfiniBand: какая коммутационная матрица подходит для вашего кластера?

Вот схема принятия решений, изложенная простым языком.

Ваша ситуацияТкань на выборПочему
Более 64 графических процессоров для предварительного обучения одной большой модели.Отчет о недоставке InfiniBandКонструкция обеспечивает отсутствие потерь, минимальную задержку в хвостовой части спектра.
эталонная архитектура DGX или HGXОтчет о недоставке InfiniBandСуда сертифицированы, ничего настраивать не нужно.
Задержка в хвостовой части графика имеет решающее значение с точки зрения контракта.Отчет о недоставке InfiniBandСубмикросекундные переключения
Нет желания владеть акциями PFC и ECN.Отчет о недоставке InfiniBandОтсутствие потерь — это свойство ткани.
32 графических процессора или меньше400GbE + RoCEv2Дешевле, и разница в таких масштабах невелика.
В основном, это вывод или тонкая настройка.400GbE + RoCEv2Интенсивные коллективные тренировки не являются узким местом.
Модели с параметрами менее 70 миллиардов400GbE + RoCEv2Спрос на пропускную способность остается умеренным.
Внутренние экспертные знания в области IP-сетей.400GbE + RoCEv2Единая платформа для вычислений, хранения данных и управления.
Учебный самолет, а также хранение и управление.ГибридныйОптимизируйте каждую сеть для её собственного трафика.

Выбирайте гибридную схему, если хотите получить лучшее от обеих систем. Сейчас широко распространена схема, в которой InfiniBand используется для обучающего уровня, а Ethernet — для хранения данных, обработки и управления. Каждая сеть оптимизируется под свои фактические потребности, а не идет на компромиссы.

400G Ethernet против InfiniBand: какая коммутационная матрица подходит для вашего кластера?

При принятии этого решения следует руководствоваться масштабом, а не личными предпочтениями. Ethernet обогнал InfiniBand в сегменте коммутации для ИИ, достигнув примерно двух третей этого рынка к началу 2026 года, в то время как InfiniBand остается стандартом с низкой задержкой для крупнейших обучающих моделей. Оба варианта логичны, учитывая, насколько по-разному ведут себя эти две сети в масштабе.

Для более широкого сравнения экосистем, в нашей статье «InfiniBand против Ethernet» рассматриваются более подробные аспекты работы и доступности в облаке. Если вы сравниваете RoCEv2 с собственной сетевой инфраструктурой на уровне протокола, то в сравнении InfiniBand против RoCEv2 подробно рассматриваются различия в транспортных протоколах.

FAQ

Насколько быстр Ethernet 400 Гбит/с по сравнению с InfiniBand NDR?

Обе сети обеспечивают номинальную пропускную способность порта 400 Гбит/с. Однако фактическая производительность RDMA и рабочих нагрузок ИИ зависит от топологии, управления перегрузкой, оборудования и конфигурации. Ни одна из сетей не обладает универсальным фиксированным преимуществом в производительности.

Может ли Ethernet 400G заменить InfiniBand для обучения ИИ?

Да. Правильно спроектированные сети 400GbE RoCEv2 могут поддерживать крупномасштабное обучение ИИ. Наилучший выбор зависит от требований к коллективной связи, целевых показателей производительности, опыта эксплуатации и стоимости развертывания.

Работает ли ConnectX-7 как с InfiniBand, так и с Ethernet?

Некоторые модели ConnectX-7 VPI поддерживают оба протокола. Режим работы необходимо соответствующим образом настроить с помощью поддерживаемых параметров встроенного ПО или инструментов управления, а возможности различаются в зависимости от модели.

Какой кабель мне нужен для NDR 400G?

Для коротких линий связи могут подойти совместимые модули DAC или AOC. Для более длинных линий обычно используются оптические трансиверы, такие как SR4 или DR4. Перед покупкой проверьте форм-фактор хоста, характеристики модуля, тип разъема и дальность передачи.

Можно ли использовать трансиверы QSFP-DD с InfiniBand?

QSFP-DD в основном используется в приложениях Ethernet и физически не может быть установлен в корпуса OSFP или QSFP112. Для развертывания NDR следует выбирать трансиверы, явно поддерживаемые платформой и протоколом InfiniBand.

Сколько стоит один порт в коммутационной сети 400G?

Стоимость варьируется в зависимости от коммутатора, адаптера, оптического подключения, топологии и поставщика. Ethernet может предлагать больше вариантов оборудования, но для содержательного сравнения требуется полный перечень компонентов, а не предположение об универсальной цене за порт.

Не является ли InfiniBand NDR избыточным для кластера из 16 графических процессоров?

Не обязательно. Кластер из 16 графических процессоров может хорошо работать с любой из этих сетей. InfiniBand оправдан для задач, требующих интенсивной передачи данных, в то время как Ethernet может предложить экономически выгодную альтернативу, если это поддерживается приложением и сетевой архитектурой.

Заключение

Выбор между 400G Ethernet и InfiniBand сводится к нескольким факторам, которые действительно влияют на результат.

Обе сети обеспечивают одинаковую скорость передачи данных, поэтому скорость передачи не должна определять ваш выбор. NDR 400G обеспечивает передачу данных без потерь и не требует настройки, а также примерно на 15–20% большую пропускную способность в больших масштабах. 400GbE стоит на 30–50% меньше за порт и достигает 85–95% производительности InfiniBand, при условии правильной настройки PFC, ECN и DCQCN и сохранения их в качестве используемых протоколов.

А есть еще один момент, не имеющий отношения к производительности. На скорости 400 Гбит/с форм-факторы различаются, и двухпортовый кабель OSFP в однопортовом корпусе незаметно снизит вашу пропускную способность вдвое. Проверяйте согласованные тарифы, а не маркировку.

Для большинства команд однозначного ответа нет. Подберите коммутационную инфраструктуру в соответствии с размером кластера и рабочей нагрузкой, а также рассмотрите возможность одновременного использования InfiniBand и Ethernet, вместо того чтобы заставлять одну из этих технологий выполнять все задачи.

Не уверены, какие оптические модули 400G необходимы для вашей коммутационной сети? Свяжитесь с нашими экспертами по сетям, сообщите им требования к вашей коммутационной платформе и дальности действия. Мы подберем NDR OSFP, QSFP112 или 400G QSFP-DD в соответствии с вашими потребностями, и вы сможете сравнить спецификации перед тем, как принять решение о выборе той или иной коммутационной сети.

Наверх