Кластеры искусственного интеллекта NVIDIA QSFP112: ConnectX-7 и BlueField-3

Невозможно напрямую установить трансивер QSFP112 в порт коммутатора NVIDIA Quantum-2 или Spectrum-4. Эти коммутационные платформы используют разъемы на основе OSFP, тогда как QSFP112 разработан в первую очередь для подключения к адаптерам NVIDIA и DPU.

Это различие часто вызывает путаницу при развертывании инженерами сетей NVIDIA 400G AI. Распространенное предположение заключается в том, что один и тот же оптический модуль 400G может быть установлен на обоих концах канала связи. Однако физические интерфейсы различаются: адаптеры и DPU NVIDIA могут использовать разъемы QSFP112, в то время как коммутаторы NVIDIA класса 400G используют разъемы OSFP.

Причина связана с механической конструкцией, тепловым менеджментом и архитектурой платформы. QSFP112 и OSFP имеют разные физические корпуса и методы охлаждения, поэтому они не взаимозаменяемы.

Как только этот принцип проектирования будет понят, планирование развертывания NVIDIA QSFP112 значительно упростится.

В этом руководстве объясняется, где используется QSFP112, какие адаптеры и DPU NVIDIA его поддерживают, как выбрать совместимые оптические модули и как правильно развернуть сетевые подключения NVIDIA 400G и 200G.

Если вам необходимо более подробное ознакомление со спецификациями и областями применения QSFP112, обратитесь к нашему полному руководству по QSFP112 400G.

ConnectX-7 и BlueField-3

Содержание

Почему QSFP112 не используется в портах коммутаторов NVIDIA

В документации по кабелям NVIDIA LinkX указано, что интерфейсы QSFP112 предназначены для использования на стороне адаптера и DPU в архитектурах NVIDIA 400G, в то время как коммутаторы Quantum-2 и Spectrum-4 используют интерфейсы на основе OSFP.

Распространенная ошибка при развертывании возникает, когда инженеры заказывают идентичные модули 400G как для коммутаторов, так и для серверов с графическими процессорами. Хотя оптические характеристики могут казаться схожими, физические интерфейсы различаются, что препятствует правильной установке модуля.

Разница обусловлена ​​не только оптической совместимостью. Она определяется в первую очередь механической конструкцией и тепловыми требованиями.

Плоский QSFP112 против OSFP с ребристой верхней частью

Модуль QSFP112 имеет плоский корпус без встроенных охлаждающих ребер. В адаптерах и DPU NVIDIA для отвода тепла модуль использует радиатор, расположенный со стороны хоста.

В отличие от них, коммутаторы NVIDIA Quantum-2 и Spectrum-4 используют модули OSFP с ребрами жесткости, установленные в двухпортовые корпуса OSFP. Эти модули разработаны с учетом собственных систем охлаждения для поддержки высокоплотных коммутационных сред 400G.

В обеих конструкциях используются разные тепловые подходы:

  • QSFP112: охлаждение с помощью адаптера или радиаторов DPU.
  • OSFP: модульное охлаждение с помощью интегрированных радиаторных конструкций.

Следовательно, модули QSFP112 и OSFP не могут быть напрямую взаимозаменяемы.

Плоский QSFP112 против OSFP с ребристой верхней частью

Пассивный адаптер QSFP112-to-OSFP отсутствует.

NVIDIA не поддерживает пассивный механический адаптер, преобразующий модуль QSFP112 в порт коммутатора OSFP.

Для обеспечения связи между коммутаторами NVIDIA OSFP и адаптерами QSFP112 требуются проверенные оптические модули, решения для прямого подключения или активные кабельные сборки, разработанные для конкретной платформы.

Конструкция коммутаторов и адаптеров в сетях NVIDIA 400G намеренно выполнена в разных форм-факторах.

АтрибутQSFP112 (со стороны адаптера и DPU)Двухпортовый OSFP (со стороны коммутатора)
Дорожки4 × 100G PAM48 портов 100G PAM4, распределенных между двумя портами 400G.
Совокупная ставка400G2 × 400G
Дизайн упаковкиПлоский QSFP112OSFP с ребристым верхом
Способ охлажденияУстановка радиатора на адаптер/DPUВстроенный в модуль радиатор
Типичные платформыConnectX-7 QSFP112, BlueField-3, ConnectX-8 C8240Квант-2, Спектр-4

Планируете сборку системы NVIDIA с 400 Гбит/с? Изучите варианты трансиверов QSFP112 в зависимости от модели вашего адаптера, платформы коммутатора и требуемой длины оптического кабеля.

Какие устройства NVIDIA действительно используют QSFP112?

Поддержка QSFP112 зависит от конкретной модели продукта NVIDIA. Разные поколения и конфигурации адаптеров могут поддерживать разные физические интерфейсы, поэтому инженерам всегда следует проверять точный артикул перед выбором оптики.

ConnectX-7: Доступны различные форм-факторы.

ConnectX-7 доступен как в конфигурации QSFP112, так и в конфигурации OSFP. Это один из наиболее распространенных источников путаницы при развертывании.

Адаптеры QSFP112 ConnectX-7 обычно обеспечивают двухпортовое подключение со скоростью 200 Гбит/с на порт, в то время как варианты OSFP поддерживают конфигурации с более высокой плотностью использования модулей на основе OSFP.

Правильный выбор оптического модуля зависит от точного номера детали адаптера и типа корпуса.

Практическое правило:

Всегда проверяйте номер модели адаптера, а не полагайтесь только на название семейства продуктов ConnectX-7.

BlueField-3: поддержка QSFP112

Модули BlueField-3 DPU поддерживают интерфейс QSFP112, а также обладают обратной совместимостью с модулями QSFP56 и QSFP28.

BlueField-3 не использует порты OSFP. Поэтому выбор оптического модуля определяется интерфейсом DPU и требуемой скоростью сети.

Поддержка BlueField-3 QSFP112

ConnectX-8: Зависит от артикула.

В зависимости от модели устройства, ConnectX-8 включает в себя различные конфигурации физического интерфейса.

Модель C8180 использует интерфейс OSFP-RHS для подключения по протоколу 800G, а модель C8240 имеет два порта QSFP112, поддерживающих подключение по протоколам 400GbE или NDR400.

Таким образом, одно и то же поколение продукции может включать в себя различные оптические форм-факторы, поэтому проверка артикула перед внедрением имеет важное значение.

Quantum-2 и Spectrum-4: Всегда OSFP

Коммутаторы NVIDIA класса 400G используют двухпортовые разъемы OSFP 2×400G. Quantum-2 поддерживает NDR InfiniBand, а Spectrum-4 — 400GbE. Ни один из них не поддерживает QSFP112.

В канале NVIDIA 400G на стороне коммутатора используется OSFP. Всегда.

устройство NVIDIAКлеткаПорты и тарифы
ConnectX-7, QSFP112 SKUQSFP1122 × 200G
ConnectX-7, OSFP SKUОднопортовый OSFP1 × 400G
БлюФилд-3 ДПУQSFP1122 порта, QSFP112 или QSFP56/QSFP28
ConnectX-8 C8240QSFP1122 × 400G (400GbE или NDR)
ConnectX-8 C8180OSFP-RHS1 × 800G
Квант-2Двухпортовый OSFP2 × 400G NDR
Спектр-4Двухпортовый OSFP2 × 400G Ethernet

Номера компонентов NVIDIA QSFP112 и ловушка MMA против MMS

Нумерация компонентов NVIDIA LinkX действительно трудночитаема. Префиксы отличаются всего на две буквы, и неправильный выбор означает, что вы получите модуль для стороны коммутатора вместо корпуса для стороны адаптера.

Елена, архитектор систем хранения данных в исследовательской лаборатории, три дня пыталась разобраться с «неисправным» модулем, который оказался модулем OSFP, заказанным для отсека QSFP112. Сам модуль был исправен. Неправильный отсек оказался неподходящим.

«Всё решилось за три дня, прочитав всего две буквы», — сказала она. Именно эта двухбуквенная приставка и стала причиной всей задержки.

Модули QSFP112 (со стороны адаптера и блока DPU)

Номер деталиМедиафайлыВылетсоединительМощность
ММА1З00-НС400Многорежимный (SR4)30 м OM3 / 50 м OM4МПО-12/АПК~8.5 Вт макс. (4 канала), 5.5 Вт (2 канала)
MMA1Z00-NS400-TМногорежимный (SR4)30 м OM3 / 50 м OM4МПО-12/АПКАналогично MMA1Z00-NS400
MMS1X00-NS400Однорежимный (DR4)500mМПО-12/АПК9.5W макс

Оптические различия имеют важное значение:

  • ММА1З00-НС400 Использует многомодовую технологию VCSEL на длине волны 850 нм для подключения центров обработки данных на коротких расстояниях.
  • MMS1X00-NS400 Использует одномодовую оптическую технологию на длине волны 1310 нм для связи на больших расстояниях.

Хотя оба модуля относятся к типу QSFP112 400G, они предназначены для разных волоконно-оптических инфраструктур и соответствуют различным требованиям.

Модули OSFP (со стороны коммутатора)

Номер деталиМедиафайлыВылетсоединительЗаметки
MMS4X00-NS400Однорежимный (DR4)100mМПО-12/АПКОднопортовый OSFP
MMS4X00-NSОднорежимный (2×DR4)100 м на звено2× MPO-12/APCДвухпортовый OSFP 2×400G

Коммутационные модули OSFP предназначены для платформ NVIDIA Quantum-2 и Spectrum-4.

Корпус OSFP механически отличается от корпуса QSFP112, хотя оба модуля обеспечивают оптическое соединение 400G.

Полезной деталью является то, что версии QSFP112 и OSFP некоторых продуктов 400G DR4 могут иметь схожие оптические модули. Основные различия заключаются в механическом корпусе, тепловой конструкции и требованиях к интерфейсу хоста.

Два варианта развертывания: 400G на две конечные точки, 200G на четыре конечные точки.

В архитектуре NVIDIA AI обычно используются две модели развертывания: с адаптерами QSFP112 и коммутаторами OSFP.

Обе архитектуры начинаются с коммутационного порта на базе OSFP и подключаются к адаптерам QSFP112 или DPU.

Два варианта развертывания

Схема A: Один порт коммутатора на две конечные точки 400G.

В коммутаторе NVIDIA Quantum-2 или Spectrum-4 установлен двухпортовый трансивер OSFP 2×400G.

Затем два независимых оптоволоконных соединения подключаются к двум интерфейсам QSFP112 на адаптерах ConnectX-7, BlueField-3 DPU или адаптерах ConnectX-8 C8240.

Каждая конечная точка получает выделенное соединение 400G.

Такая компоновка обычно используется в высокопроизводительных кластерах для обучения ИИ, где требуется максимальная пропускная способность на каждый узел GPU.

Необходимо также учитывать требования к охвату.

Например:

  • Оптический модуль QSFP112 DR4 может обеспечивать передачу данных на расстояние до 500 м при определенных условиях.
  • Полная дальность связи в системе зависит от модуля коммутатора и волоконно-оптического кабеля.
  • Технические характеристики кабельной сборки могут ограничивать окончательное расстояние прокладки.

Для многорежимных приложений:

  • MFP7E10 поддерживает прямое многомодовое соединение на расстояние до 50 м.

Для одномодовых приложений:

  • MFP7E30 поддерживает прямое одномодовое подключение на расстояние до 100 м.

Вариант B: Один порт коммутатора на четыре конечных устройства 200G.

Подключите тот же двухпортовый модуль OSFP к оптоволоконному разветвителю MFP7E20 1:2, и вы получите четыре канала NDR200 200G.

В этом режиме происходит незаметное, но эффективное снижение энергопотребления. Активируются только две из четырех линий модуля, поэтому модуль QSFP112 самостоятельно снижает потребляемую мощность примерно с 8.5 Вт до 5.5 Вт. Это снижение энергопотребления модуля на 35%, при этом никакой дополнительной настройки не требуется.

Такая плотность размещения постоянно наблюдается в чувствительных к стоимости стойках для ИИ, где 400 Гбит/с на каждый узел — это избыточно.

Сборка волоконТипОбслуживаемые конечные точкиМаксимальный охват
MFP7E10Прямой многорежимный2 × 400G50m
MFP7E20разветвитель 1:2 многомодовый4 × 200G NDR20050m
MFP7E30Прямой одномодовый2 × 400G100m

Правило, предотвращающее сбои при развертывании

Оба оптических тракта от двухпортового трансивера OSFP должны использовать одинаковую конфигурацию кабеля.

Правильные комбинации:

  • Прямое волокно + прямое волокно
  • Разветвитель оптоволокна + разветвитель оптоволокна

Не следует смешивать одно прямое соединение с одним разветвительным соединением на одном и том же двухпортовом модуле.

Смешанная конфигурация может привести к неправильному распределению полос движения или нестабильности соединения.

Почему не запускается ваш модуль NVIDIA QSFP112 Link

Наиболее распространенные причины выхода из строя модулей NVIDIA QSFP112 — четыре типа отказов. Каждый из них имеет свои отличительные признаки.

СимптомВероятная причинаПервое, что нужно проверить
Ссылка зарегистрирована, но трафик не проходит.Одна прямая нога, одна разделительная ногаОба волокна относятся к одному и тому же типу.
Модуль не устанавливается при нормальном сопротивлении.Заказана не та линейка запчастей.Префикс MMA/MMS указывает на тип клетки.
Нет связи ни на какой скорости.Несоответствие полосы QSFP-DD и QSFP1128 полос 50 Гбит/с против 4 полос 100 Гбит/с
Периодические ошибки ID или DOMНесоответствие прошивки или CMISВерсия NOS в соответствии со списком поддерживаемых оптических систем
Почему не запускается ваш модуль NVIDIA QSFP112 Link

Смешанное прямое и раздельное волокно

Если одна сторона двухпортового оптического модуля использует прямое волоконно-оптическое соединение, а другая — разветвитель, связь может работать некорректно.

Перед заменой оптических модулей всегда проверяйте работоспособность всей кабельной сборки.

Неверный номер детали в семействе

Проверьте префикс модуля по сравнению с корпусом. Детали MMA и MMS не взаимозаменяемы с корпусами переключателей. Если модуль не устанавливается с нормальным сопротивлением, прекратите надавливание и перечитайте маркировку.

Несоответствие интенсивности движения по полосам

Пассивный ЦАП 400G не может напрямую подключить порт QSFP-DD к порту QSFP112.

Причина кроется в архитектуре полос движения:

  • В модуле QSFP-DD 400G обычно используется восемь электрических линий 50G PAM4.
  • QSFP112 400G использует четыре электрических канала 100G PAM4.

Из-за различий в структуре электрических линий пассивные медные сборки не могут выполнять требуемые функции.

преобразование.

При подключении интерфейсов различной архитектуры используйте совместимые оптические модули или активные кабельные решения.

Прошивка и CMIS

Совместимость прошивки — ещё один важный фактор, который следует учитывать.

Более старые версии микропрограммного обеспечения могут некорректно идентифицировать оптические модули или отображать неточную цифровую диагностическую информацию.

Перед началом поиска и устранения неисправностей оборудования проверьте следующее:

  • Switch NOS версия
  • версия прошивки адаптера
  • Список поддерживаемых оптических устройств
  • Совместимость CMIS

Многие очевидные аппаратные сбои вызваны проблемами совместимости программного обеспечения.

Обратная совместимость и понижение передачи

Интерфейсы QSFP112 на адаптерах NVIDIA ConnectX-7 и DPU BlueField-3 обеспечивают обратную совместимость с более низкоскоростными модулями QSFP, включая QSFP56 на скорости 200 Гбит/с и QSFP28 на скорости 100 Гбит/с, если это поддерживается конкретной платформой и конфигурацией микропрограммы.

Это обеспечивает гибкий путь миграции для операторов центров обработки данных.

Однако совместимость работает только в одном направлении:

  • Корпус QSFP112 может поддерживать совместимые модули QSFP с более низкой скоростью.
  • Модуль QSFP112 нельзя установить в корпус коммутатора OSFP.
  • OSFP и QSFP112 по-прежнему имеют механически разные форм-факторы.

Это позволяет существующей инфраструктуре продолжать функционировать, пока организации постепенно переходят на более высокоскоростные сети 400G.

Например:

  • Существующие каналы связи 100G или 200G могут продолжать использовать оптические модули QSFP28 или QSFP56.
  • В новых кластерах ИИ можно использовать адаптеры и DPU на базе QSFP112 с пропускной способностью 400 Гбит/с.

Для более подробного понимания совместимости оптических модулей обратитесь к нашему руководству по трансиверу QSFP28 и обзору модуля 200G QSFP56.

Часто задаваемые вопросы о QSFP112 от NVIDIA

Можно ли использовать QSFP112 в коммутаторе NVIDIA?

Нет. Коммутационные платформы NVIDIA Quantum-2 и Spectrum-4 используют разъемы на основе OSFP для подключения по протоколу 400G.

QSFP112 предназначен для совместимых интерфейсов адаптеров и DPU, таких как конфигурации ConnectX-7 QSFP112, BlueField-3 и ConnectX-8 C8240.

Какие видеокарты NVIDIA используют QSFP112?

Модуль QSFP112 поддерживается на:

  • Адаптеры ConnectX-7 с конфигурацией QSFP112
  • DPU BlueField-3
  • адаптеры ConnectX-8 C8240

Однако семейства продуктов ConnectX-7 и ConnectX-8 включают в себя несколько конфигураций интерфейсов.

Перед выбором оптических модулей всегда уточняйте точный номер детали NVIDIA.

QSFP112 — это то же самое, что и OSFP?

№

Хотя оба интерфейса поддерживают сети 400G, они имеют разные физические интерфейсы.

КСФП112:

  • Использует четыре электрических канала 100G PAM4.
  • Использует плоский корпус QSFP112.
  • Обычно используется на адаптерах и DPU.

ОСФП:

  • Использует более крупный пакет OSFP.
  • Поддерживает более высокую теплоемкость
  • Используется коммутаторами NVIDIA класса 400G, такими как Quantum-2 и Spectrum-4.

Они отличаются по механическим и электрическим характеристикам и не могут быть напрямую взаимозаменяемы.

Поддерживает ли ConnectX-8 модуль QSFP112?

Да, в зависимости от модели.

Например:

  • ConnectX-8 C8240 использует два порта QSFP112, поддерживающих 400GbE или NDR400 на каждый порт.
  • ConnectX-8 C8180 использует интерфейс OSFP-RHS для подключения по протоколу 800G.

Одного лишь названия семейства продуктов недостаточно для определения требуемого оптического форм-фактора.

В чём разница между MMA1Z00-NS400 и MMS1X00-NS400?

Оба модуля представляют собой однопортовые QSFP112 с частотой 400 Гбит/с. MMA1Z00-NS400 — многомодовый модуль SR4, обеспечивающий дальность действия до 50 м на кабеле OM4. MMS1X00-NS400 — одномодовый модуль DR4, обеспечивающий дальность действия до 500 м.

Может ли QSFP112 работать на частоте 200 Гбит/с?

Да. Использование оптоволоконного разветвителя 1:2 от двухпортового коммутационного модуля OSFP позволяет создать четыре канала 200G NDR200, при этом модуль автоматически снижает мощность при отключении двух линий.

Выбор оптики для сборки компьютера с модулем NVIDIA QSFP112

Последовательность выбора становится короткой, как только вы знаете ограничения.

1. Укажите модель адаптера, а не просто семейство продуктов.

2. Подтвердите тип клетки по техническим характеристикам, а не по информации на рекламной странице.

3. Выберите материал и субстрат для вашего волокнистого производства.

4. Сопоставьте префикс номера детали с этой оболочкой.

Модули сторонних производителей и модули под брендом NVIDIA используют идентичные оптические модули, если оба соответствуют одному и тому же стандарту MSA. Реальные различия заключаются в коде прошивки, строках PSID и объеме поддержки. На платформах NVIDIA карты регистров имеют строгие требования, поэтому покупайте модули у поставщиков, которые проверяют код на соответствие целевой платформе, а не предполагают универсальную совместимость.

Для сетей 400G используйте адаптеры ConnectX-7 QSFP112 в паре с оптическими модулями 400G, подобранными для вашей волоконно-оптической сети. Для планирования сетей смешанного поколения 400G наше сравнение QSFP-DD, OSFP, QSFP56 и QSFP112 покажет компромиссы.

Компания FiberMall поставляет трансиверы QSFP112 и кабели, совместимые с NVIDIA, прошедшие тестирование на основных коммутационных платформах, по ценам производителя для оптовых заказов.

Заключение

Основная концепция развертывания NVIDIA QSFP112 проста:

В сетевых архитектурах NVIDIA 400G для искусственного интеллекта модули QSFP112 и OSFP выполняют разные функции.

Интерфейс QSFP112 в основном используется для подключения к адаптеру и процессору DPU, в то время как коммутаторы NVIDIA Quantum-2 и Spectrum-4 используют интерфейсы OSFP.

Понимание этого различия предотвращает распространенные ошибки при упорядочивании и упрощает развертывание кластера ИИ 400G.

Основные моменты, которые следует помнить:

  • Модуль QSFP112 используется в совместимых адаптерах и DPU NVIDIA, включая конфигурации ConnectX-7 QSFP112, BlueField-3 и ConnectX-8 C8240.
  • Коммутаторы NVIDIA 400G, такие как Quantum-2 и Spectrum-4, используют интерфейсы OSFP.
  • Префиксы MMA и MMS обозначают различия в оптических технологиях, такие как многомодовый SR4 и одномодовый DR4, а не использование на стороне адаптера или коммутатора.
  • Для модулей QSFP112 и OSFP требуются соответствующие корпуса, поэтому их нельзя напрямую взаимозаменять.
  • Пассивные ЦАП-решения не могут преобразовывать различные архитектуры электрических каналов, такие как QSFP-DD и QSFP112.

При правильном понимании форм-факторов, оптических носителей и архитектуры кабелей развертывание сетевых решений NVIDIA 400G для искусственного интеллекта может быть надежно спланировано как для высокопроизводительных обучающих кластеров, так и для масштабируемых центров обработки данных.

Готовы разработать свою систему NVIDIA QSFP112?
Обратитесь к нашим инженерам по оптическим сетям, чтобы подобрать совместимые трансиверы, кабели DAC/AOC и оптоволоконные решения в соответствии с требованиями вашей платформы NVIDIA.

Наверх