InfiniBand против Ethernet: битва между Broadcom и NVIDIA за доминирование в области масштабирования ИИ

Основная битва в высокопроизводительных вычислительных соединениях

Ethernet готов вернуть себе статус основного стандарта в масштабируемых центрах обработки данных, в то время как InfiniBand продолжает сохранять высокие темпы в секторах высокопроизводительных вычислений (HPC) и обучения искусственного интеллекта. Broadcom и NVIDIA ведут ожесточённую борьбу за лидерство на рынке.

По мере экспоненциального роста размеров моделей искусственного интеллекта масштабирование центров обработки данных сместилось от традиционных вертикально масштабируемых (односистемных) архитектур к масштабируемым горизонтально масштабируемым архитектурам, включающим десятки тысяч взаимосвязанных узлов. На рынке масштабируемых сетей в настоящее время доминируют две конкурирующие технологии:

• InfiniBand: бессменный лидер производительности, поддерживаемый дочерней компанией NVIDIA Mellanox, использует собственный протокол RDMA для обеспечения сверхнизкой задержки (менее 2 микросекунд) и нулевой потери пакетов.
• Ethernet: При активной поддержке Broadcom и других компаний он выигрывает от открытой экосистемы и значительно более низкой стоимости.

В июне 2025 года Ethernet начал мощную контратаку. Консорциум Ultra Ethernet (UEC) официально выпустил спецификацию UEC 1.0, которая полностью перестраивает стек сетевых протоколов и обеспечивает производительность, сравнимую с InfiniBand. Ожидается, что Ethernet, обладающий многочисленными преимуществами, будет постепенно расширять свою долю рынка. Этот технологический сдвиг меняет всю конкурентную среду на рынке горизонтально масштабируемых сетей.

Ключевые поля битвы при горизонтальном масштабировании: преимущества InfiniBand против контрнаступления Ethernet

Основная масштабируемая архитектура InfiniBand изначально поддерживает удалённый прямой доступ к памяти (RDMA). Принцип её работы следующий:

• Во время передачи данных контроллер DMA отправляет данные на сетевую интерфейсную карту с поддержкой RDMA (RNIC).
• RNIC инкапсулирует данные и передает их непосредственно принимающему RNIC.
• Поскольку этот процесс полностью обходит центральный процессор — в отличие от традиционного протокола TCP/IP — InfiniBand достигает чрезвычайно низкой задержки (<2 мкс).

Кроме того, InfiniBand использует управление потоком на основе кредитов (CBFC) на канальном уровне, гарантируя, что данные передаются только при наличии у приемника свободного места в буфере, тем самым гарантируя нулевую потерю пакетов.

Для корректной работы нативного RDMA необходимы коммутаторы InfiniBand. Многие годы на рынке этих коммутаторов доминировало подразделение NVIDIA Mellanox, что привело к относительно закрытой экосистеме с более высокими затратами на закупку и обслуживание — стоимость оборудования примерно в три раза выше, чем у аналогичных коммутаторов Ethernet.

Благодаря открытой экосистеме, многочисленным поставщикам, гибким возможностям развертывания и более низким затратам на оборудование Ethernet постепенно получил широкое распространение.

Чтобы внедрить возможности RDMA в Ethernet, в 2010 году Ассоциация торговли InfiniBand (IBTA) представила RDMA over Converged Ethernet (RoCE):

• РоЦЭ v1: просто добавлен заголовок Ethernet на канальном уровне, ограничивающий связь одной и той же подсетью уровня 2 и предотвращающий передачу через маршрутизаторы или разные подсети.
• РоЦЭ v2 (выпущено в 2014 году): Заголовок глобальной маршрутизации InfiniBand (GRH) на уровне 3 заменен заголовками IP/UDP. Это изменение позволяет стандартным коммутаторам и маршрутизаторам Ethernet распознавать и пересылать пакеты RoCE, обеспечивая передачу данных между подсетями и маршрутизаторами, а также значительно повышая гибкость развертывания.

Однако задержка RoCE v2 остается немного выше, чем у собственного RDMA (~5 мкс), и требует дополнительных механизмов, таких как управление приоритетным потоком (PFC) и явное уведомление о перегрузке (ECN), для снижения риска потери пакетов.

Сравнительная таблица в исходном документе подчеркивает ключевые различия между InfiniBand и открытой технологией RoCE:

• InfiniBand использует полностью собственный закрытый стек протоколов для достижения минимально возможной задержки.
• RoCE v1 имитирует архитектуру InfiniBand через Ethernet, но ограничивается той же подсетью уровня 2.
• RoCE v2 использует сетевой уровень IP, поддерживает связь между подсетями и обеспечивает максимальную совместимость с существующей инфраструктурой центра обработки данных Ethernet.

InfiniBand сохраняет присущие ему преимущества сверхнизкой задержки и нулевой потери пакетов, что делает его предпочтительным выбором для современных центров обработки данных с искусственным интеллектом. Однако более высокие затраты на оборудование и обслуживание в сочетании с ограниченным выбором поставщиков обуславливают постепенный переход к архитектурам на базе Ethernet.

В связи с бурным ростом спроса на решения для центров обработки данных с использованием искусственного интеллекта и соображениями соотношения цены и экосистемы, NVIDIA активно вышла на рынок Ethernet. Помимо собственных коммутаторов серии InfiniBand Quantum, NVIDIA теперь предлагает Ethernet-продукты серии Spectrum.

В 2025:

• Quantum-X800: 800 Гбит/с/порт × 144 порта = всего 115.2 Тбит/с
• Spectrum-X800: 800 Гбит/с/порт × 64 порта = всего 51.2 Тбит/с
• Версии Quantum-X800 и Spectrum-X800 CPO (Co-Packaged Optics) ожидаются во второй половине 2025 года и второй половине 2026 года соответственно.

Хотя коммутаторы Spectrum стоят дороже конкурирующих коммутаторов Ethernet, преимущество NVIDIA заключается в глубокой интеграции аппаратного и программного обеспечения (например, с DPU BlueField-3 и платформой DOCA 2.0), что обеспечивает высокоэффективную адаптивную маршрутизацию.

Гонка за стоимость коммутаторов ASIC и внедрение CPO: Ethernet лидирует, InfiniBand следует за ним

В сфере Ethernet компания Broadcom неизменно сохраняет лидерство в области разработки кремниевых Ethernet-коммутаторов. Её серия Tomahawk следует принципу «удвоения общей пропускной способности примерно каждые два года».

К 2025 году компания Broadcom выпустила коммутатор Tomahawk 6 — на тот момент самый высокоскоростной в мире — с общей пропускной способностью 102.4 Тбит/с и поддержкой 64 портов по 1.6 Тбит/с. Tomahawk 6 также изначально поддерживает протокол Ultra Ethernet Consortium (UEC) 1.0, реализуя многопутевое распыление пакетов, повторные попытки на канальном уровне (LLR) и управление потоком на основе кредита (CBFC), что дополнительно снижает задержки и риск потери пакетов.

Broadcom также лидирует в области технологии Co-Packaged Optics (CPO):

• 2022: Томагавк 4 Гумбольдт CPO версия
• 2024: Томагавк 5 Байи
• 2025: Томагавк 6 Дэвиссон

По сравнению с Tomahawk 6 со скоростью 102.4 Тбит/с, выпущенным Broadcom в 2025 году, NVIDIA, как ожидается, выпустит Spectrum-X1600 со скоростью 102.4 Тбит/с не раньше второй половины 2026 года — примерно на год позже. Выпуск версии Spectrum-X Photonics CPO от NVIDIA со скоростью 102.4 Тбит/с также запланирован на вторую половину 2026 года.

За пределами дуэли Broadcom–NVIDIA:

• Marvell выпустила Teralynx 10 со скоростью 51.2 Тбит/с в 2023 году
• Cisco выпустила серию Silicon One G200 со скоростью 51.2 Тбит/с в 2023 году вместе с прототипами CPO.

Электрические соединения достигли своего предела; оптическая интеграция становится приоритетом

Традиционные электрические межсоединения на основе медных проводов достигают пределов физических возможностей. По мере увеличения дальности передачи оптоволоконные межсоединения демонстрируют явные преимущества в сценариях масштабирования: меньшие потери, более высокая пропускная способность, более высокая устойчивость к электромагнитным помехам и большая дальность связи.

Современные оптические решения в основном используют подключаемые приемопередатчики, достигая скорости в 200 Гбит/с на одной линии и совокупной скорости в 1.6 Тбит/с (8×200 Гбит/с).

С ростом скорости энергопотребление и потери сигнала на печатных платах становятся серьёзными. Технология кремниевой фотоники (SiPh) была разработана для решения этих проблем путём интеграции миниатюрных приёмопередающих компонентов непосредственно в кремний, образуя фотонные интегральные схемы (ФИС). Затем они размещаются внутри кристалла, что позволяет сократить электрические пути и заменить их оптическими — это и есть технология корпусированной оптики (CPO).

Более широкая концепция CPO охватывает несколько форм: бортовую оптику (OBO), пакетированную оптику (CPO) и оптический ввод-вывод (OIO).

Корпус оптического двигателя (OE) все больше приближается к основной микросхеме ASIC:

• OBO: OE на печатной плате (теперь используется редко)
• Узкий CPO: OE на подложке (текущая основная тенденция) → мощность <0.5× подключаемая (~5 пДж/бит), задержка <0.1× (~10 нс)
• OIO: OE на промежуточном устройстве (направление на будущее) → мощность <0.1× (<1 пДж/бит), задержка <0.05× (~ 5 нс)

CPO-технологии по-прежнему сталкиваются с проблемами в области терморегулирования, склеивания и сопряжения. По мере приближения оптической связи к пределу своих возможностей, прорывы в области CPO и кремниевой фотоники определят будущую конкурентную среду.

Лагерь Ethernet митингует: UEC продвигает стандарт UEC 1.0

Как упоминалось ранее, InfiniBand завоевал значительную долю рынка генеративного ИИ благодаря сверхнизкой задержке. Однако Ethernet — основная высокопроизводительная сетевая экосистема — также стремится к достижению аналогичной задержки.

Консорциум Ultra Ethernet (UEC) был основан в августе 2023 года. В число его первоначальных участников вошли AMD, Arista, Broadcom, Cisco, Eviden, HPE, Intel, Meta и Microsoft. В отличие от экосистемы InfiniBand, где доминирует NVIDIA, UEC делает акцент на открытых стандартах и ​​совместимости, чтобы избежать привязки к одному поставщику.

В июне 2025 года UEC выпустила UEC 1.0 — не просто усовершенствование RoCE v2, но и полную реконструкцию каждого уровня (программного, транспортного, сетевого, канального и физического).

Ключевые усовершенствования по сокращению задержек включают подуровень доставки пакетов (PDS) на транспортном уровне, включающий:

• Многопутевая передача по нескольким равноценным и равноскоростным путям (полосам/трекам)
• Сетевые карты используют энтропию для распыления пакетов по всем путям для максимальной пропускной способности.

Такая многоуровневая структура обеспечивает сверхбыстрое восстановление сети и адаптивную маршрутизацию, близкую к InfiniBand.

Для минимизации потерь пакетов в UEC 1.0 реализованы два основных механизма:

• Дополнительный повтор на канальном уровне (LLR): быстрый локальный запрос на повторную передачу при потере пакета, снижающий зависимость от PFC
• Дополнительное управление потоком на основе кредитов (CBFC): отправитель должен получить кредиты от получателя перед передачей, что обеспечивает полное отсутствие потерь, аналогичное InfiniBand CBFC

Масштабное развитие Китая: координация международных стандартов с независимыми инновациями

Масштабируемая архитектура инфраструктуры искусственного интеллекта в Китае развивается в соответствии с принципами автономности и международной совместимости. Придерживаясь глобальных стандартов Ethernet, крупные китайские предприятия активно инвестируют в местные архитектуры, постепенно формируя характерные китайские масштабируемые системы.

Alibaba, Baidu, Huawei, Tencent и многие другие присоединились к UEC для совместной разработки стандарта. Одновременно они независимо разрабатывают масштабируемые фабрики, ориентированные на низкую задержку и нулевую потерю пакетов, напрямую сравнивая их с InfiniBand.

Известные образцы местной архитектуры:

• China Mobile – GSE (общий плановый Ethernet): выпущен до UEC в мае 2023 года. GSE 1.0 оптимизирует существующий RoCE посредством балансировки нагрузки на уровне портов и отслеживания перегрузки конечных точек. GSE 2.0 — это полная перестройка стека протоколов с многопутевым распылением и управлением потоком DGSQ.
• Alibaba Cloud – Высокопроизводительная сеть (HPN)HPN 7.0 использует архитектуру «двойной восходящий канал + многоканальная сеть + двухплоскостная сеть». В HPN 8.0 следующего поколения будут использоваться полностью собственные коммутаторы 800G со скоростью 102.4 Тбит/с.
• Huawei – межсоединение UB-Mesh: Развернуто на платформах Ascend NPU с использованием многомерной nD полносвязной топологии, поддерживающей как вертикальное, так и горизонтальное масштабирование в измерениях 3D+.

При участии ZTE, Accelink и других компаний Китай быстро выстраивает полную внутреннюю цепочку поставок оптических модулей и кремниевой фотоники.

Центры обработки данных ИИ следующего поколения: технологическая трансформация и возможности

В течение многих лет технология NVIDIA InfiniBand доминировала на рынке масштабируемых решений для искусственного интеллекта, обеспечивая задержку менее 2 мкс и нулевую потерю пакетов. Однако с выходом UEC 1.0 в июне 2025 года Ethernet стремительно сокращает разрыв в задержке и надежности, одновременно восстанавливая конкурентоспособность. Broadcom продолжает двухлетний цикл удвоения пропускной способности, неустанно повышая производительность оборудования Ethernet.

По мере того, как скорости достигают 1.6 Тбит/с и выше, мощность и задержка подключаемых оптических кабелей становятся узкими местами, что делает CPO основным направлением будущего. Broadcom лидирует в развертывании CPO с 2022 года; NVIDIA планирует внедрение InfiniBand CPO во второй половине 2025 года.

По мере развития Ethernet и CPO сети центров обработки данных ИИ полностью переходят на высокоскоростные оптические соединения, создавая огромные возможности для оптических трансиверов и цепочек поставок (кремниево-фотонные чипы, лазеры, оптоволоконные модули).

В области горизонтального масштабирования:

• Ожидается, что NVIDIA продолжит лидировать в традиционном сегменте InfiniBand.
• Broadcom намерена сохранить доминирующую долю на рынке Ethernet за счет превосходных микросхем ASIC с высокой пропускной способностью, лидерства в области CPO и внедрения UEC.

В августе 2025 года компании NVIDIA и Broadcom представили концепции «Scale-Across» для расширения возможностей подключения между несколькими центрами обработки данных — новую парадигму в области высокопроизводительных сетей.