EtherNET или EtherNOT?

Исследование позиций ведущих вендоров в области сетей искусственного интеллекта. В июле 2023 года Консорциум Ultra Ethernet (UEC), инициированный Linux Foundation и его фондом совместного развития, был offбыл запущен, бросив глубинную бомбу в бурную экосистему взаимосвязей сетей искусственного интеллекта. В августе 2023 года на международном форуме IEEE Hot Interconnects (HOTI), посвященном передовым аппаратным и программным архитектурам и различным реализациям межсетевых сетей, представители Intel, Nvidia, AMD и других компаний приняли участие в панельной дискуссии по вопросу « EtherNET или EtherNOT» и выразили свое мнение об Ethernet. Появляющиеся рабочие нагрузки AI/ML стимулируют спрос на высокопроизводительные межсетевые соединения. Около десяти лет назад технология RDMA over Converged Ethernet (RoCE) ввела передачу данных с малой задержкой в ​​архитектуру Ethernet, но по сравнению с другими сетевыми технологиями Ethernet, похоже, отставала в технологическом развитии. Возобновится ли битва между EtherNET и EtherNOT? В эпоху Ethernet поставщики облачных технологий, поставщики оборудования и другие стороны имеют свои интересы, и это критический период принятия решений. Как они будут выбирать?

Эта тема «EtherNET или EtherNOT» уже обсуждалась на конференции HOTI в 2005 году, и вывод на тот момент был следующий:

При обсуждении конференции HOTI 2023 года Брэд Беррес, старший научный сотрудник и главный архитектор аппаратного обеспечения группы Network and Edge в Intel, и Фрэнк Хелмс, системный архитектор графических процессоров для центров обработки данных в AMD, отдали предпочтение Ethernet. Брэд Беррес утверждал, что независимо от того, какая технология будет принята, необходима открытая экосистема, чтобы снизить затраты всей отрасли и создать необходимую программную инфраструктуру. По мере развития протокола победителем станет Ethernet, если сразу же не появится другая структура открытого стандарта (например, CXL). Фрэнк Хелмс занял первое, второе и пятое места в глобальном списке TOP500 суперкомпьютеров Frontier, Aurora и LUMI соответственно, которые все основаны на сетевой структуре HPE Cray Slingshot-11 на базе Ethernet для подключения. Он считал, что Ethernet находится на переднем крае технологии межсоединений. Появление UEC (Ultra Ethernet Alliance) также отражает низкий спрос на Ethernet для крупномасштабного соединения кластеров обучения ИИ. Ларри Деннисон, директор по сетевым исследованиям NVIDIA, считает, что между Ethernet и удовлетворением потребностей рабочих нагрузок ИИ все еще существует разрыв. Если Ethernet отвечает всем этим потребностям, остается ли это Ethernet? Как долго это может быть достигнуто? Рынок Ethernet действительно огромен, он не исчезнет, ​​но в ближайшие несколько лет скорость развития Ethernet не сможет удовлетворить потребности этого рынка. Торстен Хёфлер, профессор ETH Zurich и консультант Microsoft в области крупномасштабного искусственного интеллекта и сетей, отметил, что Ethernet — это настоящее и будущее центров обработки данных и суперкомпьютеров, но не тот Ethernet, о котором мы говорим сейчас, Ethernet нужен развиваться.

Открытая экология or Привязка к поставщику?

Исторически сложилось так, что InfiniBand и Ethernet боролись за доминирование на рынке AI/HPC, поскольку оба они являются открытыми стандартами. Однако ключевое отличие состоит в том, что InfiniBand в настоящее время поддерживается Nvidia как один поставщик, в то время как Ethernet пользуется поддержкой нескольких поставщиков, что способствует созданию динамичной и конкурентоспособной экосистемы. Однако даже в области сетевых решений AI/HPC решения Ethernet могут иметь пометку «частично настроенная», что может привести к привязке к поставщику.

Например, Ethernet-коммутатор Jericho3 от Broadcom требует, чтобы вся сетевая структура использовала один и тот же чип коммутатора при работе в высокопроизводительном режиме «полностью запланированной структуры». Коммутатор Cisco Silicon One и коммутатор Spectrum-X от Nvidia также имеют схожие ситуации — требования к высокой производительности могут привести к привязке к поставщику. Некоторые гипермасштабные предприятия разработали «индивидуальные» сетевые адаптеры, что также может привести к созданию специализированных сетей. Таким образом, даже при выборе решений Ethernet можно столкнуться с нестандартными реализациями и привязкой к поставщику. Сети AI/HPC могут перейти на новый, открытый и более мощный транспортный стандарт, частично или полностью заменив протокол ROCEv2 RDMA, что является видением, которое преследует Beyond Ethernet Alliance.

Инвентаризация сетевых технологий AI/ML

Как поставщики гипермасштабируемых сетей выбирают свои сетевые технологии AI/ML? Это EtherNET или EtherNOT?

Amazon AWS

Amazon черпала вдохновение из протокола InfiniBand RD и запустила транспортный протокол Scalable Reliable Datagram (SRD) для сетей HPC. Amazon «исключительно» использует Enhanced Network Adaptors (ENA), основанные на собственном чипе Nitro. SRD использует UDP, поддерживает распыление пакетов по нескольким каналам и устраняет необходимость доставки пакетов «по порядку», уменьшая перегрузку структуры и задержку хвоста. При необходимости переупорядочение пакетов выполняется верхним уровнем SRD. Amazon продолжает придерживаться собственной сетевой стратегии AI/HPC и, вероятно, наименее сотрудничает с NVIDIA.

Google

Google использует сочетание своих TPU и графических процессоров NVIDIA. TPU и GPU конкурируют друг с другом и могут быть развернуты в зависимости от пригодности рабочей нагрузки. Google вряд ли будет использовать продукты InfiniBand в своей сети. Сеть Google AI/ML относительно адаптирована и уже много лет использует аналогичную «когерентную» архитектуру NVLink. Google ввела множество инноваций в сетевой стек и развернула «родные» системы оптической коммутации (OCS) — коммутатор на основе микроэлектромеханических систем (зеркала MEM) — в своих обычных центрах обработки данных и центрах обработки данных искусственного интеллекта. Оптические коммутаторы обычно устраняют уровень физических коммутаторов, поддерживают конфигурации с более высоким основанием системы счисления и снижают энергопотребление и задержку. Оптические переключатели «отражают» свет и не зависят от сетевых протоколов и обновлений сетевых коммутаторов. Обратной стороной является то, что время реконфигурации зеркала обычно велико, в диапазоне десятков миллисекунд, поэтому эти переключатели OCS работают как «цепь» фиксированной емкости. Для сетей обучения искусственному интеллекту это не является серьезной проблемой, поскольку модели трафика предсказуемы.

Microsoft

Microsoft — самая прагматичная среди гипермасштабируемых компаний, и она приняла InfiniBand на раннем этапе создания сетей искусственного интеллекта для своего партнера OpenAI. Хотя Microsoft разработала собственный сетевой адаптер и использовала собственный протокол RDMA для облака Azure, ее открытость для InfiniBand, использование полнофункционального решения NVIDIA для искусственного интеллекта и машинного обучения и тесное сотрудничество с OpenAI — все это делает ее предпочтительным клиентом NVIDIA. Microsoft приобрела компанию Fungible, которая изобрела True Fabric — надежный протокол датаграмм, основанный на UDP, который обрабатывает трафик, перегрузку и контроль ошибок, а также оптимизирует задержку хвоста. Некоторые технологические инновации Fungible могут появиться в будущих продуктах Microsoft и в материалах с открытым исходным кодом.

Мета

Meta — темная лошадка в соревновании по искусственному интеллекту, ее программа искусственного интеллекта обладает следующими выдающимися характеристиками:

• Он использует подход с открытым исходным кодом, используя фундаментальные модели, такие как Llama.
• Это делает ИИ удобным для пользователя и доступным для каждого разработчика программного обеспечения через программную среду/экосистему PyTorch.
• Сообщество Open Compute Project становится ключевым столпом инноваций в области открытого аппаратного обеспечения.
• Он развертывает крупномасштабные кластеры графических процессоров и остается в авангарде инноваций в области искусственного интеллекта благодаря своей системе рекомендаций (модель DLRM).

Базовые модели искусственного интеллекта Meta и экосистема PyTorch позволяют создать огромную библиотеку инноваций искусственного интеллекта с открытым исходным кодом, развертывать кластеры AI/ML на основе Ethernet и InfiniBand, а также создавать ASIC для своей модели DLRM и перекодирования видео.

Мета демократизирует ИИ, и хотя она еще не получила достаточного признания, эта тенденция скоро изменится.

Oracle

Oracle твердо поддерживает Ethernet и не использует InfiniBand. Oracle Cloud Infrastructure (OCI) использует графические процессоры Nvidia и сетевые адаптеры ConnectX для создания суперкластера на основе ROCEv2 RDMA. OCI создает отдельную сеть RDMA на основе специального протокола уведомления о перегрузке DC-QCN, сводит к минимуму использование PFC и выполняет точную настройку пользовательских профилей для рабочих нагрузок AI и HPC.

NVIDIA

Графические процессоры NVIDIA и полнофункциональные решения AI/ML делают ее бесспорным игроком на рынке апстрима. Решение NVIDIA DGX Cloud объединяет коммутатор Quantum-2 (25.6 Тбит) InfiniBand с сетевыми адаптерами ConnectX и Bluefield. Эти сетевые адаптеры поддерживают как Ethernet, так и InfiniBand. Полнофункциональное решение InfiniBand на базе DGX Cloud также будет продаваться на телекоммуникационном и корпоративном рынках компанией NVIDIA и ее OEM-производителями. Однако NVIDIA также вкладывает значительные средства в Ethernet через свой коммутатор Spectrum-X. Несколько лет назад InfiniBand была предпочтительной архитектурой для обучения искусственного интеллекта, что делало ее идеальным выбором для интегрированного облачного решения NVIDIA DGX. С запуском Ethernet-коммутатора NVIDIA Spectrum-X (емкостью 51.2 Тбит/с, что в два раза превышает емкость коммутатора InfiniBand), NVIDIA перейдет на Ethernet для крупномасштабного развертывания графических процессоров, чтобы воспользоваться преимуществами более высокой скорости порта Ethernet, экономической эффективности и и масштабируемость. Ethernet-коммутатор Spectrum-X поддерживает расширенные расширения ROCEv2 — адаптивную маршрутизацию RoCE и контроль перегрузки, поддержку телеметрии и внутрисетевые вычисления, называемые коллективными (с помощью продукта NVIDIA SHARP).

Broadcom

Broadcom offпредлагает комплексные сетевые решения AI/HPC, включая микросхемы коммутаторов и сетевые адаптеры. Стратегическое приобретение Broadcom компании «Correct Networks» представило транспортный протокол на основе EQDS UDP, который перемещает все действия по организации очередей из базовой сети на передающий хост или листовой коммутатор. Этот подход поддерживает оптимизацию коммутаторов в комбинации чипов Jericho3/Ramon3, которая представляет собой «полностью запланированную фабрику», оснащенную распылением пакетов, переупорядочением буферов в конечных коммутаторах, ребалансировкой путей, удалением уведомлений о перегрузке и аппаратными механизмами внутриполосного восстановления после сбоев. Серия Tomahawk (52Tbs) предназначена для оптимизации однокристальной емкости и не является полностью запланированной фабрикой. Коммутаторы Tomahawk также поддерживают пограничные очереди, а также аппаратные функции, критичные к задержке, такие как глобальная балансировка нагрузки на уровне коммутационной сети и ребалансировка путей. Tomahawk не поддерживает сортировку пакетов в конечных коммутаторах, поэтому в коммутаторах необходимо реализовать буферы переупорядочения пакетов. сетевые адаптеры (конечные точки).

Cisco

Недавно Cisco выпустила коммутатор Silicon One 52 Тбит/с, продемонстрировав универсальность своих сетевых решений. Коммутатор программируется на уровне P4, что обеспечивает гибкое программирование для различных вариантов использования сети. Коммутаторы Cisco на базе Silicon One обеспечивают поддержку полностью запланированных фабрик, балансировку нагрузки, изоляцию аппаратных сбоев и телеметрию. Cisco сотрудничает с несколькими поставщиками сетевых карт, чтобы предоставить комплексные сетевые решения AI/ML.

Заключение

Путь стандартизации Ethernet для сетей AI/HPC только начался и требует дальнейшего снижения затрат и энергопотребления за счет масштабирования, открытых инноваций и конкуренции между поставщиками. Альянс Super Ethernet состоит из основных участников сети и стремится создать открытое, «полноценное» решение Ethernet, адаптированное для рабочих нагрузок AI/HPC. Как упоминалось выше, большинство «необходимых» сетевых технологий AI/HPC в той или иной форме были развернуты различными поставщиками Ethernet и гиперскейлерами. Таким образом, задача стандартизации носит не технический характер, а скорее достижение консенсуса.