Что такое Консорциум Ultra Ethernet (UEC)?

Консорциум Ultra Ethernet (UEC) был offофициально создана 19 июля 2023 года. Это новая организация, спонсируемая Linux Foundation и его Фондом совместного развития. UEC стремится выйти за рамки существующих возможностей Ethernet, таких как удаленный прямой доступ к памяти (RDMA) и RDMA через конвергентный Ethernet (RoCE), чтобы обеспечить высокопроизводительный, распределенный транспортный уровень без потерь, оптимизированный для высокопроизводительных вычислений и искусственного интеллекта. Он нацелен на протокол передачи данных своего конкурента InfiniBand.

Консорциум Ultra Ethernet

В число основателей UEC входят AMD, Arista, Broadcom, Cisco, Eviden, HPE, Intel, Meta и Microsoft. Все они обладают многолетним опытом крупномасштабного развертывания сетевых технологий, искусственного интеллекта, облачных и высокопроизводительных вычислений.

Члены-учредители

Зачем Ethernet нужен UEC?

Чем UEC отличается от нынешнего Ethernet?

Искусственный интеллект и высокопроизводительные вычисления создают новые проблемы для сетей, такие как необходимость большего масштабирования, более высокой плотности полосы пропускания, многопутевого распространения, быстрого реагирования на перегрузку и взаимозависимости при выполнении отдельных потоков данных (где задержка хвоста является ключевым моментом для учитывать). Спецификация UEC призвана устранить эти пробелы и обеспечить более масштабные сети, необходимые для этих рабочих нагрузок. UEC нацелен на полный стек коммуникаций, который решает технические проблемы на нескольких уровнях протокола и предоставляет функциональные возможности, которые легко настраивать и управлять.

Чем UEC отличается от других текущих протоколов?

Существующие протоколы могут решать некоторые аспекты вышеупомянутых проблем (например, устаревшее управление перегрузкой), но, поскольку они предназначены для сетей общего назначения, им не хватает функций, критически важных для искусственного интеллекта и высокопроизводительных вычислений, таких как многопутевое распространение и простая настройка. Существующие протоколы также могут оказаться уязвимыми в соответствующих сценариях. Благодаря богатому опыту членов UEC в развертывании искусственного интеллекта и высокопроизводительных вычислительных нагрузках, UEC предоставит убедительное и комплексное решение, которое предоставит новые аппаратные и программные продукты, недоступные сегодня с Ethernet или любой другой сетевой технологией.

Что планирует делать ОДК?

UEC предоставит открытую, совместимую, высокопроизводительную архитектуру полного коммуникационного стека на основе Ethernet для удовлетворения растущих сетевых потребностей крупномасштабного искусственного интеллекта и высокопроизводительных вычислений. От физического уровня до уровня программного обеспечения UEC планирует внести изменения во многие уровни стека Ethernet. «Речь идет не о революции в Ethernet», — заявил президент UEC д-р Дж. Мец. «Речь идет о настройке Ethernet, чтобы сделать его более эффективным для рабочих нагрузок с особыми требованиями к производительности. Мы рассматриваем каждый уровень, от физического до программного, чтобы найти лучшие способы повышения эффективности и производительности в масштабе». Мец отметил, что сегодня нет недостатка в сетевых стандартах и ​​организациях для Ethernet, и хотя IEEE взял на себя важную роль, UEC фокусируется не только на физическом транспортном уровне, на котором обычно фокусируется IEEE. Цель UEC — изучить все элементы, необходимые для улучшения Ethernet, а затем работать с соответствующими организациями по стандартизации и техническими группами для реализации этих улучшений. Консорциум будет работать над поддержанием и продвижением совместимости Ethernet, сводя к минимуму изменения в коммуникационном стеке. Технической целью UEC является разработка спецификаций, API и исходного кода для определения:

• Протоколы, электрические и оптические характеристики сигналов, интерфейсы прикладных программ/структуры данных для связи Ethernet.

• Транспортные протоколы канального уровня и сквозные сетевые протоколы, которые расширяют или заменяют существующие канальные и транспортные протоколы.

• Механизмы перегрузки, телеметрии и сигнализации на уровне канала и сквозной передачи данных подходят для искусственного интеллекта, машинного обучения и высокопроизводительных вычислительных сред.

• Архитектура программного обеспечения, хранения, управления и безопасности для поддержки различных рабочих нагрузок и операционных сред.

RDMA против передачи UEC

Для улучшения Ethernet UEC предложила протокол передачи UEC. Мец сказал, что транспорт UEC разрабатывается для обеспечения лучшего транспорта Ethernet, чем нынешний. РДМА (который по-прежнему поддерживает RDMA), сохраняя преимущества Ethernet/IP и обеспечивая при этом производительность, необходимую для приложений искусственного интеллекта и высокопроизводительных вычислений. Транспорт UEC — это новая форма, близкая к транспортному уровню, с некоторой семантической настройкой и протоколом уведомления о перегрузке, а также расширенными функциями безопасности. UEC обеспечит более гибкий транспорт, не требующий сети без потерь, обеспечивая такие функции, как многопутевая и внеочередная транспортировка пакетов, необходимые для рабочих нагрузок искусственного интеллекта «многие ко многим». Протокол передачи УЭК:

• Спецификация открытого протокола, разработанная с нуля для работы на IP и Ethernet.

• Благодаря многопутевой передаче, распылению пакетов, полному использованию сети AI, без перегрузки или блокировки начала линии, без необходимости использования централизованных алгоритмов балансировки нагрузки и контроллеров маршрутизации.

• Механизм управления Incast для управления подключением на конечном канале к целевому хосту с минимальной потерей пакетов.

• Эффективный алгоритм управления скоростью позволяет быстро увеличить скорость передачи до линейной скорости без потери производительности конкурирующих потоков.

• API для доставки пакетов вне очереди с возможностью завершать сообщения по порядку, максимизируя параллельную работу сети и приложений и минимизируя задержку сообщений.

• Масштабируемая сеть будущего, поддерживающая 1,000,000 XNUMX XNUMX конечных точек

• Производительность и оптимальное использование сети без необходимости настройки параметров алгоритма перегрузки в зависимости от сети и рабочей нагрузки.

• Разработан для обеспечения производительности на скорости передачи данных для 800G, 1.6T и будущий более быстрый Ethernet на стандартном оборудовании

Путь развития ОДК

В будущем ожидается, что рабочие нагрузки и сетевые потребности ИИ и высокопроизводительных вычислений будут все больше пересекаться. Принимая во внимание различную чувствительность к пропускной способности и задержке, спецификация UEC предоставит два профиля: один оптимизирован для искусственного интеллекта, а другой — для высокопроизводительных вычислений.

Обеспечение совместимости посредством тестирования подключаемых модулей и тестирования на соответствие требованиям будет в центре внимания в будущем, сказал Ури Эльзур, председатель Технического консультативного комитета UEC. Цель ОДК — обеспечить ее открытость и функциональную совместимость. Проект спецификации UEC будет опубликован в ближайшее время и открыт для использования.