Понимание возможностей DPU BlueField-3 от NVIDIA

Введение

При работе с серверами NVIDIA H100 SXM вы часто можете увидеть конфигурацию, включающую два блока BFD-3. Это вызывает вопросы, особенно с учетом того, что система уже поставляется с восемью сетевыми картами CX-7 400G. Каковы принципиальные отличия и роли BFD-3 по сравнению с CX-7? Более того, почему у BFD есть порт BMC, если материнская плата сервера уже включает порт BMC?

В традиционных центрах обработки данных центральный процессор (ЦП) был абсолютным ядром. Однако, поскольку закон Мура становится менее применимым, рост вычислительной мощности ЦП больше не может поспевать за взрывным ростом данных, что приводит к появлению узких мест. Перенос нагрузки ЦП на сетевые адаптеры (сетевые интерфейсные платы) стал необходимым, что способствовало быстрому развитию интеллектуальных сетевых карт (Сетевые адаптеры). NVIDIA определяет интеллектуальные сетевые платы на базе ЦП как сетевые интерфейсные платы, которые разгружают задачи, обычно выполняемые системным ЦП. Используя свой встроенный процессор, СП на базе ЦП может выполнять комбинацию задач шифрования/дешифрования, брандмауэра, TCP/IP и обработки HTTP. По сути, он помогает ЦП с различными задачами и имеет собственный ЦП для независимого решения задач, связанных с сетевой безопасностью. Чтобы удовлетворить изменения в архитектуре центров обработки данных, вызванные технологией гипермасштабируемого облака, NVIDIA представила серию СП BlueField. Эти новые процессоры разработаны специально для программного обеспечения инфраструктуры центров обработки данных, разгружая и ускоряя огромные вычислительные нагрузки, генерируемые виртуализацией, сетевыми подключениями, хранением данных, безопасностью и другими облачными службами ИИ. BlueField-3 функционирует как «независимый узел», интегрированный в путь PCIe сервера:

• ARM + OS: может разгрузить различные задачи, изначально выполняемые хостовой ОС.
• Интегрированные ускорители: повышают эффективность обработки, безопасности и хранения данных.
• Чип коммутатора PCIe: может использоваться в шкафах расширения NVMe SSD.
• BMC Chip: обеспечивает независимое управление исходными ресурсами хоста в облачной среде.

Процессор обработки данных NVIDIA® BlueField®-3 — это платформа инфраструктурных вычислений третьего поколения, позволяющая предприятиям создавать программно-определяемую ИТ-инфраструктуру с аппаратным ускорением — от облака до основных центров обработки данных и периферийных сред. Благодаря сетевому подключению Ethernet 400 Гбит/с или InfiniBand NDR 400 Гбит/с, БлюФилд-3 ДПУ Позволяет разгрузить, ускорить и изолировать функции программно-определяемых сетей, хранения данных, безопасности и управления, значительно повышая производительность, эффективность и безопасность центров обработки данных. Понимая возможности и области применения процессора обработки данных BlueField-3, предприятия могут эффективно использовать эту технологию для удовлетворения потребностей современных центров обработки данных и обеспечения надежной, масштабируемой и безопасной инфраструктуры.

Логическая связь между NIC, Smart NIC и DPU

Чтобы понять их различия, давайте сравним следующие моменты (личные мнения для справки):

Различия между DPU NVIDIA и SuperNIC

• Устройства обработки данных (DPU): основанные на архитектуре BlueField, они объединяют мощные вычислительные возможности (многоядерный процессор ARM), высокоскоростное сетевое взаимодействие (до 400 Гбит/с) и программируемость. Они разработаны для разгрузки и ускорения задач центров обработки данных, таких как сетевые функции, хранение данных и безопасность, и подходят для сложных рабочих нагрузок, таких как облачные вычисления и высокопроизводительные вычисления.
• SuperNIC: также основаны на архитектуре BlueField-3, но оптимизированы специально для задач ИИ. Они меньше по размеру, потребляют меньше энергии и ориентированы на передачу данных между графическими процессорами с высокой пропускной способностью и малой задержкой (например, RDMA 400 Гбит/с через RoCE), что идеально подходит для гипермасштабных вычислений ИИ.

Причины появления интеллектуальных сетевых карт и DPU

Эра традиционных сетевых карт

В традиционных центрах обработки данных центральный процессор был абсолютным ядром. Однако, поскольку закон Мура становится менее применимым, рост вычислительной мощности центрального процессора больше не может поспевать за взрывным ростом данных, создавая узкое место. Передача нагрузки центрального процессора на сетевые адаптеры (сетевые интерфейсные карты) стала необходимой, что привело к быстрому развитию интеллектуальных сетевых карт.

Эра интеллектуальных сетевых карт (первое поколение)

Первое поколение интеллектуальных сетевых карт в первую очередь было сосредоточено на разгрузке задач из плоскости данных. Примерами являются аппаратная разгрузка OVS Fastpath, аппаратная разгрузка сети RDMA на основе RoCEv1 и v2, аппаратная разгрузка для сетевых возможностей без потерь (PFC, ECN, ETS), аппаратная разгрузка NVMe-oF в домене хранения и разгрузка плоскости данных для безопасной передачи.

Эра интеллектуальных сетевых карт DPU (второе поколение)

Устройства обработки данных (DPU) появились для решения трех основных проблем в центрах обработки данных:

Между узлами: низкая эффективность обмена данными на сервере и ненадежная передача данных.

Внутри узлов: неэффективное выполнение модели центра обработки данных, низкая эффективность коммутатора ввода-вывода и негибкая архитектура сервера.

Сетевые системы: Небезопасные сети.

Различия между DPU NVIDIA BlueField-3 и сетевыми картами ConnectX-7

Чтобы получить полное представление о процессоре обработки данных NVIDIA BlueField-3, необходимо сравнить его с сетевыми картами NVIDIA ConnectX-7 OSFP и ConnectX-7 QSFP112. Эти устройства выполняют различные функции в сетях центров обработки данных, и понимание их различий и преимуществ может помочь организациям выбрать решение, соответствующее их потребностям.

Функциональная область: DPU против NIC

Процессор обработки данных NVIDIA BlueField-3 — это полностью программируемая инфраструктурная вычислительная платформа, объединяющая мощный кластер из 16 ядер Arm A78, высокоскоростные сетевые интерфейсы (до 400 Гбит/с Ethernet или NDR InfiniBand) и аппаратные ускорители для таких задач, как работа в сети, хранение данных и безопасность. В отличие от традиционных сетевых карт, процессор обработки данных BlueField-3 работает как независимый узел с собственной операционной системой, что позволяет ему разгружать центральный процессор от сложных рабочих нагрузок, таких как виртуализация, NVMe-oF (NVMe over Fabrics) и безопасность с нулевым доверием. Это снижает нагрузку на процессор, повышает производительность и энергоэффективность.

В отличие от них, сетевые платы NVIDIA ConnectX-7 OSFP и ConnectX-7 QSFP112 представляют собой усовершенствованные сетевые карты, ориентированные в первую очередь на высокоскоростное подключение. Сетевая плата ConnectX-7 OSFP поддерживает однопортовый Ethernet 400 Гбит/с или NDR InfiniBand, в то время как сетевая плата ConnectX-7 QSFP112 предлагает конфигурации с двумя портами 200 Гбит/с или одним портом 400 Гбит/с. Эти сетевые платы превосходны в передаче данных с низкой задержкой и высокой пропускной способностью, но им не хватает программируемых вычислительных возможностей и независимой ОС, как у процессора обработки данных BlueField-3. Они предназначены для решения традиционных сетевых задач, таких как обработка TCP/IP, RDMA (удалённый прямой доступ к памяти) и базовая разгрузка, но не поддерживают обширную изоляцию и ускорение рабочей нагрузки, обеспечиваемые процессором обработки данных.

Преимущества BlueField-3 DPU

Процессор обработки данных BlueField-3 обеспечивает ряд преимуществ по сравнению с сетевыми картами ConnectX-7, особенно для современных программно-определяемых центров обработки данных:

• Комплексная разгрузка рабочей нагрузки: процессор обработки данных BlueField-3 может разгрузить и ускорить широкий спектр задач, включая программно-определяемые сети (SDN), хранение данных (например, NVMe-oF) и безопасность (например, межсетевые экраны, защита от DDoS-атак). Это снижает вычислительную нагрузку на центральный процессор, освобождая его для приложений, приносящих доход. Например, BlueField-3 может выполнять коллективные операции HPC/AI MPI, обеспечивая повышение скорости до 20% и значительную экономию средств в крупномасштабных суперкомпьютерных средах.
• Независимая вычислительная платформа: благодаря 16 ядрам Arm и независимой ОС, процессор обработки данных BlueField-3 работает как автономный вычислительный узел, обеспечивая расширенные возможности использования, такие как микросегментация, многопользовательская среда и периферийные вычисления. Это особенно ценно для фабрик искусственного интеллекта и облачных сред, где масштабируемость и безопасность имеют решающее значение.
• Повышенная безопасность: способность DPU изолировать рабочие нагрузки обеспечивает безопасность по принципу нулевого доверия, защищая модели ИИ и конфиденциальные данные от угроз. Например, в сочетании с BIG-IP Next от F5 для Kubernetes, BlueField-3 обеспечивает интегрированный межсетевой экран, защиту от DDoS-атак и защиту API, создавая безопасную архитектуру для рабочих нагрузок ИИ.
• Энергоэффективность: BlueField-3 снижает энергопотребление, разгружая центральный процессор от задач, что делает его идеальным решением для устойчивых центров обработки данных. Высокая пропускная способность памяти и аппаратные ускорители дополнительно оптимизируют производительность на ватт.

Преимущества сетевых карт ConnectX-7

В то время как BlueField-3 DPU является мощным средством для решения инфраструктурных задач, сетевые платы ConnectX-7 OSFP и QSFP112 имеют свои собственные сильные стороны:

• Простота и экономичность: сетевые карты ConnectX-7 оптимизированы для высокоскоростных сетей без дополнительных вычислительных затрат, характерных для DPU. Они идеально подходят для приложений, требующих простого подключения с малой задержкой, таких как кластеры высокопроизводительных вычислений (HPC) или традиционные сети центров обработки данных.
• Гибкая конфигурация портов: сетевой адаптер ConnectX-7 QSFP112 предлагает варианты с двумя портами 200 Гбит/с или одним портом 400 Гбит/с, обеспечивая гибкость для различных топологий сетей. Сетевой адаптер OSFP с одним портом 400 Гбит/с подходит для сценариев с высокой пропускной способностью и одним подключением.
• Меньшая сложность: для сред, где не требуется расширенная разгрузка или программируемость, сетевые адаптеры ConnectX-7 предлагают более простую модель развертывания, снижая сложность настройки и обслуживания по сравнению с программируемой архитектурой DPU.

Сценарии использования

Выбор между BlueField-3 DPU и сетевыми картами ConnectX-7 зависит от конкретных требований вашего центра обработки данных:

• BlueField-3 DPU: идеально подходит для современных программно-определяемых центров обработки данных, фабрик искусственного интеллекта и периферийных вычислительных сред. Он отлично подходит для сценариев, требующих масштабной разгрузки рабочей нагрузки, таких как облачные суперкомпьютеры, хранилища NVMe-oF и безопасность с нулевым доверием. Например, Oracle Cloud Infrastructure (OCI) интегрирует BlueField-3 для оптимизации сетевых функций и безопасности, повышая производительность облака.
• Сетевые карты ConnectX-7: идеально подходят для традиционных сетевых задач, где высокоскоростное соединение с малой задержкой является основным требованием. Они отлично подходят для кластеров HPC, потокового видео и ресурсоёмких сетевых приложений, не требующих расширенной разгрузки вычислительных мощностей.

Интеграция с экосистемой NVIDIA

Как процессоры BlueField-3 DPU, так и сетевые карты ConnectX-7 используют комплект разработчика ПО NVIDIA DOCA, который расширяет возможности программирования и ускоряет внедрение инноваций. Однако процессор BlueField-3 DPU выигрывает от более глубокой интеграции с DOCA, позволяя разработчикам создавать собственные приложения для сетей, хранения данных и безопасности. Это делает процессор более универсальной платформой для центров обработки данных нового поколения. Кроме того, совместимость BlueField-3 с системами искусственного интеллекта NVIDIA, такими как DGX SuperPOD, обеспечивает бесперебойную работу при масштабных развертываниях ИИ.

Расширенные функции и показатели производительности BlueField-3 DPU

Опираясь на последние достижения и примеры внедрения, отмеченные в отраслевых дискуссиях, процессор обработки данных BlueField-3 предлагает уникальные возможности, которые отличают его от сетевых карт ConnectX-7, особенно в высокопроизводительных вычислениях (HPC), искусственном интеллекте и облачных средах. Ниже мы рассмотрим дополнительные функции, показатели производительности и реальные приложения, чтобы ещё больше дифференцировать эти технологии.

Расширенная разгрузка для рабочих нагрузок ИИ и HPC

Процессор обработки данных BlueField-3 разработан для решения интенсивных задач в средах искусственного интеллекта и высокопроизводительных вычислений (HPC) путем разгрузки критически важных задач с центрального процессора. Согласно отраслевым исследованиям, BlueField-3 может ускорить коллективные операции MPI (интерфейс передачи сообщений), которые необходимы для распределенных вычислений в кластерах искусственного интеллекта и высокопроизводительных вычислений. Это обеспечивает прирост производительности до 20% при выполнении крупномасштабных суперкомпьютерных задач, как было продемонстрировано на примере развертываний NVIDIA DGX SuperPOD. В отличие от этого, сетевые карты ConnectX-7, несмотря на поддержку RDMA и высокоскоростной передачи данных, не обладают программируемыми вычислительными возможностями для выполнения столь сложной разгрузки, что ограничивает их роль скорее в обеспечении подключения, чем в ускорении вычислений.

Ускорение хранения с помощью NVMe-oF

Процессор обработки данных BlueField-3 превосходно справляется с ускорением работы хранилища, особенно с NVMe over Fabrics (NVMe-oF). Он использует аппаратные ускорители для снижения задержек и повышения пропускной способности распределенных систем хранения. Например, BlueField-3 может обрабатывать рабочие нагрузки NVMe-oF с минимальной загрузкой процессора, достигая до двух раз большего количества операций ввода-вывода в секунду (IOPS) по сравнению с программными решениями. Сетевые карты ConnectX-2, хотя и поддерживают NVMe-oF через протоколы RDMA, такие как RoCE (RDMA over Converged Ethernet), используют ресурсы центрального процессора для выполнения большинства задач хранения, что делает их менее эффективными для сложных задач хранения.

Безопасность и изоляция для облачных сред

В облачных средах процессор обработки данных BlueField-3 обеспечивает надежные функции безопасности благодаря изоляции рабочих нагрузок и архитектуре с нулевым доверием. Он может запускать виртуализированные функции безопасности, такие как межсетевые экраны и системы обнаружения вторжений, непосредственно на процессоре, сокращая поверхность атаки на хост-систему. Например, интеграция с BIG-IP Next от F5 для Kubernetes позволяет BlueField-3 обеспечивать расширенную защиту API и защиту от DDoS-атак, критически важные для обеспечения безопасности рабочих нагрузок ИИ в кластерах Kubernetes. Сетевые карты ConnectX-7, хотя и поддерживают базовые функции безопасности, такие как IPsec, не имеют независимой вычислительной платформы, необходимой для столь комплексных функций безопасности.

Реальные развертывания и синергия экосистем

Процессор обработки данных BlueField-3 используется в самых современных решениях, таких как Oracle Cloud Infrastructure (OCI) и собственные фабрики искусственного интеллекта NVIDIA. В OCI BlueField-3 оптимизирует виртуализацию сети и ускорение работы хранилища, повышая производительность облака до 30% при интенсивном использовании данных. Кроме того, его интеграция с комплектом SDK NVIDIA DOCA позволяет разработчикам создавать специализированные приложения, адаптированные к конкретным сценариям использования, таким как аналитика в реальном времени или ИИ на периферии. Сетевые адаптеры ConnectX-7, хотя и являются неотъемлемой частью сетевой экосистемы NVIDIA, в основном используются в сценариях, требующих высокоскоростных соединений, например, в кластерах HPC или магистралях центров обработки данных, без аналогичного уровня программируемости или интеграции с экосистемой.

Сравнение показателей производительности

Для количественной оценки различий рассмотрим следующие показатели:

• DPU BlueField-3: пропускная способность до 400 Гбит/с, 16 ядер Arm A78, 32 ГБ встроенной памяти DDR4 и аппаратные ускорители для шифрования, сжатия и хранения данных. Он может снизить загрузку процессора до 50% в виртуализированных средах, разгружая такие задачи, как OVS (Open vSwitch) и NVMe-oF.
• Сетевая карта ConnectX-7 OSFP: однопортовый Ethernet 400 Гбит/с или NDR InfiniBand, оптимизированный для RDMA с малой задержкой (задержка менее микросекунды), но без встроенных вычислительных ядер или памяти для независимой обработки.
• Сетевая карта ConnectX-7 QSFP112: двухпортовая 200 Гбит/с или однопортовая 400 Гбит/с, производительность RDMA, аналогичная OSFP, но разработанная для гибких конфигураций портов, а не для ресурсоемких вычислительных задач.

Эти показатели подчеркивают способность BlueField-3 DPU справляться как с сетевыми, так и вычислительными задачами, что делает его более универсальным решением для современных центров обработки данных по сравнению с сетевыми картами ConnectX-7, которые оптимизированы только для подключения.

Выбор правильного решения

Для организаций, создающих фабрики искусственного интеллекта, облачные центры обработки данных или решения для периферийных вычислений, процессор обработки данных BlueField-3 является превосходным выбором благодаря своей программируемости, разгрузке рабочей нагрузки и функциям безопасности. Например, в кластерах обучения ИИ BlueField-3 может сократить время обучения за счет разгрузки коммуникационных задач, как это происходит в системах NVIDIA DGX H100. Сетевые карты ConnectX-7, напротив, лучше подходят для традиционных сетевых сред, таких как корпоративные центры обработки данных или кластеры HPC, где высокоскоростное соединение с низкой задержкой является основным требованием без необходимости расширенной разгрузки вычислительных ресурсов.

Упрощенное объяснение: почему DPU превосходят интеллектуальные сетевые карты

NVIDIA определяет интеллектуальные сетевые карты на базе DPU как сетевые интерфейсные карты, которые разгружают задачи, обычно выполняемые системным ЦП. Используя встроенный процессор, интеллектуальная сетевая карта на базе DPU может выполнять комбинацию задач шифрования/дешифрования, брандмауэра, TCP/IP и обработки HTTP. По сути, она помогает ЦП с различными задачами и имеет собственный ЦП для независимой обработки задач, связанных с сетевой безопасностью.

Обзор процессора обработки данных NVIDIA BlueField-3

Чтобы отреагировать на сдвиг в архитектуре ЦОД, вызванный технологией гипермасштабного облака, NVIDIA представила серию BlueField DPU. Эти новые процессоры разработаны специально для программного обеспечения инфраструктуры ЦОД, разгружая и ускоряя огромные вычислительные нагрузки, генерируемые виртуализацией, сетями, хранилищем, безопасностью и другими облачными службами искусственного интеллекта.

Системная компоновка NVIDIA BlueField-3 DPU

BlueField-3 функционирует как «независимый узел», интегрированный в PCIe-тракт сервера:

1. ARM + OS: может разгрузить различные задачи, изначально выполняемые хостовой ОС.
2. Интегрированные ускорители: повышают эффективность обработки, безопасности и хранения данных.
3. Чип коммутатора PCIe: может использоваться в шкафах расширения NVMe SSD.
4. Микросхема BMC: обеспечивает независимое управление исходными ресурсами хоста в облачной среде.

Рекомендуемые варианты использования BlueField-3

NVIDIA® BlueField®-3 DPU — это инфраструктурная вычислительная платформа третьего поколения, позволяющая предприятиям создавать программно-определяемую, аппаратно-ускоряемую ИТ-инфраструктуру от облака до основных центров обработки данных и периферийных сред. Благодаря сетевому подключению Ethernet 400 Гбит/с или NDR 400 Гбит/с InfiniBand, BlueField-3 DPU может разгружать, ускорять и изолировать программно-определяемые сетевые функции, функции хранения, безопасности и управления, значительно повышая производительность, эффективность и безопасность центра обработки данных.

Пример применения BlueField-3 в частном облаке VMware

Дорожная карта NVIDIA DPU

Понимая возможности и сферы применения процессора обработки данных BlueField-3, предприятия могут эффективно использовать эту технологию для удовлетворения потребностей современных центров обработки данных и обеспечения надежной, масштабируемой и безопасной инфраструктуры.