Высокопроизводительные адаптеры Infiniband для высокоскоростной передачи данных: подробное руководство

Июль 9, 2024

Джейсон Ривз

В эту эпоху, движимую информацией, потребность в быстрых и надежных решениях для передачи данных никогда не была выше. Это всеобъемлющее руководство фокусируется на решениях адаптеров InfiniBand, которые являются высокопроизводительными. Они сделаны таким образом, чтобы они могли удовлетворять жестким требованиям современных центров обработки данных, сред высокопроизводительных вычислений (HPC) и корпоративных сетей. Правда в том, что эти адаптеры обеспечивают высокую скорость передачи данных благодаря своей передовой технологии; они также имеют низкие периоды задержки и предлагают превосходную масштабируемость. В этой статье мы рассмотрим технические характеристики, показатели производительности и основные характеристики некоторых ведущих адаптеров Infiniband, чтобы вы могли принимать разумные решения, когда дело доходит до оптимизации вашей инфраструктуры для передачи данных.

Содержание

Что такое адаптер InfiniBand?

Понимание технологии InfiniBand

В высокопроизводительных вычислениях и центрах обработки данных технология InfiniBand является широко используемым протоколом связи с очень высокой скоростью. Он обеспечивает лучшую пропускную способность, чем обычные сетевые протоколы, а также уменьшенную задержку, что делает его идеальным для приложений, требующих высокой скорости передачи данных. Протокол использует топологию коммутируемой структуры, что позволяет подключать несколько устройств очень эффективным способом; перегрузка сводится к минимуму при максимальной пропускной способности. В связи с этим адаптеры InfiniBand выступают в качестве посредников между оборудованием, необходимым для этой технологии для оптимальной производительности и надежности.

Роль центров обработки данных, которую играют адаптеры InfiniBand

Центры обработки данных не могут обойтись без адаптеров Infiniband, которые являются частью жизненно важных компонентов, необходимых для обеспечения бесперебойного потока информации между серверами, системами хранения и сетевыми устройствами на высоких скоростях. Это стало возможным благодаря использованию преимуществ низкой задержки Infiniband в сочетании с его возможности с высокой пропускной способностью, что облегчает быструю и эффективную связь между ними. Приложения с большими объемами данных, такие как анализ больших данных, искусственный интеллект или научное моделирование, могут затем работать без каких-либо узких мест в производительности благодаря этим адаптерам. В дополнение к этому они также масштабируемы, что позволяет расширять инфраструктуру поставщиками услуг, не влияя на производительность сети на их объектах.

Адаптеры InfiniBand и сетевые карты Ethernet

При сравнении адаптеров Infiniband с Ethernet-картами существует несколько технических отличий. Первоначально с точки зрения показателей производительности пропускной способности и задержки, где Infiniband имеет более высокие значения по сравнению со своим аналогом. Например, скорость передачи данных может достигать 200 Гбит/с с задержкой всего 100 наносекунд, что может быть достигнуто с помощью адаптера этого типа; что делает его пригодным для использования в высокопроизводительных вычислениях (HPC). И наоборот, несмотря на то, что Ethernet широко используется на разных платформах из-за его простоты реализации, он по-прежнему обеспечивает меньшую пропускную способность в сочетании с более высокими задержками по сравнению со 100 Gigabit Ethernet, который имеет расширенные функции.

Еще один отличительный фактор заключается в протоколе связи и топологии между этими двумя технологиями. Топология коммутируемой структуры, используемая infiniband, создает многочисленные параллельные пути для передачи данных, что снижает перегрузку сетей. В результате этой функции даже при больших нагрузках трафика древовидные топологии, используемые в Ethernet. может легко стать перегруженным. Более того, Infiniband изначально поддерживает RDMA на всех устройствах, тем самым оптимизируя передачу данных в обход ЦП и тем самым снижая задержку; такая оптимизация не может быть достигнута при включении RDMA через Ethernet с использованием таких протоколов, как iWARP или RoCE, поскольку они требуют дополнительной настройки и не обеспечивают аналогичный уровень производительности.

Решение о том, использовать ли адаптеры InfiniBand или сетевые карты Ethernet, должно основываться на конкретных требованиях приложения, где необходимы сверхнизкая задержка и максимальная пропускная способность, тогда Infiniband становится более предпочтительным.

Как выбрать адаптер Infiniband, который подойдет именно вам?

Различные виды адаптеров Infiniband

SDR или Single Data Rate, DDR или Double Data Rate, QDR или Quad Data Rate, FDR или Fourteen Data Rate, EDR или Enhanced Data Rate и HDR или High Data Rate — это различные типы адаптеров Infiniband. Они предлагают множество вариантов конфигурации сетевого адаптера. В то время как SDR обеспечивает до 2.5 Гбит/с на полосу; DDR удваивает это до 5 Гбит/с на полосу. Еще больше делает QDR со скоростью 10 Гбит/с на полосу. Он достигает эффективного максимума в 14 Гбит/с за счет FDR, который в свою очередь удваивается за счет EDR (25 Гбит/с на полосу). Самые последние адаптеры HDR обеспечивают до 50 Гбит/с каждую секунду через каждый канал! Требования к производительности и бюджет являются основными факторами при выборе адаптера Infiniband, но помните, что более дорогие обеспечивают большую пропускную способность при меньших задержках.

Важные характеристики адаптера Infiniband

Существует несколько особенностей, которые необходимо учитывать при выборе любого из этих устройств, чтобы не только получить от них максимальную отдачу, но и убедиться, что они хорошо работают вместе с другими компонентами, составляющими компьютерные системы, в которых будут использоваться подобные устройства. чаще всего разными людьми в разных местах на земле в зависимости от того, что каждому человеку нужно от своего компьютера. К ним относятся пропускная способность — более высокие скорости передачи данных, такие как EDR (25 Гбит/с на полосу) и HDR (50 Гбит/с на полосу), лучше подходят для сверхвысоких частот. производительные приложения; Задержка – следует учитывать низкую задержку, особенно при работе с процессами реального времени, требующими очень быстрого времени отклика; Поддержка RDMA. Обратите особое внимание на те InfiniBand, которые имеют возможности RDMA, поскольку эта функция помогает снизить перегрузку ЦП во время передачи больших файлов по локальным сетям, тем самым значительно повышая общую эффективность в таких сценариях. Также убедитесь, что он совместим с вашим текущим оборудованием и имеет хорошие характеристики. поддержка производителя плюс частые обновления прошивки. Не следует упускать из виду количество портов, а также функции прокладки кабелей, особенно при работе в плотных сетевых средах, где необходимо выполнить множество подключений в ограниченном пространстве, что требует правильной организации кабелей, соединяющих эти различные устройства, расположенные близко друг к другу. учитывать затраты по сравнению с доступными ресурсами, чтобы в конечном итоге не тратить больше, чем они могут себе позволить, на что-то, что в любом случае не обязательно может добавить ценность сверх того, что в любом случае могли бы обеспечить более дешевые варианты.

Однопортовые и двухпортовые адаптеры: сравнение

При сравнении однопортовых и двухпортовых адаптеров Infiniband основными факторами являются производительность, избыточность и стоимость. Однопортовые адаптеры менее дороги и могут быть достаточны для небольших проектов, где высокая скорость передачи данных не является критической. Они потребляют меньше энергии и занимают меньше физического пространства, что делает их идеальными для бюджетных приложений. Однако двухпортовые адаптеры обеспечивают лучшую производительность за счет агрегированной полосы пропускания, тем самым поддерживая более требовательные приложения, а также предлагая возможности отказоустойчивости, например, в случае отказа одного канала другой берет на себя его функции, сохраняя подключение, тем самым сокращая время простоя и повышая надежность, но по более высокой цене по сравнению с их однопортовыми аналогами. Поэтому выбирайте на основе сетевых потребностей, требуемых уровней производительности и бюджетных ограничений.

Какие адаптеры Infiniband доступны на рынке лучше всего?

Лучший выбор: NVIDIA Mellanox ConnectX-6 VPI

Адаптеры NVIDIA Mellanox ConnectX-6 VPI имеют высокую производительность, избыточность и экономичность. Они поддерживают конфигурации с одним и двумя портами, что делает их достаточно гибкими для обслуживания различных сетей. С пропускной способностью до 200 Гбит/с они могут эффективно обрабатывать ресурсоемкие приложения. Помимо этой функции, эти адаптеры также поставляются с другими усовершенствованиями, такими как аппаратная виртуализация ввода-вывода и контроль перегрузки, среди прочего, которые предлагают надежные меры безопасности для защиты данных при передаче или хранении. Проверенная совместимость с различным оборудованием и частые обновления прошивки гарантируют их долгосрочное использование. Будучи разумными по цене по сравнению с их расширенными функциями, они подходят для различных реализаций.

Лучший бюджетный вариант: адаптер ConnectX-5

Адаптер ConnectX-5 обеспечивает отличную скорость за свою цену, что делает его лучшим выбором для проектов с ограниченным бюджетом. Он поддерживает конфигурации с одним и двумя портами со скоростью до 100 Гбит/с, обеспечивая достаточную пропускную способность для различных приложений. Этот адаптер обладает такими функциями, как поддержка расширенной виртуализации сетевых функций (NFV), улучшенная скорость передачи пакетов и эффективная маршрутизация данных, что гарантирует надежную работу на протяжении всего срока службы, где это применимо. В дополнение к этому, оно совместимо с большинством основных операционных систем и аппаратными платформами, работая с низким энергопотреблением, что обеспечивает экономию энергии, что делает это устройство очень гибким с учетом различных сетевых потребностей.

Высочайшая производительность: двухпортовые адаптеры QSFP56

Двойной порт QSFP56 Адаптеры предлагают непревзойденные возможности до 200 Гбит/с на порт, где требуется высокая производительность для любых проектных рабочих нагрузок, включающих обработку больших объемов данных или передачу огромных файлов из одной точки в другую в кратчайшие сроки, следует выполнять с помощью адаптеров, которые могут передавать такие объемы информации достаточно быстро, не испытывая задержек из-за недостаточного уровня скорости, вызванного соединением между компьютерами, участвующими в выполнении этих задач, чтобы пользователи могли завершить их вовремя, не ожидая целую вечность. Эти типы также хорошо работают с существующими сетями, поскольку они спроектированы таким образом, что они легко вписываются в них, не вызывая никаких нарушений. Кроме того, эти устройства поддерживают расширенные сетевые функции, такие как RDMA, что является удаленным прямым доступом к памяти, а также низкую задержку, что обеспечивает достижение более высоких скоростей обработки данных всякий раз, когда возникает такая необходимость. Более того, они поставляются с большим количеством функций безопасности, чем другие продукты в своей категории, в сочетании с оптимизированной энергией, что делает их идеальным выбором, особенно там, где требуются передовые технологические решения в средах с высоким уровнем спроса.

Каков процесс установки и настройки адаптера Infiniband?

Процесс установки

Распакуйте и проверьте адаптер:

Осторожно извлеките адаптер Infiniband из упаковки, убедившись, что вы получили все компоненты, включая документы. Проверьте физическое состояние карты на наличие повреждений.

Выключение и открытие системы:

Выключите компьютер/сервер, выполнив соответствующие меры безопасности. Отсоедините все кабели и откройте корпус, чтобы получить доступ к слотам PCIe.

Вставьте адаптер Infiniband:

Найдите пустой слот PCIe на материнской плате; Аккуратно вставьте карту в нее. Надежно зафиксируйте карту с помощью винтов или защелки, входящей в комплект поставки материнской платы.

Переподключитесь и запустите систему:

Снова закройте корпус системы, снова подсоедините все кабели, затем включите питание.

Установите драйверы и программное обеспечение:

После загрузки системы установите необходимые драйверы/программное обеспечение, поставляемые производителем данного адаптера InfiniBand. Чаще всего необходимо загрузить последнюю версию драйвера с веб-сайта производителя, после чего следует следовать инструкциям по установке, приведенным там.

Настройка сетевых параметров для сетевых адаптеров с поддержкой 100GbE

Доступ к сетевым настройкам ОС для настройки адаптера Infiniband в соответствии с требованиями. Назначьте IP-адрес помимо других дополнительных настроек, если таковые имеются.

Проверьте, успешно ли установлен адаптер главной шины (HBA) (InfiniBand):

Чтобы проверить, правильно ли установлен адаптер главной шины (HBA), выполните следующие действия: Сначала проверьте сетевой адаптер, чтобы убедиться, что он работает правильно. Затем убедитесь, что в статусе соединения между двумя устройствами, подключенными через этот порт, отображается «Link Up». Наконец, после этого можно выполнить необходимые тесты скорости/подключения.

Настройки настройки/настройки:

Для повышения производительности можно настроить различные параметры, такие как регулировка скорости пакетов включения RDMA и т. д., в зависимости от конкретных потребностей/предпочтений/условий.

Устранение неполадок общего характера

Адаптер не распознан:

– Прежде всего, необходимо проверить, правильно ли вставлен адаптер в слот PCIe или нет.
– Важно обеспечить установку последних версий драйверов.
– Кроме того, обратите внимание на любые настройки BIOS, которые могут потребовать настройки.

Нет подключения к сети:

– Убедитесь, что сетевые кабели подключены правильно.
– Проверьте, правильно ли настроен IP-адрес и сетевые настройки.
– Перезапустите также систему и сетевой коммутатор.

Медленная производительность сети:

– Необходимо проверить настройку включения RDMA.
– Найдите перегрузку сети или неисправные кабели, вызывающие эту проблему.
– Соответственно оптимизируйте дополнительные настройки в соответствии с вашим сценарием использования.

Периодические проблемы с подключением:

-Обновления прошивки/драйверов должны быть проверены.
-Протестируйте другой слот PCIe или другую систему, чтобы убедиться, что она распознает сетевой адаптер.

Какие преимущества получают приложения от адаптеров Infiniband?

Высокопроизводительные вычисления (HPC)

Адаптеры InfiniBand особенно полезны для приложений высокопроизводительных вычислений (HPC), поскольку они требуют быстрой передачи данных и связи с малой задержкой. Быстрое перемещение данных без особых помех — сильная сторона технологии InfiniBand; следовательно, он в основном используется в научном моделировании, финансовом моделировании и крупномасштабном анализе данных с использованием, среди прочего, адаптеров ConnectX-7. Общая эффективность и производительность задач HPC значительно улучшаются за счет дополнительной пропускной способности, обеспечиваемой этими устройствами, что также приводит к снижению задержек и, таким образом, становится обязательным для любой продвинутой вычислительной инфраструктуры.

Аналитика данных и рабочие нагрузки искусственного интеллекта

Аналитики данных, а также рабочие нагрузки искусственного интеллекта получают выгоду от доступа к более высокой скорости передачи информации, что может помочь им достаточно быстро обрабатывать большие наборы данных с более сложными вычислениями благодаря адаптерам InfiniBand. Он обеспечивает эффективную обработку на этапе обучения модели и в то же время обеспечивает легкое выполнение анализа в реальном времени благодаря своей характеристике технологии с высокой пропускной способностью и малой задержкой, которая в значительной степени способствует оптимизации масштабируемости для таких типов нагрузок по всему миру. различные узлы внутри кластера, что приводит к более быстрому получению информации на основе решений, принятых в отношении ресурсов, в которых задействовано много данных, особенно когда о них заботится Infiniband.

Корпоративные центры обработки данных

Ускорение управления ресурсами в центрах обработки данных корпоративного уровня с целью упрощения оптимизации рабочей нагрузки всегда было одной из ключевых областей, в которой эти типы устройств превосходят себя больше всего, обеспечивая более высокие скорости при минимизации задержек – этого можно достичь только за счет развертывания адаптеров InfiniBand в такой среде. Транзакции имеют тенденцию замедлять работу приложений, но при правильном развертывании они обеспечивают быстрый доступ к информации, что позволяет нам уменьшить узкие места и тем самым повысить производительность приложений, особенно в средах с большим количеством транзакций.

Как можно обслуживать и обновлять адаптер InfiniBand?

Советы по регулярному техническому обслуживанию

Регулярные обновления прошивки: Регулярно проверяйте наличие обновлений прошивки у производителя, чтобы обеспечить максимальную производительность и защиту.
Физическая проверка: Осмотрите сетевой адаптер и соединения на наличие признаков повреждения, пыли или износа. При необходимости очистите их и надежно затяните.
Контроль температуры: Регулярно проверяйте температуру устройства и следите за тем, чтобы она поддерживалась в рекомендуемом диапазоне за счет надлежащего охлаждения в центре обработки данных.
Управление кабелем: Располагайте кабели правильно, чтобы предотвратить физическое повреждение, а также помехи сигнала.
Обновите драйверы: Обновление драйверов поможет вам идти в ногу с развивающимися стандартами, что, в свою очередь, улучшит совместимость и расширит функциональность вашего сетевого адаптера.
Отслеживание производительности: Вы должны иметь возможность использовать инструменты мониторинга сети, которые позволят вам отслеживать показатели, связанные с работой этого адаптера, при отказе от которых в случае обнаружения какой-либо неисправности не могут быть предприняты быстрые действия.
Конфигурация резервного копирования: Всегда полезно регулярно создавать резервные копии наших конфигураций сетевых адаптеров, чтобы быстро восстановить настройки в случае возникновения ситуации, когда эти устройства выходят из строя или заменяются.

Когда и как обновить адаптер

Снижение производительности: обновите, если вы видите постоянное падение производительности или более высокую задержку.
Технологические достижения в адаптерах Ethernet и Infiniband: установите для использования новых технологий или функций, которые значительно улучшают работу.
Несовместимость со стандартами EDR Infiniband и 100GbE может вызвать проблемы в сети.: обновление, когда новое программное или аппаратное обеспечение становится несовместимым с существующим адаптером.
Окончание поддержки: обновиться до того, как производитель прекратит поддержку текущей модели адаптера.
Повышенный спрос: обновление для эффективной обработки больших объемов данных или увеличения рабочих нагрузок.

Как обновить

Проверьте совместимость – убедитесь, что новый адаптер совместим с остальной частью вашей инфраструктуры и программного обеспечения.
Конфигурации резервного копирования – сделайте резервную копию всех настроек и конфигураций, применяемых в данный момент на этой карте (адаптере).
Планирование простоев – запланируйте его в часы низкой нагрузки, чтобы максимально избежать перебоев.
Прошивка и установка драйверов – установите обновленную версию прошивки вместе с соответствующими драйверами для данного типа/марки/номера модели; обычно можно бесплатно загрузить с веб-сайта поставщика.
Тестирование после обновления – выполнить различные тесты, чтобы мы могли быть уверены, что обновленная карта работает достаточно хорошо как с технической, так и с практической точки зрения (например, отсутствие замедлений, с которыми сталкиваются конечные пользователи).
Обновление документации — Обновите системную документацию, связанную с изменениями в оборудовании, внесенными на этих этапах.

Справочные источники

InfiniBand

Контроллер сетевого интерфейса

Ethernet

Часто задаваемые вопросы (FAQ)

Вопрос: Что такое карта-адаптер Infiniband и почему она важна для высокоскоростной передачи данных?

О: Карта адаптера InfiniBand — это аппаратный компонент, который подключает компьютер к сети InfiniBand. Это важно для ускорения передачи данных, поскольку обеспечивает передачу с высокой пропускной способностью и низкой задержкой, что делает его идеальным для сред с большим объемом данных или требующих быстрой обработки информации, таких как финансовые учреждения или научно-исследовательские организации.

Вопрос: Чем карта HDR100 Infiniband отличается от карты FDR Infiniband?

A: Для начала, ключевое различие между этими двумя картами заключается в их скорости передачи данных, где HDR100 поддерживает до 100 Гбит/с, а FDR может обрабатывать только до 56 Гбит/с. Во-вторых, по сравнению с другими типами карт, предназначенными для менее требовательных приложений, первая обеспечивает лучшую эффективность и производительность, поскольку она разработана для более ресурсоемкого использования. Поэтому, если вам нужна более высокая скорость передачи данных во время больших рабочих нагрузок, то HDR может быть вашим лучшим выбором!

Вопрос: Могу ли я использовать карту адаптера Infiniband в слоте PCI Express?

А: Определенно! Вы, безусловно, можете использовать карты этого типа в любых доступных слотах расширения PCIe, имеющихся на материнской плате вашего компьютера. Тем не менее, убедитесь, что такие слоты соответствуют минимальным требованиям, указанным для конкретной используемой модели, например, пропускная способность x16 и т. д., чтобы все функциональные возможности, предоставляемые устройством, были полностью использованы.

Вопрос: В чем преимущество использования карты адаптера ConnectX-6 VPI от Mellanox Technologies?

Ответ: Ключевое преимущество, полученное при развертывании адаптеров ConnectX-6 VPI производства Mellanox Technologies, заключается в их способности облегчать как подключение Ethernet, так и поддержку различных сетей Infiniband, что обеспечивает более широкие возможности при выборе между различными типами сетей, которые следует развернуть в сети. различные подразделения внутри организации. Кроме того, это устройство может похвастаться высокой пропускной способностью и низкой задержкой, что делает его подходящим кандидатом для развертывания в таких средах, как высокопроизводительные вычислительные кластеры или крупномасштабные центры обработки данных, где тысячам, если не миллионам серверов, может потребоваться взаимодействовать одновременно.

Вопрос: В чем разница между сетевой картой (NIC) и сетевой картой Infiniband?

NIC (сетевая интерфейсная карта) обычно относится к карте адаптера Ethernet, используемой для типичной сетевой связи. С другой стороны, сетевая карта Infiniband специально разработана для архитектуры Infiniband, которая имеет более высокие скорости, меньшую задержку и лучшую производительность для некоторых требовательных приложений.

Вопрос: Каковы преимущества использования комбинированной карты адаптера Infiniband и Ethernet?

Комбинация адаптерной карты Infiniband и Ethernet обеспечивает совместимость с обоими типами сетей, тем самым предоставляя возможность использовать один и тот же адаптер в различных сетевых сценариях, что может упростить сетевую инфраструктуру, а также сэкономить средства за счет поддержки нескольких протоколов с помощью одной карты.

Карты адаптеров HPE InfiniBand и другие соответствующие продукты доступны на официальном сайте HPE Store US, у авторизованных реселлеров или на FS.com Europe среди других онлайн-площадок. Убедитесь, что вы покупаете у надежных источников, чтобы гарантировать подлинность продукта, а также гарантию.

Вопрос: Что делают порты QSFP на карте InfiniBand?

Порты QSFP (Quad Small Form-factor Pluggable) на карте infinidband используются для быстрого подключения к данным. Они поддерживают несколько каналов передачи данных, что увеличивает пропускную способность, и могут подключаться к коммутаторам InfiniBand, гарантируя тем самым плавную и высокопроизводительную передачу данных по сети.

Вопрос: Почему в разговорах об адаптерах InfiniBand часто упоминается высокий кронштейн?

Высокий кронштейн — это кронштейн стандартной высоты, который крепит карту адаптера infinidband в корпусе настольного или серверного компьютера. Он обеспечивает правильную установку карты путем ее подключения к слоту PCI Express, обеспечивая тем самым стабильность и сохраняя при этом надлежащий поток воздуха внутри корпуса.

В: Какие преимущества дает слот PCIe 5.0 x16 при использовании с адаптерной картой InfiniBand?

Если вы используете слот PCIe 5.0 x16 и карту адаптера Infinidband вместе, это максимизирует производительность этой карты, обеспечивая максимально возможную пропускную способность и скорость передачи данных. Это означает, что пропускная способность PCIe 5.0 в два раза выше, чем у PCIe 4.0, что позволяет карте адаптера работать с оптимальной производительностью, необходимой для высокоскоростной обработки данных, а также их передачи в некоторых приложениях.