Анализ новейшего оборудования NVIDIA: B100/B200/GH200/NVL72/SuperPod

Обзор

Ранее мы кратко представляли новейший графический процессор NVIDIA Blackwell, но часть содержания может быть легко понята неправильно, например, из-за двусмысленности или расплывчатых концепций в NVIDIA. offОфициальное введение. Кроме того, мы наблюдаем некоторые недопонимания относительно возможностей графических процессоров нового поколения, например убеждение, что их производительность увеличивается в десятки раз. Поэтому мы решили всесторонне обобщить различные данные, чтобы каждый мог провести более полное и справедливое сравнение.

В этой статье мы собрали исчерпывающую информацию об аппаратном обеспечении графических процессоров NVIDIA Blackwell, включая B100, B200, GH200 и NVL72, а также SuperPod-576 и соответствующих сетевых картах ConnectX-800G, коммутаторах Quantum-X800 IB и Spectrum. Ethernet-коммутаторы -X800 и далее сравнили их с предыдущей серией. Следует отметить, что часть содержания статьи представляет собой данные, которые мы вывели на основе различной информации, например, красные части в некоторых таблицах, а окончательные данные будут зависеть от offОфициальный технический документ (который еще не был опубликован). Кроме того, сюда не входит контент, связанный с экосистемой программного обеспечения.

Evolution

19 марта 2024 года NVIDIA выпустила новейшие графические процессоры на архитектуре Blackwell, основными из которых являются графические процессоры B200, B100 и GB200, а также соответствующие GB200-NVL72 и GB200-SuperPod. Взаимосвязь между различными графическими процессорами показана на рисунке ниже.

Один графический процессор

В таблице ниже показаны самые мощные графические процессоры серий Ampere, Hopper и последней серии Blackwell. Видно, что память, вычислительная мощность и NVLink постепенно улучшаются. (Примечание: NVIDIA также выпустила специальное решение, в котором две версии H100 PCIe подключаются через NVBridge, под названием H100 NVL, но поскольку это по-прежнему два графических процессора, подробности здесь обсуждаться не будут.)

A100 -> H100: мощность плотных вычислений FP16 увеличилась более чем в 3 раза, а энергопотребление увеличилось всего с 400 Вт до 700 Вт.

H200 -> B200: мощность плотных вычислений FP16 увеличилась более чем в 2 раза, а энергопотребление увеличилось всего с 700 Вт до 1000 Вт.

Плотная вычислительная мощность B200 FP16 примерно в 7 раз выше, чем у A100, а энергопотребление — всего в 2.5 раза.

Графические процессоры Blackwell поддерживают точность FP4, обеспечивая вдвое большую вычислительную мощность, чем FP8. Некоторые данные в отчетах NVIDIA сравнивают вычислительную мощность FP4 с вычислительной мощностью FP8 архитектуры Hopper, поэтому коэффициент ускорения будет более преувеличен.

Следует отметить, что:

GB200 использует полный чип B200, а B100 и B200 представляют собой соответствующие урезанные версии.

HGX-серверы

HGX — это высокопроизводительный сервер от NVIDIA, обычно содержащий 8 или 4 графических процессора, обычно в сочетании с процессорами Intel или AMD и использующий NVLink и NVSwitch для достижения полного соединения (8 графических процессоров обычно являются верхним пределом полного соединения NVLink, за исключением NVL). и СуперПод).

По сравнению с HGX A100 -> HGX H100 и HGX H200 мощность плотных вычислений FP16 увеличилась в 3.3 раза, а энергопотребление — менее чем в 2 раза.

По сравнению с HGX H100 и HGX H200 -> HGX B100 и HGX B200 мощность плотных вычислений FP16 выросла примерно в 2 раза, при этом энергопотребление аналогичное, максимум не более 50%.

Следует отметить, что:

Сеть HGX B100 и HGX B200 не была обновлена, а скорость сетевой карты IB по-прежнему составляет 8x400 Гбит/с.

НВЛ и СуперПод

В дополнение к серверам с графическим процессором серии HGX у NVIDIA также есть решения для полных шкафов и кластеров, использующие новейшее решение Grace CPU + GPU и соответствующие системам жидкостного охлаждения. В таблице ниже показаны соответствующие шкафы NVL и SuperPod для архитектуры Hopper и Blackwell.

NVL32 -> NVL72: количество графических процессоров увеличилось с 32 до 72, а мощность плотных вычислений FP16 увеличилась с 32P до 180P, почти в 6 раз, а энергопотребление также увеличилось с 40 кВт (конкретное число не указано, приблизительные данные) до 120 кВт. , почти в 3 раза.

GH200 SuperPod -> GB200 SuperPod: количество графических процессоров увеличилось с 256 до 576, а плотная вычислительная мощность FP16 увеличилась с 256P до 1440P, почти в 6 раз, а соответствующее энергопотребление не обнаружено.

В NVL8 и GB800 SuperPod используются новейшие сетевые карты ConnectX-72 IB с пропускной способностью 200 Гбит/с, а в HGX B100 и HGX B200 по-прежнему используются сетевые карты ConnectX-7 IB с пропускной способностью 400 Гбит/с.

Следует отметить, что:

NVIDIA сообщила, что GB200 SuperPod состоит из 8 NVL72, а GH200 SuperPod не состоит из 8 NVL32.

Количество лотков L1 NVSwitch и лотков L2 NVSwitch в GB200 SuperPod не было обнаружено и является приблизительным.

Графический процессор Блэквелла

Графический процессор Blackwell и графический процессор H100 используют техпроцесс TSMC 4N. H100 содержит 80 миллиардов транзисторов, а графический процессор Blackwell — 208 миллиардов транзисторов. Однако H100 представляет собой корпус с одним кристаллом (один полный полупроводниковый блок), а графический процессор Blackwell представляет собой корпус с несколькими кристаллами и двумя кристаллами.

Каждый кристалл графического процессора Blackwell имеет примерно в 1.25 раза большую вычислительную мощность, чем H100, а оба кристалла вместе примерно в 2.5 раза превышают вычислительную мощность H100. Это также видно по количеству транзисторов.

Пропускная способность связи между двумя кристаллами составляет 10 ТБ/с.

В памяти используется HBM3e, размер каждого чипа составляет 24 ГБ, теоретический предел пропускной способности составляет 1.2 ТБ/с, а фактическая пропускная способность составляет 1 ТБ/с. Весь графический процессор Blackwell имеет 8 таких микросхем памяти.

Подводя итог, ключевые характеристики полного графического процессора Blackwell:

Разреженная вычислительная мощность (плотная вычислительная мощность * 2):

FP16: 5P ФЛОПС (2 * 2.5P)

FP8/FP6/INT8: 10P FLOPS (2 * 5P)

FP4: 20P ФЛОПС (2 * 10P)

Память:

Размер: 192 ГБ (8*24 ГБ)

Пропускная способность: 8 ТБ/с (8 * 1 ТБ/с)

ГХ200 и ГБ200

GH200

GH200 — это комбинация NVIDIA графического процессора H200, выпущенного в прошлом году, и процессора Grace. Каждый процессор Grace работает в паре с одним графическим процессором H200, а графический процессор H200 может иметь до 96 ГБ или 144 ГБ памяти. Процессор Grace и графический процессор Hopper соединены между собой через NVLink-C2C с пропускной способностью 900 ГБ/с. В дополнение к HBM3e процессор Grace также имеет 480 ГБ внешней памяти LPDDR5X, хотя соответствующая пропускная способность ниже — 500 ГБ/с.

GB200

В отличие от GH200, каждый GB200 состоит из одного процессора Grace и двух графических процессоров Blackwell, что удваивает вычислительную мощность и объем памяти графического процессора. Центральный и графический процессоры по-прежнему соединены между собой со скоростью 1 ГБ/с через NVLink-C2C. Соответствующая потребляемая мощность составляет 900 Вт.

GB200 включает в себя 384 ГБ памяти HBM3e и те же 480 ГБ LPDDR5X, что в общей сложности составляет 864 ГБ быстрой памяти.

HGX H100/H200 и HGX B100/B200

HGX H100 и HGX H200

Как видно, H200 имеет ту же вычислительную мощность, что и H100, но с большим объемом памяти. Максимальный объем памяти для 8 графических процессоров увеличивается с 640 ГБ до 1.1 ТБ. Вычислительная мощность разреженного FP16 для 8 графических процессоров составляет 16P, а разреженного FP8 — 32P. Пропускная способность связи между графическими процессорами составляет 900 ГБ/с для обоих.

HGX B100 и HGX B200

B100 и B200 соответствуют предыдущим H100 и H200 соответственно, но без процессора Grace, поэтому их можно использовать с процессорами Intel или AMD.

Память у B100 и B200 больше, чем у H100 и H200. Максимальный объем памяти для 8 графических процессоров составляет 1.5 ТБ (Примечание: на веб-сайте NVIDIA первоначально было указано 1.4 ТБ, что не соответствует 192 ГБ*8, а позже было исправлено до 1.5 ТБ, тогда как в таблице данных DGX B200 четко указано 1440 ГБ или 180 ГБ на графический процессор).

Вычислительная мощность B100 составляет около 3/4 мощности B200. Вычислительная мощность разреженного FP16 для 8xB100 составляет 28P, а для 8xB200 — 36P, поэтому 8xB200 в 2.25 раза превышает мощность 8xH100/H200. Это означает, что редкая вычислительная мощность FP16 одного B200 составляет 4.5P. Следует отметить, что фактическая вычислительная мощность B200 составляет 90% от полной мощности B200 (в GB200).

На изображении показаны данные таблицы данных DGX B200.

В тензорные ядра Blackwell добавлена ​​поддержка FP6 и FP4, а вычислительная мощность FP4 в 2 раза превышает мощность FP8 и в 4 раза превышает мощность FP16. Ядра CUDA Blackwell больше не поддерживают INT8, а начиная с Hopper, они также больше не поддерживают INT4.

В тензорные ядра Blackwell добавлена ​​поддержка формата данных Microscaling, который, возможно, поддерживает FP8, FP6, FP4 и INT8.

НВЛинк и НВСвитч

NVSwitch третьего поколения

NVSwitch третьего поколения имеет 64 порта NVLink, каждый по 2 линии. Предел пропускной способности составляет 64*50 ГБ/с = 3.2 ТБ/с.

NVSwitch четвертого поколения

Чип NVSwitch имеет 72 порта NVLink, каждый по 2 линии, с двунаправленной пропускной способностью 2 x 2 x 200 Гбит/с = 100 ГБ/с, что в сумме составляет 7.2 ТБ/с. NVLinks со скоростью 1.8 ТБ/с на изображении соответствуют 18 портам.

В B100 и B200 используются NVLink пятого поколения и NVSwitch четвертого поколения. Каждый графический процессор на B100 и B200 по-прежнему имеет 18 каналов NVLink, но пропускная способность каждого канала увеличена с 50 ГБ/с на NVLink четвертого поколения (H100) до 100 ГБ/с. Таким образом, максимальная пропускная способность между графическими процессорами для B100 и B200 составляет 1.8 ТБ/с.

NVSwitch четвертого поколения также удваивает пропускную способность между графическими процессорами до 1.8 ТБ/с. Он может поддерживать до 576 графических процессоров с общим пределом пропускной способности 576 * 1.8 ТБ/с = 1 ПБ/с.

Сетевые карты и сетевые коммутаторы

Сетевая карта ConnectX-8 InfiniBand

NVIDIA также выпустила новое поколение InfiniBand сетевые карты ConnectX-8 (ConnectX-800G) с соответствующей пропускной способностью 800 Гбит/с. В предыдущих H100 и H200 использовалась сетевая карта ConnectX-7 с пропускной способностью 400 Гбит/с, а в A100 использовалась сетевая карта ConnectX-6 с пропускной способностью 200 Гбит/с.

Однако NVIDIA не использовала новую сетевую карту ConnectX-800G в HGX B100/B200, а вместо этого продолжила использовать ConnectX-7 предыдущего поколения, как показано на изображениях (NVIDIA запускает DGX SuperPOD на базе Blackwell для генеративных суперкомпьютеров с искусственным интеллектом на Масштаб в триллион параметров и платформа NVIDIA Blackwell открывают новую эру вычислений).

BlueField-3 DPU/SuperNIC

BlueField-3 поддерживает соединения Ethernet и IB на скорости до 400 Гбит/с и может комбинироваться с аппаратными ускорителями сети и хранилища, запрограммированными с использованием NVIDIA DOCA. BlueField-3 имеет соответствующие BlueField-3 DPU и BlueField-3 SuperNIC. BlueField-3 SuperNIC может обеспечивать удаленный прямой доступ к памяти Ethernet (RoCE) между серверами графических процессоров на скорости до 400 Гбит/с, поддерживая скорость 400 Гбит/с для одного порта или скорость 200 Гбит/с для двух портов. BlueField-2 SuperNIC предыдущего поколения поддерживал только один порт 200 Гбит/с или два порта 100 Гбит/с.

Коммутатор Quantum-X800 IB

Quantum-X800 — это новое поколение коммутаторов NVIDIA Quantum IB, способное достичь 800Gb / s сквозные соединения со сверхнизкой задержкой, в первую очередь с поддержкой сетевой карты NVIDIA ConnectX-8. Соответствующий коммутатор Quantum-X800 Q3400-RA (4U) может обеспечить 144 порта 800 Гбит/с, как показано на изображении, используя воздушное охлаждение, но также поддерживая жидкостное охлаждение.

Ethernet-коммутатор Spectrum-X800

Spectrum-X800 — это новое поколение Ethernet-коммутаторов NVIDIA Spectrum, включающее два типа: SN5600 и SN5400, оба имеют конструкцию 2U.

Как показано в таблице, SN5600 может поддерживать скорость до 800 Гбит/с на порт при 64 портах и ​​общей пропускной способности 51.2 Тбит/с, а SN5400 может поддерживать до 400 Гбит/с на порт при 64 портах и ​​общей пропускной способности. пропускная способность 25.6 Тбит/с.

GH200 NVL32 и GH200-SuperPod

Вычислительный лоток GH200

Вычислительный лоток GH200 основан на конструкции NVIDIA MGX (размер 1U) с двумя блоками GH2 на каждый вычислительный лоток, т. е. 200 процессорами Grace и 2 графическими процессорами H2.

NVSwitch лоток

Лоток NVSwitch первого поколения содержит 2 чипа NVSwitch третьего поколения с общим числом портов NVLink 128 и максимальной пропускной способностью связи 6.4 ТБ/с.

ГХ200 НВЛ32

Каждый шкаф содержит 16 вычислительных лотков GH200 и 9 лотков NVSwitch, в результате чего в общей сложности получается 32 графических процессора GH200 и 18 NVSwitch. 32 графических процессора GH200 имеют 32 × 18 = 576 NVLink, и теоретически для достижения полного соединения потребуется только 576/64 = 9 NVSwitch, но эта конструкция включает 18 NVSwitch.

GH200 СуперПод

GH200 SuperPod состоит из 256 графических процессоров GH200 в полностью взаимосвязанной конфигурации, но не состоит из 8 блоков NVL32. Вместо этого он состоит из 32 суперчипов 8-Grace Hopper.

Как показано на рисунке 7, каждый суперчип 8-Grace Hopper включает в себя:

8 вычислительных лотков с бункером (8U), каждый из которых содержит:

1 * графический процессор GH200

1 * сетевая карта ConnectX-7 IB, 400Gb / s

1*200 Гбит/с Ethernet-карта

3 лотка NVSwitch (3U), всего 6 коммутаторов NVSwitch

Соединения NVLink показаны на рисунке 6: каждый GH200 и каждый NVSwitch имеют по три соединения NVLink. В этом направлении на каждый NVSwitch используется 3 порта. Кроме того, каждый NVSwitch имеет 24 порта, подключенных к L24 NVSwitch, всего 2 используемых портов на NVSwitch. (Примечание. Некоторые порты NVSwitch являются резервными, и теоретически потребуется только 48 NVSwitch, поэтому были выбраны 4.5 лотка NVSwitch.)

Как показано на рисунке 8, GH200 SuperPod состоит из 32 суперчипов 8-Grace Hopper. Уровень L1 содержит 32 x 3 = 96 лотков NVSwitch (192 NVSwitch), а уровень L2 содержит 36 лотков NVSwitch (64 NVSwitch). Каждый лоток L1 NVSwitch имеет 24 x 2 = 48 портов, подключенных к лоткам L2 NVSwitch, поэтому необходимо 36 лотков L2 NVSwitch.

Как показано на рисунке 12, 256 графических процессоров GH200 также соединены между собой через двухуровневый коммутатор IB.

Полное подключение GH200 SuperPod показано на рисунке 5.

GB200 NVL72 и GB200 SuperPod

Вычислительный лоток GB200

Вычислительный лоток GB200 также основан на дизайне NVIDIA MGX (размер 1U), при этом каждый вычислительный лоток содержит 2 блока GB200, то есть 2 процессора Grace и 4 графических процессора Blackwell, как показано на изображении.

Каждый вычислительный лоток GB200 поддерживает 1.7 ТБ быстрой памяти (Примечание: «HBM3e» на изображении, скорее всего, является опечаткой, это должно быть «Fast Memory», а не «HMB3e»). Если речь идет о памяти на графический процессор Blackwell, она должна составлять 192 ГБ x 4 = 768 ГБ. 1.7 ТБ, вероятно, включает дополнительные 480 ГБ LPDDR5X на 200 ГБ, всего 768 ГБ + 480 ГБ x 2 = 1728 ГБ.

NVSwitch лоток

Как показано на изображении, лоток NVSwitch нового поколения также содержит 2 микросхемы NVSwitch (размером 1U), всего 144 порта NVLink (72 порта NVLink на микросхему NVSwitch). Каждый порт имеет пропускную способность 100 ГБ/с, поддерживая общий предел пропускной способности 14.4 ТБ/с. Система NVSwitch четвертого поколения может поддерживать до 576 графических процессоров, поэтому общий предел пропускной способности может достигать 576 * 1.8 ТБ/с = 1 ПБ/с. (Примечание: 8 портов на изображении не являются портами NVLink, каждый соответствует 18 портам NVLink.)

Ниже показана система NVSwitch, используемая в NVL72, содержащая 9 лотков NVSwitch. 72 порта на изображении соответствуют портам на предыдущем изображении, а не портам NVLink, с пропускной способностью 1.8 ТБ/с (18 портов NVLink 100 ГБ/с).

ГБ200 НВЛ72

Один GB200 NVL72 содержит 18 вычислительных лотков GB200, то есть он имеет 36 процессоров Grace и 72 графических процессора. Общий объем памяти графического процессора составляет 72 * 192 ГБ = 13.8 ТБ, а быстрая память процессора LPDDR5X — 480 ГБ x 36 = 17 ТБ, поэтому общий объем быстрой памяти составляет 30 ТБ. В комплект также входят 9 лотков NVSwitch.

NVIDIA также offиспользует конфигурацию NVL36, которая по-прежнему имеет 18 вычислительных лотков GB200, но каждый вычислительный лоток имеет только один GB200, поэтому всего имеется 18 процессоров Grace и 36 графических процессоров B200. Соответствующая вычислительная мощность показана на изображении. Таким образом, упомянутые 30 ТБ — это, скорее всего, 13.5 ТБ HBM3e + 17 ТБ LPDDR5X.

Соответствующая вычислительная мощность показана на рисунке ниже:

Таким образом, HBM30e емкостью 3 ТБ здесь также должен быть HBM13.5e 3 ТБ + LPDDR17X 5 ТБ:

GB200 СуперПод

GB200 SuperPod состоит из 8 блоков NVL72, всего 576 графических процессоров Blackwell. Для достижения полной взаимосвязи, как и в случае с предыдущими 256 графическими процессорами GH200, требуется двухуровневая система NVSwitch Tray (теоретический предел пропускной способности 576 * 1.8 ТБ/с = 1 ПБ/с):

Половина портов лотка NVSwitch первого уровня подключена к 576 графическим процессорам Blackwell, поэтому необходимо 576 * 18 / (144/2) = 144 лотка NVSwitch (оставшиеся 144 * 72 порта).

Все порты лотков NVSwitch второго уровня подключены к остальным портам NVSwitch первого уровня, поэтому необходимо 144 * 72/144 = 72 лотка NVSwitch. Каждый лоток NVSwitch второго уровня подключен ко всем лоткам NVSwitch первого уровня (2 порта на соединение).

Анализ данных производительности

Производительность DGX GB200

NVIDIA утверждает, что DGX B200 (соответствующий HGX B200) имеет 3-кратное улучшение производительности обучения и 15-кратное улучшение производительности вывода по сравнению с DGX H100 предыдущего поколения (HGX H100). Однако это при определенных условиях. Если рассматривать исключительно вычислительную мощность FP16 или FP8 при переходе от HGX H100 к HGX B200, то вычислительная мощность увеличилась в 2.25 раза. Но объем памяти больше, пропускная способность памяти примерно в 2.3 раза выше, а пропускная способность NVLink также увеличилась вдвое. Таким образом, общее трехкратное улучшение скорости обучения соответствует ожиданиям.

Как показано на изображении, скорость обучения 3x была измерена на системах 4096 HGX B200 и системах 4096 HGX H100 при обучении модели GPT-MoE-1.8T.

Как показано на изображении, скорость вывода 15x была измерена на 8 системах HGX B200 и 8 системах HGX H100 с использованием модели GPT-MoE-1.8T для вывода (вывод модели GPT обычно связан с вводом-выводом, поэтому пропускная способность памяти имеет решающее значение. ; для поддержки более высокого параллелизма также важен большой размер памяти; а поскольку модель большая, часто используются такие стратегии, как Tensor Parallel, поэтому пропускная способность NVLink также имеет решающее значение). Они достигли 3.5 токенов/с и 58 токенов/с соответственно. Факторов, влияющих на вывод GPT, множество, и для этих двух систем улучшения определяются:

• Пропускная способность VRAM (8×3.35 ТБ/с -> 8x8 ТБ/с)
• Размер видеопамяти (8x141 ГБ -> 8x192 ГБ)
• Пропускная способность NVLink (7.2 ТБ/с -> 14.4 ТБ/с)
• Вычислительная мощность увеличена вдвое (16P -> 36P)
• РП8 -> РП4 (x2)

Как показано на последнем изображении, Дженсен Хуанг представил более подробное сравнение в своем докладе GTC, показав, что улучшение составляет всего около 3 раз при сравнении B200 FP8 и H200 FP8 (при этом TP, EP, DP, PP представляют Tensor Parallel, Expert Parallel, Параллельный обмен данными и параллельный конвейер). Улучшение при использовании GB200 в FP4 очень существенно (вероятно, благодаря полному межсоединению NVLink в NVL72).

GPT-MoE-1.8T Энергопотребление при обучении

В своем выступлении на GTC Дженсен Хуанг также обсудил энергопотребление при обучении модели GPT-MoE-1.8T, сравнив графические процессоры Hopper и Blackwell:

• Один шкаф NVL32 имеет мощность 40 кВт, поэтому 8000 графических процессоров будут иметь мощность около 10 МВт, плюс другое энергопотребление, вероятно, около 15 МВт.
• Мощность одного шкафа NVL72 составляет 120 кВт, поэтому 2000 графических процессоров будут иметь мощность около 3.3 МВт, плюс другое энергопотребление, такое как сетевые коммутаторы, в общей сложности составит около 4 МВт.