Почему серверам с графическим процессором требуется HBM?

HBM, сокращение от High Bandwidth Memory, представляет собой высокопроизводительную технологию трехмерного стека DRAM, в основном используемую для удовлетворения высоких требований к пропускной способности памяти и емкости высокопроизводительных вычислительных и графических процессоров (GPU). Технология HBM была разработана совместно AMD и Hynix и впервые анонсирована в 3 году.

Поскольку вычислительные потребности продолжают расти, традиционные технологии памяти изо всех сил пытаются удовлетворить растущие потребности в пропускной способности и емкости памяти, необходимые для высокопроизводительных вычислений (HPC) и графических процессоров. На этом фоне технология High Bandwidth Memory (HBM) стала инновационным решением этих проблем.

HBM — это технология трехмерного стека DRAM, которая вертикально соединяет несколько микросхем DRAM, сложенных вместе, с использованием технологий сквозных кремниевых переходов высокой плотности (TSV) и микровыступов. Такая конструкция значительно увеличивает пропускную способность и емкость памяти, одновременно уменьшая физический размер модулей памяти. По сравнению с традиционной памятью GDDR3 HBM обычно имеет более низкое энергопотребление благодаря компактному дизайну и эффективной передаче данных.

В настоящее время продукты HBM разработаны в следующем порядке: HBM (первое поколение), HBM2 (второе поколение), HBM2E (третье поколение), HBM3 (четвертое поколение) и HBM3E (пятое поколение), причем последняя версия HBM3E является расширенной версией. HBM3. Графические процессоры теперь обычно имеют 2/4/6/8 стеков HBM, до 12 слоев, расположенных в трех измерениях.

26 февраля Micron Technology официально объявила о массовом производстве памяти HBM3E с высокой пропускной способностью. Ее продукт HBM24E объемом 8 ГБ 3H будет поставляться NVIDIA и применяться в графическом процессоре NVIDIA H200 Tensor Core. В настоящее время HBM3E от Micron имеет емкость 24 ГБ со скоростью вывода более 9.2 Гбит/с, обеспечивая пропускную способность памяти более 1.2 ТБ/с, предлагая молниеносную скорость доступа к данным для ускорителей ИИ, суперкомпьютеров и центров обработки данных.

В настоящее время все основные чипы обучения ИИ используют HBM, с одним графическим процессором в паре с несколькими HBM. Если взять в качестве примера недавно выпущенный NVIDIA H200, этот графический процессор оснащен шестью высокоскоростными модулями памяти Micron HBM3E 24 ГБ. Логично, что объем памяти H200 должен быть 246=144 ГБ, а пропускная способность памяти должна быть 1.26=7.2 ТБ/с. Однако спецификации, опубликованные на официальном сайте NVIDIA, показывают только 141 ГБ памяти, а не целое число, а пропускная способность памяти составляет всего 4.8 ТБ/с. Это связано с массовым производством, когда NVIDIA резервирует небольшую часть в качестве избыточности для повышения нормы выработки.

HBM постоянно развивается, и направление итераций направлено на увеличение емкости и пропускной способности. В настоящее время максимальное количество слоев составляет 12. SK Hynix выпустила первый в мире HBM в 2014 году, за ним последовал HBM2 в 2018 году и с тех пор выпускает новое поколение HBM каждые два года. Последней серийной версией является HBM3e, и первоначальный производитель ускоряет исследования и разработки, а HBM4, возможно, примет 16-слойный стек. Что касается количества операций ввода-вывода (ширины шины), все модели от HBM1 до HBM3e поддерживают 1024 бита, а скорость передачи данных увеличилась с 1 Гбит/с для HBM1 до 9.2 Гбит/с для HBM3e, что в конечном итоге привело к увеличению пропускной способности со 128 ГБ/с. для HBM1 до 1.2 ТБ/с для HBM3e. Стандарты HBM4 в настоящее время не определены, но обычно ожидается, что HBM4 будет иметь максимум 16 слоев и ширину шины 2048 бит.

На рынке HBM в основном доминируют три крупных гиганта хранения данных:

SK Hynix: Являясь одним из основных разработчиков технологии HBM, SK Hynix занимает лидирующие позиции в области HBM. Компания не только участвовала в ранней разработке HBM, но и продолжает продвигать такие версии технологии, как HBM2, HBM2E и HBM3. Инновационные возможности и возможности массового производства технологии HBM сделали SK Hynix основным поставщиком HBM для чипов искусственного интеллекта NVIDIA с самой высокой долей рынка.

Samsung Electronics: Samsung Electronics является одной из ведущих мировых компаний по производству полупроводников, а также обладает мощными научно-исследовательскими и производственными возможностями в области технологии HBM. Samsung Electronics вложила значительные средства в развитие HBM и активно расширяла свои производственные мощности для удовлетворения рыночного спроса. Прогресс Samsung в области технологии HBM, включая разработку продуктов с более высокой плотностью и большей емкостью, сыграл ключевую роль в повышении ее конкурентоспособности в области высокопроизводительных вычислений и искусственного интеллекта. Samsung фокусируется на выполнении заказов от других поставщиков облачных услуг, и в условиях увеличения заказов клиентов ожидается, что разрыв в доле рынка между Samsung и SK Hynix в HBM3 значительно сократится, при этом, по оценкам, обе компании будут иметь равную долю рынка в 2023-2024 годах. в совокупности владеют около 95% доли рынка HBM.

Технология Micron: Micron занимает относительно низкую долю на рынке БЧМ из-за ошибочных решений в отношении технологического направления и находится в процессе догоняющего. Хотя Micron вышла на рынок HBM позже, чем SK Hynix и Samsung Electronics, она начала непосредственно с HBM3E и быстро нарастила свою технологическую мощь, бросив вызов существующей структуре рынка. Использование NVIDIA Micron в H200 является важным признанием ее возможностей.