Как NVIDIA GB200 использует ЦАП/ACC 800G/1.6T

NVIDIA выпустила новейшие вычислительные системы серии GB200 со значительно улучшенной производительностью. В этих системах используются как медные, так и оптические соединения, что приводит к активным дискуссиям на рынке об эволюции «медных» и «оптических» технологий.

Текущая ситуация: Серия GB200 (включая предыдущую GH200) представляет собой «суперчиповую» систему NVIDIA. По сравнению с традиционными серверами система имеет большую степень детализации: 36 или 72 графических процессора подключаются в основном с помощью электрических сигналов внутри шкафа. Внешне они используют сети NVLink и InfiniBand.

Выбор между медью и оптикой – это, по сути, сделка.off между расстоянием и скоростью.

Снижает ли GB200 важность оптической связи?

На основе GH200 целевой сценарий для системы GB200 NVL72 больше ориентирован на крупные кластеры, облака и клиентов платформенного типа – то, что NVIDIA определяет как «AI Cloud/AI Factory». Ожидаемая форма — многошкафный кластер, в котором межкабинетные сети 800G или более, приведет к огромным электрическим потерям, что сделает оптическую связь необходимой.

Однако для клиентов малого и среднего бизнеса, которые могут использовать только одну систему GB200, осуществимость сомнительна, и традиционные серверы или облачные решения могут быть лучшими вариантами (также часть стратегии дифференциации NVIDIA).

Целью разработки GB200 является: один шкаф может обрабатывать выводы искусственного интеллекта, что полезно для развертывания облачной виртуализации.

Минимальной единицей системы GB200 является шкаф, а производительность вывода была значительно улучшена, что позволяет лучше обрабатывать массивные параметры, кросс-модальные, массивные токены и сценарии многопараллельного вывода, избегая крупномасштабных распределенных систем с одним графическим процессором. . В сценарии облачного IDC он может лучше справиться с будущим массовым спросом на логические выводы (см. оценки AWS и MSFT).

Понимание рынка увеличения количества медных межсоединений обусловлено:

Раньше кластеры серии H100 не имели внутришкафных межсоединений, а имели отдельный сетевой шкаф, а скорость чипа была относительно высокой, поэтому медных проводов на короткие расстояния почти не было.

В то время как для серии GB200, хотя внутри шкафа много медных проводов, спрос на оптические межсоединения в больших кластерах, таких как домен NVLink и расширение оптических межсоединений IB, очень велик, и будущий путь кремниевой фотоники и Оптический ввод-вывод между чипами уже очень понятен.

Вопрос: Насколько презентация продукта NVIDIA на конференции GTC отличалась от ожиданий?

Ответ: На конференции GTC GB200 стал основным продуктом, в то время как первоначально ожидаемые продукты B100 и B200 не были выпущены, как ожидалось. Чип GB200 содержит 2 графических процессора и 1 процессор, а основной представленный продукт представляет собой единый шкаф, состоящий из 36 чипов GB200, предназначенный для использования на сервере. По сравнению с GB200, выпущенным в прошлом году, этот GB200 представлял собой не стандартный кластерный продукт, а только один шкаф на 36 карт.

Вопрос: Какова роль IP-архитектуры в серии GB200?

О: Для некоторых крупных клиентов, которым необходимы соединения между шкафами, архитектура IP используется для внешних подключений. Однако разница между GB200 и GB200 заключается во внутренних соединениях. GB200 использует электрические соединения m link (т. е. медные соединения между графическим процессором и коммутатором), а не прошлогодний метод подключения объединительной платы. На конференции Хуанг особо подчеркнул преимущества медных межсоединений в плане снижения затрат и демонстрации производительности.

Вопрос: На конференции GTC Дженсен Хуанг дал специальное объяснение решения медного межсоединения, каковы его преимущества?

Ответ: Впервые на такой важной конференции было подробно объяснено решение медного межсоединения, что также вызывает у всех серьезную озабоченность. Графические процессоры подключаются через mlink, что подтверждает использование медных межсоединений, а их решение может быть похоже на прошлогодний метод подключения к объединительной плате. Хуанг подчеркнул преимущества медных межсоединений в плане снижения затрат и демонстрации производительности.

Вопрос: Каково влияние на рынок выхода серии GB200?

О: Поскольку серия GB200 представляет собой новое поколение графических процессоров серверного уровня, повышение производительности и эффективности серии GB200 окажет значительное влияние на рынок. В частности, внедрение медного межсоединения может изменить метод внутреннего соединения кластеров графических процессоров, снизив затраты и повысив производительность. Кроме того, GBXNUMX может изменить дизайн и развертывание центров обработки данных, что будет способствовать дальнейшему развитию искусственного интеллекта и облачных вычислений.

Вопрос: Каковы преимущества медного межсоединения GB200?

Ответ: Основные моменты запуска GB200: Один чип GB200 содержит 2 графических процессора и 1 процессор, а основной выпущенный продукт представляет собой однокорпусный продукт, состоящий из 36 чипов GB200. Это показывает, что NVIDIA фокусируется на электрических соединениях (mlink), а не на технологии оптических соединений. Продвижение рынка и ожидания: GB200 будет широко применяться, в отличие от GH200, который не получил широкого распространения. Согласно речи Хуанга на конференции, многие потенциальные крупные клиенты предполагают, что GB200 ожидает больших объемов продаж. На рынке в целом полагают, что продвижение GB200 может привести к постепенному увеличению соотношения оптических модулей к графическим процессорам с 1:2.5 до 1:9, а объем продаж GB200 в следующем году может иметь большой потенциал роста.

Вопрос: Какова отраслевая тенденция в области разъемов объединительной платы?

Ответ: Использование разъемов объединительной платы постепенно увеличивается на серверах AI, крупных коммутаторах и маршрутизаторах. Технология также развивается в направлении ортогональных режимов нулевой объединительной платы и кабельной объединительной платы. Кабели объединительной платы имеют преимущества, заключающиеся в большей дальности передачи и более гибкой проводке, но их стоимость относительно выше.

Вопрос: Каковы тенденции спроса и цен на разъемы объединительной платы?

Ответ: Растущий спрос на серверы искусственного интеллекта стимулирует спрос на разъемы объединительной платы. Переход на режим кабельной объединительной платы также увеличил стоимость: общая стоимость составляет 3–5% от стоимости одного сервера. Таким образом, в отрасли наблюдается тенденция роста как объемов, так и цен.

Вопрос: Как запуск GB200 повлияет на индустрию оптических модулей?

Ответ: Запуск GB200 является положительным моментом для индустрии оптических модулей, поскольку он удовлетворяет спрос на межшкафные соединения, который существует у большинства клиентов. Текущий GB200 имеет двунаправленную полосу пропускания 1800G, а при коэффициенте конфигурации 1.6T соотношение оптических модулей составляет примерно 1:9. При использовании решения 800G соотношение может достигать 1:18. Разница в стоимости незначительна, но поскольку Оптические модули 1.6T OSFP-XD Ожидается, что массовое производство начнется в четвертом квартале, клиенты более склонны использовать более экономичное решение 4T. Поэтому оптические модули будут модернизированы, что приведет к переходу от текущего соотношения 1.6:1 к 2.5:1.

Вопрос: Каковы основные различия между GB200 и GH200?

О: Основное отличие состоит в том, что серия GH не является крупносерийным продуктом, в то время как GB200 имеет широкий круг потенциальных клиентов, включая Google, Meta, OpenAI, Microsoft, Oracle и Tesla. Это означает, что GB200 получит широкое распространение и массовое внедрение.

Вопрос: Каковы ожидания рынка относительно спроса на оптические модули 1.6T OSFP-XD в следующем году?

Ответ: Ожидаемый рынком спрос на оптические модули 1.6T OSFP-XD в следующем году составит 2–3 миллиона единиц, а наша модель прогнозирует 2.5 миллиона. При этом еще не учитывается растущий спрос со стороны отдельных серий B100 или B200.

Вопрос: Какой тип межсетевого решения был принят GB200?

О: GB200 использует медное межсетевое соединение, которое снижает затраты. Особенно с учетом массового внедрения GB200, это станет важным фактором, способствующим увеличению спроса на оптические модули.

Вопрос: Какую отраслевую тенденцию отразила презентация Хуана на конференции?

Ответ: Его выступление на конференции можно рассматривать как отражение отраслевой тенденции, а не просто краткосрочную горячую тему. Со временем отрасль будет наблюдать за работой соответствующих компаний. Раньше на рынке велись дебаты по поводу медных и оптических межсоединений, но теперь подтверждено, что GB200 принял решение для медных межсоединений.

Вопрос: Каковы основные цели инвестиций в индустрию оптических модулей?

Ответ: В связи с массовым внедрением GB200 и растущим спросом на оптические модули 1.6T OSFP-XD, FiberMall получит больше внимания.

Вопрос: Каковы рыночные перспективы решения для медных межсоединений?

Ответ: Отношение рынка к медным межсетевым решениям меняется. Тот факт, что GB200 принял решение по медному соединению, указывает на то, что это решение может найти более широкое применение в будущем. Учитывая производительность соответствующих компаний, стоит с нетерпением ждать рыночных перспектив решения для медных межсоединений.

Вопрос: Каковы основные различия в конструкции и применении между GB200 и GH200?

О: Конструкция GB200 объединяет коммутатор, сервер и графический процессор в одном шкафу с использованием метода подключения, подобного блейд-серверу. Интерфейсы ввода-вывода коммутатора видны спереди, а соединение между коммутатором и графическим процессором, скорее всего, осуществляется через медный кабель объединительной платы. Для сравнения, в GH200 используется отдельная конструкция подключения с DAC (кабель прямого подключения).

Вопрос: Какую роль играет медный кабель объединительной платы в конструкции GB200?

О: Медный кабель объединительной платы играет решающую роль в конструкции GB200, соединяя разъемы объединительной платы и поддерживая соединение между коммутатором и платами графического процессора. Такая конструкция делает передачу сигнала между сервером и коммутатором более удобной.

Вопрос: Каковы основные области применения разъемов объединительной платы?

Ответ: Разъемы объединительной платы в основном используются в крупных коммутаторах, маршрутизаторах и серверах AI. Такая архитектура подплат и объединительных плат будет более распространенной, особенно в серверах с модульной конструкцией и крупных коммутаторах/маршрутизаторах.

Вопрос: Какова тенденция развития отрасли разъемов объединительной платы?

Ответ: Ожидается, что с развитием разработки серверов и коммутаторов спрос на разъемы объединительной платы будет продолжать расти. Перспективы применения этих разъемов широки, особенно в области крупных коммутаторов, маршрутизаторов и серверов искусственного интеллекта.

Вопрос: Какова конкурентная среда со стороны предложения?

Ответ: Конкурентная ситуация со стороны поставок разъемов объединительной платы относительно стабильна. FiberMall, обладающий богатым производственным опытом и мощными возможностями управления цепочками поставок, обеспечивает рынок стабильными и высококачественными разъемами для объединительных плат.

Вопрос: Как конструкция GB200 влияет на спрос на разъемы объединительной платы?

Ответ: Конструкция GB200 привела к росту спроса на серверы AI и крупные коммутаторы/маршрутизаторы, что, в свою очередь, привело к увеличению спроса на разъемы объединительной платы. В этой парадигме проектирования серверов и коммутаторов спрос на разъемы объединительной платы значительно увеличится.

Вопрос: Как развиваются технологии разъемов объединительной платы?

Ответ: Разъемы объединительной платы развиваются в двух направлениях: одно — это ортогональная нулевая объединительная плата, а другое — объединительная плата для кабеля. GB200 использует режим кабельной объединительной платы, преимущества которого включают лучшее рассеивание тепла, меньшие потери при передаче, большее расстояние передачи и более гибкую проводку. Но минусом является более высокая стоимость.

Вопрос: Какова логика на стороне спроса для разъемов объединительной платы?

Ответ: Спрос на разъемы объединительной платы в основном обусловлен серверами искусственного интеллекта, а режим кабельной объединительной платы имеет значительно более высокое значение, чем традиционный режим объединительной платы. В настоящее время стоимость разъемов объединительной платы составляет около 3-5% стоимости одного сервера.

Вопрос: Каковы будущие перспективы рынка разъемов объединительной платы?

Ответ: С быстрым развитием таких технологий, как искусственный интеллект и большие данные, рыночный спрос на разъемы объединительной платы будет продолжать расти. В будущем рынок разъемов объединительной платы столкнется с большим количеством возможностей и проблем, и отечественным и зарубежным компаниям необходимо постоянно укреплять свои технологические исследования и разработки, а также инновационные продукты, чтобы удовлетворить рыночный спрос и поддерживать конкурентоспособность.

Вопрос: Станет ли режим кабельной объединительной платы, используемый в серверах искусственного интеллекта, основной тенденцией?

Ответ: Да, ожидается, что режим кабельной объединительной платы, используемый в серверах искусственного интеллекта, станет основной тенденцией.