Ускоряющаяся индустрия искусственного интеллекта стимулирует спрос на 1.6T OSFP-XD

Спрос на аппаратное обеспечение искусственного интеллекта стремительно растет, и ожидается, что поставки компьютерных чипов ускорятся. Основываясь на исследовании FiberMall в сфере вычислительной отрасли, FiberMall прогнозирует, что поставки чипов NVIDIA серий H и B в 3.56 году достигнут 350,000 миллиона и 2024 2025 единиц соответственно. В 200 году, с дальнейшими поставками GB2.5, общий объем Ожидается, что поставки графических процессоров B-серии достигнут 300 миллионов единиц. Кроме того, FiberMall ожидает, что внедрение TPU от Google и MI800 от AMD также продолжится, и все это будет способствовать синхронному наращиванию оптических модулей 1.6G OSFP и XNUMXT OSFP-XD на сетевом уровне.

Ожидается, что благодаря позитивным изменениям в отраслевой цепочке спрос на 1.6T превысит ожидания. На выставке OFC 2024 несколько экспонентов продемонстрировали новейшие оптические модули 1.6T OSFP-XD. Ранее новый AI-чип NVIDIA Blackwell, анонсированный на конференции GTC, предъявляет более высокие требования к межсетевому соединению, а коммутаторы серии X800 позволяют создавать сети 1.6T. Между тем, цепочка производства оптических модулей также постепенно формируется: Marvell ожидает, что ее DSP 1.6T с одним каналом 200G будет развернут к концу 2024 года, а Broadcom заявляет, что 200G EML готов к массовому производству. FiberMall считает, что отраслевая цепочка 1.6T, как восходящая, так и перерабатывающая, ускоряет свое развитие. Что касается развертывания, FiberMall ожидает, что во второй половине 2024 года оптические модули 1.6T OSFP-XD, вероятно, будут развернуты в координации с массовым производством чипов NVIDIA B-серии, сначала с небольшим масштабированием, а затем крупномасштабное развертывание ожидается в 2025 году. В технологическом отношении FiberMall полагает, что одномодовый EML по-прежнему будет основным направлением в эпоху 1.6 Т, а также с оптимизмом смотрит на быстрый рост скорости проникновения новых технологических решений, таких как кремниевая фотоника и линейные технологии. -привод сменной оптики (ЛПО).

Что касается спроса, FiberMall прогнозирует, что в 2025 году:

1) Спрос со стороны 1-2 крупнейших зарубежных клиентов быстро перейдет с 800G OSFP на 1.6T, что приведет к быстрому увеличению количества оптических модулей 1.6T OSFP-XD;

2) В то время как спрос на 800G OSFP некоторых клиентов может снизиться из-за перехода на более высокие скорости, спрос другой группы клиентов сместится с 400G OSFP на 800G OSFP, обеспечивая определенную поддержку общего спроса на 800G OSFP.

Сценарный анализ FiberMall относительно общей поставки 1.6Т в 2025 году основан на двух основных переменных: 1) общее процветание закупок оборудования для искусственного интеллекта (поставка графических процессоров B-серии в количестве 2–3 миллионов единиц); 2) Сроки зрелости сети 1.6T (доля графических процессоров B-серии в сочетании с сетевыми решениями 1.6T составляет 70–90%). Анализ показывает, что общий объем поставок 1.6 т OSFP-XD оптических модулей в 2025 году составит 3.6-5.95 млн штук при нейтральном сценарии на уровне 4.7 млн ​​штук, что выше текущих ожиданий рынка.

Анализ сценариев спроса на оптические модули 1.6T OSFP-XD

FiberMall провел комплексный анализ, приняв во внимание прогнозируемые поставки AI-чипов, таких как NVIDIA, TPU и MI300, корреляцию между оптическими модулями и AI-чипами, а также выбор скоростных конфигураций оптических модулей. Анализ показывает, что спрос на оптические модули 800G OSFP и 1.6T OSFP-XD в 2025 году может достичь 7.91 млн и 4.7 млн ​​единиц соответственно. Ключевые предположения заключаются в следующем:

• Прогноз поставок ИИ-чипов: на конференции GTC 2024 NVIDIA анонсировала свои облачные графические процессоры B-серии первого поколения на базе архитектуры Blackwell, а также новый суперчип GB200 CPU+GPU с архитектурой и соответствующий вычислительный блок GB200 NVL72, который может обеспечить производительность 1E Flops на уровне суперкомпьютеров в одном корпусе, обеспечивая повышение производительности от чипа к системе. В дополнение к графическим процессорам общего назначения FiberMall ожидает, что внедрение TPU от Google и MI300 от AMD также продолжится, что будет стимулировать спрос на конфигурации оптических модулей 800G OSFP/1.6T OSFP-XD.
• Оценка корреляции между оптическими модулями и микросхемами искусственного интеллекта. В сетевой архитектуре InfiniBand с «толстым деревом» из-за неконвергентных характеристик сети общая пропускная способность на каждом сетевом уровне одинакова. Основываясь на предположении, что соотношение карт ускорения AI и сетевых карт составляет 1:1, FiberMall подсчитал, что соотношение оптических модулей OSFP H100 и 800G составляет 1:3 в трехуровневой сетевой архитектуре и 1:2 в двухуровневой сетевой архитектуре. Слоистая архитектура. На конференции GTC 2024 компания NVIDIA анонсировала коммутаторы серии X800, среди которых коммутатор Q3400-RA 4U на базе протокола InfiniBand имеет 144 порта 800G OSFP, которые эквивалентно могут быть распределены как 72 порта 1.6T. В FiberMall считают, что производительность коммутаторов серии Quantum-X800 со 144 портами значительно улучшена по сравнению с серией QM9700 предыдущего поколения с 64 портами, а также количество кластеров, поддерживаемых двухуровневыми коммутаторами Quantum-X800 в архитектуре «толстого дерева». возрос. С относительно консервативной точки зрения, FiberMall прогнозирует эффективный спрос на оптические модули, исходя из соотношения 1:2 графических процессоров B-серии к оптическим модулям OSFP-XD 1.6T.
• Выбор конфигурации скорости оптического модуля. В целом FiberMall ожидает, что поставщики облачных услуг или производители искусственного интеллекта будут склонны отдавать приоритет конфигурации более высокоскоростных сетей, чтобы максимизировать вычислительную производительность своих кластеров. Однако, учитывая, что аппаратная экосистема 1.6T еще не полностью развита в 2024 году, FiberMall прогнозирует, что в этом году клиенты могут в первую очередь использовать скорости 800G OSFP при развертывании небольших сетей с чипами NVIDIA B-серии, а также конфигурацию 1.6T в сочетании с B. Ожидается, что чипы -серии станут основным решением к 2025 году по мере развития отраслевой цепочки 1.6T. На текущем этапе в отрасли нет четких указаний по объему поставок графических процессоров B-серии в 2025 году, а прогноз поставок чипов B-серии также зависит от различных переменных, таких как сроки выпуска GPT-5. , развертывание новых крупных моделей или приложений ИИ, а также исследование коммерческой жизнеспособности ИИ. Эти факторы повлияют на общие закупки оборудования для искусственного интеллекта ведущими поставщиками облачных услуг и другими участниками отрасли искусственного интеллекта. FiberMall отметила, что рыночные ожидания относительно капитальных затрат четырех крупнейших облачных провайдеров Северной Америки в 2024 году были пересмотрены в сторону повышения за последний год, и эти компании публично заявили, что будут продолжать увеличивать свои инвестиции в инфраструктуру искусственного интеллекта, отражая устойчивый прогресс индустрии искусственного интеллекта и расширение основного спроса на оборудование. FiberMall полагает, что капитальные затраты ведущих компаний на аппаратное обеспечение искусственного интеллекта в 2025 году по-прежнему будут зависеть от изменений в отрасли искусственного интеллекта.

FiberMall провел анализ сценариев общего объема поставок оптических модулей 1.6T OSFP-XD в 2025 году, используя две основные переменные: 1) общее процветание закупок оборудования для искусственного интеллекта (поставка графических процессоров серии B в количестве 2–3 миллионов единиц); 2) Сроки зрелости сети 1.6T (доля графических процессоров B-серии в сочетании с сетевыми решениями 1.6T составляет 70–90 %, а остальное составляет 800G OSFP).

Учитывая высокий спрос в отрасли искусственного интеллекта и сроки коммерческой зрелости ключевых технологий оптических портов 1.6 Т как переменные, анализ сценариев FiberMall показывает, что общий объем поставок оптических модулей 1.6 Т OSFP-XD в 2025 году, как ожидается, будет находиться в диапазоне 3.6-5.95 млн единиц, при этом общий уровень ассортимента превышает текущие ожидания рынка. Новое поколение вычислительных кластеров поддерживает высокий спрос на высокоскоростные оптические модули, а процветание отраслевой цепочки находит отклик.

На волне развития искусственного интеллекта новое поколение вычислительных кластеров демонстрирует две тенденции изменений:

• Быстрый рост сетевого трафика, основной движущей силой которого является трафик с востока на запад. Согласно «Белой книге по развитию сети интеллектуальных вычислительных центров (2023 г.)», опубликованной Китайским исследовательским институтом мобильных технологий, интеллектуальные вычисления требуют большого количества параллельных вычислений. , генерируя объемы данных All Reduce (коллективная связь), достигающие сотен ГБ. В FiberMall считают, что на фоне распространения крупных моделей «война тысячи моделей» будет способствовать дальнейшему росту сетевого трафика. Между тем, доля трафика «восток-запад» (между серверами) значительно увеличилась, и, по прогнозу Cisco, текущая доля трафика «восток-запад» может достичь 80-90% сетевого трафика.
• Типичная сетевая архитектура переходит от трехуровневой древовидной архитектуры к многоядерной архитектуре, представленной архитектурой «позвоночник»: согласно общедоступной информации совместного тренинга NVIDIA и Inspur China по сети центров обработки данных NVIDIA нового поколения. продуктов, центры обработки данных в основном основывались на традиционной трехуровневой архитектуре с древовидной архитектурой, имеющей 2 ядра и постепенно сходящейся вверх, с основным направлением трафика север-юг. Трехуровневая сетевая архитектура состоит из уровня доступа, уровня агрегации и базового уровня. Уровень доступа напрямую подключается к пользователю, уровень агрегации соединяет уровень доступа и основной уровень, предоставляя такие услуги, как межсетевые экраны, SSL offзагрузка, обнаружение вторжений и сетевой анализ, а базовый уровень является высокоскоростной коммутационной магистралью сети. Из-за возросшего спроса на производительность связи в интеллектуальных вычислениях спрос на облачное обучение и выводы искусственного интеллекта стимулирует эволюцию сетевой архитектуры центров обработки данных в сторону многоуровневой, неконвергентной и более масштабируемой формы.

FiberMall считает, что общий рост трафика интеллектуальных вычислительных центров и эволюция сетевой архитектуры совместно приводят к увеличению спроса на соединение, что приводит к росту использования оптических модулей и повышению скорости.

Центры обработки данных NVIDIA используют архитектуру «толстого дерева» для построения неконвергентной сети, в которой трехуровневая сеть может соединять больше узлов, чем двухуровневая сеть. По сравнению с традиционной моделью «толстого дерева», модель «толстого дерева» NVIDIA для центров обработки данных использует большое количество высокопроизводительных коммутаторов для построения крупномасштабной неблокируемой сети и даже увеличивает количество портов восходящей связи, чтобы избежать потери пакетов и коллапса сети. больше похоже на архитектуру диффузионного типа. Что касается количества уровней, существуют двухуровневые и трехуровневые сетевые варианты, где трехуровневая сетевая архитектура может соединять больше узлов, чем двухуровневая архитектура, что позволяет соединять между собой больше микросхем AI, что подходит для обучение крупных моделей ИИ с большими параметрами.

DGX H100 SuperPOD предоставляет два варианта сетевого подключения:

• Принятие сетевого подхода, аналогичного A100 SuperPOD, с использованием сетевых карт CX-7 и коммутаторов InfiniBand для обеспечения межсерверных соединений. Согласно схематической диаграмме на веб-сайте NVIDIA, FiberMall предполагает, что каждый сервер H100 оснащен 8 однопортовыми интеллектуальными сетевыми картами 400G ConnectX-7, четырьмя сетевыми картами CX-7, интегрированными в один сетевой модуль, и двумя сетевыми модулями, подключаемыми к Переключатель InfiniBand с 2* 400G отчет о недоставке Каждый порт OSFP, т. е. сторона сетевой карты соответствует 4 оптическим модулям 800G OSFP, а для подключения сетевой карты к коммутатору первого уровня также требуется 4 оптических модуля 800G OSFP, всего 8 оптических модулей 800G OSFP для сети первого уровня. Из-за неконвергентных характеристик сети общая пропускная способность, соответствующая каждому уровню сетевой архитектуры InfiniBand с «толстым деревом», является постоянной, и, исходя из предположения, что соотношение карт ускорения искусственного интеллекта к сетевым картам составляет 1:1, FiberMall вычисляет, что соотношение оптических модулей OSFP H100 и 800G составляет 1:3 в трехуровневой сетевой архитектуре и 1:2 в двухуровневой архитектуре.

• Внедрение новой системы коммутации NVLink: экспортирование NVLink, используемого для высокоскоростного соединения графических процессоров внутри серверов, в кластер из 256 узлов с использованием NVLink четвертого поколения и NVSwitch третьего поколения для построения двухуровневой (L1 и L2) сети NVLink. , что обеспечивает прямое соединение и доступ к общей памяти до 32 узлов (256 графических процессоров). В этом сетевом решении NVLink графические процессоры и L1 NVSwitch (внутри шкафа) соединены между собой медными кабелями, а уровни NVSwitch L1 и L2 используют оптическое соединение, что приводит к потребности в 18 парах соединений 800G OSFP с более высоким соотношением от H100 до 800G OSFP по сравнению с первым сетевым вариантом. По оценкам FiberMall, в суперкомпьютере 256 DGX GH200 AI соотношение оптических модулей OSFP GH200 и 800G может еще больше увеличиться до 1:9, при этом основное предположение заключается в том, что соединение между каждым узлом (с 8 чипами GH200) и 3 L1 NVS внутри узел использует медные кабели, а 32 узла в DGX GH200 подключены к 36 L2 NVS через оптическое соединение, в результате чего получается 1,152 (32*36) пар соединений между L1 и L2, что соответствует 2,304 оптическим модулям 800G OSFP, значительное увеличение использования оптических модулей.

Стоит отметить, что для дальнейшего расширения кластера до размера более тысячи графических процессоров на основе взаимосвязанного SuperPOD с 256 графическими процессорами необходимо использовать InfiniBand Links для расширенной сети. Если взять в качестве примера кластер из 1024 графических процессоров, согласно веб-сайту NVIDIA, путем формирования двухуровневой сетевой архитектуры с помощью NDR InfiniBand Links можно соединить 4 кластера DGX H100 256 SuperPOD для достижения прямого соединения 1024 графических процессоров. FiberMall считает, что в сети InfiniBand за пределами SuperPOD использование 800G ОСФП Оптические модули по-прежнему можно оценить на основе предыдущего соотношения в двухуровневой архитектуре, т. е. соотношение графического процессора H100 и оптического модуля OSFP 800G составляет примерно 1:2.

На конференции GTC 2024 NVIDIA анонсировала GB200 NVL72, который состоит из 18 вычислительных узлов, 9 лотков NVLink Switch и 1 коммутатора Q3400-RA 4U InfiniBand. Каждый вычислительный узел состоит из 4 графических процессоров Blackwell и 2 процессоров, то есть GB200 NVL72 содержит 72 графических процессора. Каждый узел оснащен четырьмя сетевыми картами 4G ConnectX-800, а соотношение графических процессоров Blackwell и сетевых карт CX-8 остается 8:1. Это означает, что при использовании InfiniBand для серверных сетей искусственного интеллекта соотношение графических процессоров B-серии и оптических модулей 1T OSFP-XD будет оставаться в той же пропорции, что и в эпоху H1.6 (100:1 для двухуровневой сети, 2:1 для трехуровневой сети). -уровневая сеть).

Как упоминалось в предыдущем разделе, новые коммутаторы NVIDIA серии Quantum-X800, которые могут быть оснащены 144 портами 800G OSFP (что эквивалентно 72 портам 1.6T), позволяют создавать сети 1.6T. Их производительность значительно улучшена по сравнению с 64-портовыми коммутаторами предыдущего поколения, а количество поддерживаемых двухуровневыми коммутаторами Quantum-X800 кластеров в архитектуре fat-tree увеличилось до 10,368 1 узлов. Это говорит о том, что покрытие двухуровневой сети может быть расширено, и поэтому FiberMall консервативно принял соотношение 2:10,000 при анализе сценариев. Однако в FiberMall считают, что по мере того, как масштаб кластера графических процессоров продолжает расширяться, а спрос на межсетевые соединения на уровне XNUMX XNUMX карт и выше увеличивается, необходимое количество оптических модулей может еще больше вырасти.

Что касается сети NVLink, в одношкафном решении GB200 NVL72 вычислительные узлы внутри шкафа соединяются с коммутатором NVLink с помощью медных кабелей без необходимости преобразования оптико-электрического сигнала, что соответствует предыдущему соединению шкафа GH200. решение. Однако в некоторых сценариях высокопроизводительных вычислений с использованием искусственного интеллекта NVLink пятого поколения можно использовать для обеспечения высокоскоростного соединения до 8 систем NVL200 объемом 72 ГБ (576 графических процессоров Blackwell). При соединении шкафов GB200 NVL72 на основе NVLink для соединения «два на два» можно использовать медные соединения LACC, но для соединения нескольких шкафов, как указано в предыдущей сетевой архитектуре GH200, требуется дополнительный NVS уровня L2. Если между L1 и L2 NVS будет реализовано оптическое соединение, FiberMall ожидает, что соотношение оптических модулей и графических процессоров еще больше увеличится.

Согласно сайту NVIDIA, производительность GB200 значительно улучшена по сравнению с предыдущим поколением. По сравнению с вычислительным кластером из тех же 72 графических процессоров H100, GB200 может обеспечить примерно в 30 раз более высокую производительность при выводе больших моделей при 25-кратном снижении стоимости и энергопотребления. FiberMall ожидает, что доля поставок графических процессоров Blackwell в GB200 будет выше, чем у GH200 в серии Hopper. Таким образом, FiberMall полагает, что преимущество GB200 в производительности, вероятно, приведет к увеличению его доли в поставках, а сценарий подключения NVLink между несколькими шкафами в системе, как ожидается, по-прежнему будет способствовать росту соотношения оптических модулей по сравнению с одиночным. решение для подключения чипа. Ожидается, что сочетание этих двух факторов приведет к увеличению спроса на высокоскоростные оптические модули в вычислительной экосистеме нового поколения.

Факторы риска

1. Производственные мощности оптических чипов 200G EML не оправдывают ожиданий. Наличие мощностей по производству оптических чипов EML 200G может обеспечить поддержку основного сырья для зрелого развертывания оптических модулей 1.6T OSFP-XD. Предположим, что сроки производства или скорость наращивания оптических чипов 200G EML не оправдывают ожиданий. В этом случае это может задержать внедрение 1.6T в отрасли, что повлияет на объем поставок оптических модулей 1.6T OSFP-XD в 2025 году.
2. Спрос в отрасли искусственного интеллекта не оправдывает ожиданий. По мере того как цифровая и интеллектуальная трансформация общества продолжается, внедрение крупных моделей искусственного интеллекта ускоряется, расширяя возможности различных отраслей. FiberMall считает, что бурное развитие искусственного интеллекта приводит к устойчивому увеличению спроса на вычислительную мощность, что, в свою очередь, повышает спрос на оборудование искусственного интеллекта, такое как серверы, оптические модули и коммутаторы. Если развертывание крупных моделей или приложений ИИ не оправдает ожиданий или будет затруднен путь коммерциализации, это может отрицательно повлиять на интенсивность инвестиций и решимость участников отрасли ИИ, представленных ведущими поставщиками облачных услуг, в инфраструктуру, связанную с ИИ, что может повлиять на рост рынка и скорость итерации продуктов предшествующего аппаратного оборудования искусственного интеллекта.