La acelerada industria de la IA impulsa la demanda de OSFP-XD de 1.6T

La demanda de hardware de IA está en auge y se espera que se acelere el envío de chips informáticos. Basado en la investigación de FiberMall sobre la cadena de la industria de la potencia informática, FiberMall pronostica que el envío de chips de las series H y B de NVIDIA alcanzará los 3.56 millones y 350,000 unidades respectivamente en 2024. En 2025, con la entrega adicional del GB200, el total Se espera que el envío de GPU de la serie B alcance los 2.5 millones de unidades. Además, FiberMall espera que la implementación de TPU de Google y MI300 de AMD también continúe, todo lo cual impulsará el aumento sincronizado de módulos ópticos 800G OSFP y 1.6T OSFP-XD a nivel de red.

Con una evolución positiva en la cadena industrial, se espera que la demanda de 1.6T supere las expectativas. En OFC 2024, varios expositores mostraron los últimos productos de módulos ópticos OSFP-XD de 1.6T. Anteriormente, el nuevo chip Blackwell AI de NVIDIA anunciado en la conferencia GTC planteó mayores requisitos de interconectividad, y los conmutadores de la serie X800 permiten la construcción de redes de 1.6T. Mientras tanto, la cadena industrial de módulos ópticos ascendentes también se está implementando gradualmente: Marvell espera que su DSP de 1.6T con un solo canal de 200G se implemente para fines de 2024, y Broadcom afirma que 200G EML está listo para la producción en masa. FiberMall cree que la cadena industrial de 1.6 T, tanto ascendente como descendente, está acelerando su madurez. En términos de implementación, FiberMall espera que en la segunda mitad de 2024, los módulos ópticos OSFP-XD de 1.6T probablemente se implementen en coordinación con la producción en masa de los chips de la serie B de NVIDIA, logrando inicialmente un aumento a pequeña escala y luego viendo un despliegue a gran escala en 2025. Tecnológicamente, FiberMall cree que EML monomodo seguirá siendo la corriente principal en la era 1.6T, al mismo tiempo que es optimista sobre el rápido crecimiento de la tasa de penetración de nuevas soluciones tecnológicas como la fotónica de silicio y la lineal. -accionamiento de ópticas enchufables (LPO).

En términos de demanda, FiberMall prevé que en 2025:

1) La demanda de los 1 o 2 principales clientes extranjeros migrará rápidamente de 800G OSFP a 1.6T, lo que provocará un rápido aumento de los módulos ópticos OSFP-XD de 1.6T;

2) Si bien la demanda de OSFP de 800G de algunos clientes puede disminuir debido a la migración a velocidades más altas, la demanda de otro grupo de clientes pasará de OSFP de 400G a OSFP de 800G, brindando cierto soporte para la demanda general de OSFP de 800G.

El análisis de escenario de FiberMall sobre el envío total de 1.6T en 2025 se basa en dos variables principales: 1) la prosperidad general de la adquisición de hardware de IA (envío de GPU serie B de 2 a 3 millones de unidades); 2) El cronograma de madurez de la red 1.6T (la proporción de GPU de la serie B combinada con soluciones de red 1.6T es del 70% al 90%). El análisis indica que el envío total de 1.6T OSFP-XD Los módulos ópticos en 2025 serán de 3.6 a 5.95 millones de unidades, con el escenario neutral en 4.7 millones de unidades, lo que es más alto que las expectativas actuales del mercado.

Análisis de escenario sobre la demanda de módulos ópticos OSFP-XD de 1.6T

FiberMall ha realizado un análisis exhaustivo, teniendo en cuenta el envío previsto de chips de IA como NVIDIA, TPU y MI300, la correlación entre los módulos ópticos y los chips de IA, así como la elección de las configuraciones de velocidad de los módulos ópticos. El análisis indica que la demanda de módulos ópticos OSFP de 800G y OSFP-XD de 1.6T en 2025 puede alcanzar los 7.91 millones y 4.7 millones de unidades, respectivamente. Los supuestos clave son los siguientes:

• Previsión de envío de chips de IA: en la conferencia GTC 2024, NVIDIA anunció sus GPU en la nube de la serie B de primera generación basadas en la arquitectura Blackwell, así como el nuevo superchip de arquitectura CPU + GPU GB200 y la correspondiente unidad informática GB200 NVL72, que puede Proporciona rendimiento 1E Flops de nivel de supercomputación en un solo gabinete, logrando una mejora del rendimiento desde el chip al sistema. Además de las GPU de uso general, FiberMall espera que la implementación de TPU de Google y MI300 de AMD también continúe, impulsando la demanda de configuraciones de módulos ópticos 800G OSFP/1.6T OSFP-XD.
• Estimación de la correlación entre módulos ópticos y chips de IA: bajo la arquitectura de red de árbol grueso InfiniBand, debido a las características de la red no convergente, el ancho de banda total en cada capa de red es consistente. Partiendo del supuesto de que la proporción de tarjetas de aceleración de IA y tarjetas de red es de 1:1, FiberMall calcula que la proporción de módulos ópticos H100 a 800G OSFP es de 1:3 en una arquitectura de red de tres capas y de 1:2 en una de dos capas. arquitectura de capas. En la conferencia GTC 2024, NVIDIA anunció los conmutadores de la serie X800, entre los cuales el conmutador Q3400-RA 4U basado en el protocolo InfiniBand tiene 144 puertos OSFP 800G, que se pueden asignar de manera equivalente a 72 puertos 1.6T. FiberMall cree que el rendimiento de los conmutadores de la serie Quantum-X800 con 144 puertos ha mejorado significativamente en comparación con la serie QM9700 de la generación anterior con 64 puertos, y la cantidad de clústeres admitidos por los conmutadores Quantum-X800 de dos capas en la arquitectura de árbol grueso ha aumentado. Desde una perspectiva relativamente conservadora, FiberMall predice la demanda efectiva de módulos ópticos basándose en una proporción de 1:2 de GPU de la serie B a módulos ópticos OSFP-XD de 1.6T.
• Elección de configuraciones de velocidad del módulo óptico: en general, FiberMall espera que los proveedores de nube o los fabricantes de IA tiendan a priorizar la configuración de redes de mayor velocidad para maximizar el rendimiento informático de sus clústeres. Sin embargo, considerando que el ecosistema de hardware de 1.6T aún no está completamente maduro en 2024, FiberMall predice que los clientes pueden adoptar principalmente velocidades OSFP de 800G al implementar redes a pequeña escala con los chips de la serie B de NVIDIA este año, y la configuración de 1.6T combinada con B. Se espera que los chips de la serie 2025T se conviertan en la solución principal para 1.6 a medida que madure la cadena industrial de 2025 T. En la etapa actual, la industria no tiene una guía clara de pedidos sobre el envío total de GPU de la serie B en 5, y el pronóstico del envío de chips de la serie B también está sujeto a varias variables, como el cronograma de lanzamiento de GPT-2024. , el despliegue de nuevos modelos o aplicaciones de IA a gran escala y la exploración de la viabilidad comercial de la IA. Estos factores afectarán la adquisición general de hardware de IA por parte de los principales proveedores de nube y otros participantes de la industria de la IA. FiberMall ha observado que las expectativas del mercado para el gasto de capital de los cuatro principales proveedores de nube de América del Norte en 2025 se revisaron al alza durante el año pasado, y estas empresas han declarado públicamente que continuarán aumentando su inversión en infraestructura de IA, lo que refleja la El progreso sostenido de la industria de la IA y la expansión de la demanda de hardware subyacente. FiberMall cree que el gasto de capital de las empresas líderes en hardware de IA en XNUMX seguirá estando influenciado por los cambios en la industria de la IA.

FiberMall ha realizado un análisis de escenario sobre el envío total de módulos ópticos OSFP-XD de 1.6T en 2025, utilizando dos variables principales: 1) La prosperidad general de la adquisición de hardware de IA (envío de GPU serie B de 2 a 3 millones de unidades); 2) El cronograma de madurez de la red de 1.6T (la proporción de GPU de la serie B combinada con soluciones de red de 1.6T es del 70% al 90%, siendo el resto 800G OSFP).

Considerando como variables la prosperidad de la demanda de la industria de la IA y el cronograma de madurez comercial de las tecnologías clave del puerto óptico de 1.6T, el análisis de escenarios de FiberMall indica que se espera que el envío total de módulos ópticos OSFP-XD de 1.6T en 2025 esté en el rango de 3.6-5.95 millones de unidades, con un nivel general de gama superior a las expectativas actuales del mercado. La nueva generación de clústeres informáticos mantiene una gran demanda de módulos ópticos de alta velocidad y la prosperidad de la cadena industrial resuena hacia arriba.

Bajo la ola de desarrollo de la IA, la nueva generación de clústeres informáticos está mostrando dos tendencias de cambio:

• Rápido crecimiento del tráfico de red, con el tráfico de este a oeste como principal impulsor: según el “Libro blanco sobre la evolución de la red de centros de computación inteligente (2023)” publicado por el Instituto de Investigación Móvil de China, la computación inteligente requiere una gran cantidad de computación paralela , generando volúmenes de datos All Reduce (comunicación colectiva) que alcanzan cientos de GB. FiberMall cree que en el contexto de la proliferación de modelos grandes, la "guerra de los mil modelos" impulsará aún más el crecimiento del tráfico de la red. Mientras tanto, la proporción de tráfico este-oeste (entre servidores) ha aumentado significativamente y, según el pronóstico de Cisco, la proporción actual de tráfico este-oeste puede haber alcanzado el 80-90% del tráfico de la red.
• La arquitectura de red típica está pasando de la arquitectura en forma de árbol de tres capas a la arquitectura de múltiples núcleos representada por la arquitectura de hoja espinal: según la información pública de la capacitación conjunta de NVIDIA e Inspur China sobre la red de centros de datos de nueva generación de NVIDIA productos, los centros de datos se basaban principalmente en la arquitectura tradicional de tres capas, con una arquitectura en forma de árbol, con 2 núcleos y convergiendo gradualmente hacia arriba, con el tráfico norte-sur como dirección principal. La arquitectura de red de tres capas consta de la capa de acceso, la capa de agregación y la capa central. La capa de acceso se conecta directamente con el usuario, la capa de agregación conecta la capa de acceso y la capa central, proporcionando servicios como firewalls, SSL offcarga, detección de intrusiones y análisis de red, y la capa central es la columna vertebral de conmutación de alta velocidad de la red. Debido a la mayor demanda de rendimiento de comunicación en la informática inteligente, la demanda de entrenamiento e inferencia de IA en la nube está impulsando la evolución de la arquitectura de red del centro de datos hacia una forma multicapa, no convergente y más escalable.

FiberMall cree que el crecimiento general del tráfico del centro de computación inteligente y la evolución de la arquitectura de la red impulsan conjuntamente el aumento de la demanda de conexión, lo que lleva al crecimiento del uso de módulos ópticos y a las actualizaciones de velocidad.

Los centros de datos de NVIDIA utilizan una arquitectura de árbol grueso para construir una red no convergente, donde la red de tres capas puede conectar más nodos que la red de dos capas. En comparación con el modelo tradicional de árbol gordo, el modelo de árbol gordo del centro de datos de NVIDIA utiliza una gran cantidad de conmutadores de alto rendimiento para construir una red sin bloqueo a gran escala e incluso aumenta los puertos de enlace ascendente para evitar la pérdida de paquetes y el colapso de la red. más similar a una arquitectura de tipo difusión. En términos del número de capas, existen opciones de red de dos y tres capas, donde la arquitectura de red de tres capas puede conectar más nodos que la arquitectura de dos capas, lo que permite interconectar más chips de IA, adecuados para la entrenamiento de modelos grandes de IA con parámetros más grandes.

El DGX H100 SuperPOD ofrece dos opciones de red:

• Adoptar un enfoque de red similar al A100 SuperPOD, utilizando tarjetas de red CX-7 y conmutadores InfiniBand para lograr conexiones entre servidores. Según el diagrama esquemático en el sitio web de NVIDIA, FiberMall supone que cada servidor H100 está configurado con 8 tarjetas de red inteligentes de puerto único ConnectX-400 7G, con cuatro tarjetas de red CX-7 integradas en un módulo de red y dos módulos de red conectados al Conmutador InfiniBand con 2 * 400G NDR Cada puerto OSFP, es decir, el lado de la tarjeta de red corresponde a 4 módulos ópticos OSFP de 800G, y la conexión de la tarjeta de red al conmutador de primera capa también requiere 4 módulos ópticos OSFP de 800G, con un total de 8 módulos ópticos OSFP de 800G para la red de primera capa. Debido a las características de la red no convergente, el ancho de banda total correspondiente a cada capa en la arquitectura de red de árbol grueso InfiniBand es consistente y, basándose en el supuesto de que la relación entre las tarjetas de aceleración de IA y las tarjetas de red es 1:1, FiberMall calcula que la proporción de módulos ópticos OSFP H100 a 800G es de 1:3 en una arquitectura de red de tres capas y de 1:2 en una arquitectura de dos capas.

• Adopción del nuevo sistema de conmutación NVLink: externalización del NVLink utilizado para la interconexión de GPU de alta velocidad dentro de los servidores a un clúster de 256 nodos, utilizando el NVLink de cuarta generación y el NVSwitch de tercera generación para construir una red NVLink de dos capas (L1 y L2). , lo que permite la interconexión directa y el acceso a memoria compartida de hasta 32 nodos (256 GPU). En esta solución de red NVLink, las GPU y el NVSwitch L1 (dentro del gabinete) están interconectados mediante cables de cobre, mientras que las capas NVSwitch L1 y L2 usan interconexión óptica, lo que genera una demanda de 18 pares de conexiones OSFP de 800G, con una relación más alta. de H100 a 800G OSFP en comparación con la primera opción de red. En la supercomputadora AI 256 DGX GH200, FiberMall estima que la proporción de módulos ópticos GH200 a 800G OSFP puede aumentar aún más a 1:9, con la suposición central de que la interconexión entre cada nodo (con 8 chips GH200) y los 3 NVS L1 dentro el nodo utiliza cables de cobre, y los 32 nodos en el DGX GH200 están conectados a los 36 NVS L2 a través de interconexión óptica, lo que resulta en 1,152 (32*36) pares de conexiones entre L1 y L2, correspondientes a 2,304 módulos ópticos OSFP 800G, un aumento significativo en el uso de módulos ópticos.

Vale la pena señalar que para expandir aún más el clúster a una escala de más de mil GPU basadas en el SuperPOD interconectado de 256 GPU, es necesario utilizar InfiniBand Links para redes extendidas. Tomando como ejemplo un clúster de 1024 GPU, según el sitio web de NVIDIA, al formar una arquitectura de red de dos capas a través de NDR InfiniBand Links, se pueden conectar 4 clústeres DGX H100 256 SuperPOD para lograr la interconexión directa de 1024 GPU. FiberMall cree que en la red InfiniBand fuera del SuperPOD, el uso de 800G OSFP Los módulos ópticos todavía se pueden estimar basándose en la relación de proporción anterior en la arquitectura de dos capas, es decir, la proporción entre la GPU H100 y el módulo óptico OSFP 800G es aproximadamente 1:2.

En la conferencia GTC 2024, NVIDIA anunció el GB200 NVL72, que consta de 18 nodos informáticos, 9 bandejas de conmutador NVLink y 1 conmutador InfiniBand Q3400-RA 4U. Cada nodo informático está compuesto por 4 GPU Blackwell y 2 CPU, lo que significa que el GB200 NVL72 contiene 72 GPU. Cada nodo está configurado con 4 tarjetas de red ConnectX-800 de 8G y la proporción entre GPU Blackwell y tarjetas de red CX-8 sigue siendo de 1:1. Esto implica que cuando se utiliza InfiniBand para redes backend de IA, la proporción de GPU de la serie B a módulos ópticos OSFP-XD de 1.6T continuará en la misma proporción que en la era H100 (1:2 para redes de dos capas, 1:3 para redes de tres). -redes de capa).

Como se mencionó en la sección anterior, los nuevos conmutadores de la serie Quantum-X800 de NVIDIA, que se pueden configurar con 144 puertos OSFP de 800G (equivalentes a 72 puertos de 1.6T), permiten la construcción de redes de 1.6T. Su rendimiento ha mejorado significativamente en comparación con los conmutadores de 64 puertos de la generación anterior, y la cantidad de clústeres admitidos por los conmutadores Quantum-X800 de dos capas en la arquitectura fat-tree ha aumentado a 10,368 nodos. Esto sugiere que la cobertura de la red de dos capas puede ampliarse y, por lo tanto, FiberMall ha adoptado de manera conservadora una proporción de 1:2 en el análisis del escenario. Sin embargo, FiberMall cree que a medida que la escala del clúster de GPU continúa expandiéndose y aumenta la demanda de interconexión a nivel de 10,000 tarjetas y superiores, la cantidad requerida de módulos ópticos puede crecer aún más.

En términos de red NVLink, en la solución de gabinete único GB200 NVL72, los nodos informáticos dentro del gabinete están interconectados con el conmutador NVLink mediante cables de cobre, sin la necesidad de conversión de señal óptica-eléctrica, lo cual es consistente con la interconexión del gabinete GH200 anterior. solución. Sin embargo, en ciertos escenarios informáticos de IA de alto rendimiento, el NVLink de quinta generación se puede utilizar para lograr una interconexión de alta velocidad de hasta 8 sistemas GB200 NVL72 (576 GPU Blackwell). Al interconectar gabinetes GB200 NVL72 basados ​​en NVLink, la interconexión de dos por dos puede usar conexiones de cobre LACC, pero para la interconexión de múltiples gabinetes, como se menciona en la arquitectura de red GH200 anterior, se requiere un NVS de capa L2 adicional. Si se adopta la interconexión óptica entre los NVS L1 y L2, FiberMall espera que la proporción de módulos ópticos y GPU aumente aún más.

Según el sitio web de NVIDIA, el rendimiento del GB200 ha mejorado significativamente en comparación con la generación anterior. En comparación con un clúster informático de las mismas 72 GPU H100, el GB200 puede alcanzar un rendimiento aproximadamente 30 veces mayor para la inferencia de modelos grandes, con una reducción de 25 veces en costo y consumo de energía. FiberMall espera que la proporción de envíos de GPU Blackwell en GB200 sea mayor que la de la GH200 de la serie Hopper. En resumen, FiberMall cree que la ventaja de rendimiento del GB200 probablemente conducirá a un aumento en su participación en los envíos, y aún se espera que el escenario de conexión NVLink en múltiples gabinetes del sistema promueva el crecimiento de la proporción de módulos ópticos en comparación con el modelo de un solo gabinete. Solución de conexión de chips. Se espera que la combinación de estos dos factores impulse una mayor demanda de módulos ópticos de alta velocidad en el ecosistema informático de nueva generación.

Factores de riesgo

1. La capacidad de producción de chips ópticos EML de 200G no cumple con las expectativas. La disponibilidad de capacidad de producción de chips ópticos EML de 200G puede proporcionar soporte de materia prima central ascendente para la implementación madura de módulos ópticos OSFP-XD de 1.6T. Supongamos que el cronograma de producción o la velocidad de aumento de los chips ópticos EML de 200G no cumplen con las expectativas. En ese caso, podría retrasar el despliegue industrial de 1.6T, lo que afectaría el volumen de envío de módulos ópticos OSFP-XD de 1.6T en 2025.
2. La demanda de la industria de la IA no está a la altura de las expectativas. A medida que continúa la transformación digital e inteligente de la sociedad, el despliegue de grandes modelos de IA se está acelerando para potenciar diversas industrias. FiberMall cree que el próspero desarrollo de la inteligencia artificial está impulsando el aumento sostenido de la demanda de potencia informática, lo que a su vez impulsa la demanda de hardware de IA, como servidores, módulos ópticos y conmutadores. Si el despliegue de grandes modelos o aplicaciones de IA no cumple con las expectativas, o el camino de comercialización se ve obstaculizado, puede afectar negativamente la intensidad de la inversión y la determinación de los participantes de la industria de la IA, representados por los principales proveedores de la nube, en infraestructura relacionada con la IA, lo que podría afectar el crecimiento del mercado y la velocidad de iteración de productos de los equipos de hardware de IA ascendentes.