A aceleração da indústria de IA impulsiona a demanda por OSFP-XD 1.6T

A procura por hardware de IA está a crescer e espera-se que o envio de chips de computação acelere. Com base na pesquisa da FiberMall sobre a cadeia da indústria de energia de computação, a FiberMall prevê que a remessa de chips das séries H e B da NVIDIA atingirá 3.56 milhões e 350,000 unidades, respectivamente, em 2024. Em 2025, com a entrega adicional do GB200, o total espera-se que as remessas de GPUs da série B cheguem a 2.5 milhões de unidades. Além disso, a FiberMall espera que a implantação do TPU do Google e do MI300 da AMD também continue, os quais impulsionarão o aumento sincronizado dos módulos ópticos 800G OSFP e 1.6T OSFP-XD no nível da rede.

Com desenvolvimentos positivos na cadeia industrial, espera-se que a procura por 1.6T exceda as expectativas. Na OFC 2024, vários expositores apresentaram os mais recentes produtos de módulo óptico 1.6T OSFP-XD. Anteriormente, o novo chip Blackwell AI da NVIDIA anunciado na conferência GTC aumentou os requisitos de interconectividade, e os switches da série X800 permitem a construção de redes 1.6T. Enquanto isso, a cadeia upstream da indústria de módulos ópticos também está gradualmente em vigor, com a Marvell esperando que seu DSP 1.6T com um único canal de 200G seja implantado até o final de 2024, e a Broadcom afirmando que o 200G EML está pronto para produção em massa. FiberMall acredita que a cadeia da indústria 1.6T, tanto upstream quanto downstream, está acelerando sua maturidade. Em termos de implantação, a FiberMall espera que, no segundo semestre de 2024, os módulos ópticos OSFP-XD de 1.6T provavelmente sejam implantados em coordenação com a produção em massa dos chips da série B da NVIDIA, inicialmente alcançando um aumento em pequena escala e, em seguida, vendo implantação em grande escala em 2025. Tecnologicamente, FiberMall acredita que o modo único EML ainda será o mainstream na era 1.6T, ao mesmo tempo que está otimista sobre o rápido crescimento da taxa de penetração de novas soluções tecnológicas, como fotônica de silício e linear -unidade óptica plugável (LPO).

Em termos de demanda, a FiberMall prevê que em 2025:

1) A demanda dos 1-2 principais clientes estrangeiros migrará rapidamente de 800G OSFP para 1.6T, levando a um rápido aumento de módulos ópticos OSFP-XD de 1.6T;

2) Embora a demanda de 800G OSFP de alguns clientes possa diminuir devido à migração para velocidades mais altas, a demanda de outro grupo de clientes mudará de 400G OSFP para 800G OSFP, fornecendo certo suporte para a demanda geral de 800G OSFP.

A análise de cenário da FiberMall sobre a remessa total de 1.6T em 2025 é baseada em duas variáveis ​​principais: 1) A prosperidade geral da aquisição de hardware de IA (remessa de GPU da série B de 2 a 3 milhões de unidades); 2) O cronograma de maturidade da rede 1.6T (a proporção de GPU da série B emparelhada com soluções de rede 1.6T é de 70% a 90%). A análise indica que a remessa total de 1.6T OSFP-XD os módulos ópticos em 2025 serão de 3.6-5.95 milhões de unidades, com o cenário neutro em 4.7 milhões de unidades, o que é superior às expectativas atuais do mercado.

Análise de cenário sob demanda para módulos ópticos OSFP-XD 1.6T

FiberMall conduziu uma análise abrangente, levando em consideração o envio previsto de chips de IA como NVIDIA, TPU e MI300, a correlação entre módulos ópticos e chips de IA, bem como a escolha das configurações de velocidade dos módulos ópticos. A análise indica que a demanda por módulos ópticos 800G OSFP e 1.6T OSFP-XD em 2025 pode atingir 7.91 milhões e 4.7 milhões de unidades, respectivamente. As principais suposições são as seguintes:

• Previsão de envio de chips AI: Na conferência GTC 2024, a NVIDIA anunciou suas GPUs em nuvem da série B de primeira geração baseadas na arquitetura Blackwell, bem como o novo superchip de arquitetura GB200 CPU + GPU e a unidade de computação GB200 NVL72 correspondente, que pode fornecem desempenho de Flops 1E de nível de supercomputação em um único gabinete, alcançando uma atualização de desempenho do chip ao sistema. Além das GPUs de uso geral, a FiberMall espera que a implantação do TPU do Google e do MI300 da AMD também continue, impulsionando a demanda por configurações de módulos ópticos 800G OSFP/1.6T OSFP-XD.
• Estimativa da correlação entre módulos ópticos e chips de IA: Na arquitetura de rede InfiniBand fat-tree, devido às características de rede não convergentes, a largura de banda total em cada camada de rede é consistente. Com base na suposição de que a proporção de placas de aceleração de IA para placas de rede é de 1:1, o FiberMall calcula que a proporção de módulos ópticos H100 para 800G OSFP é de 1:3 em uma arquitetura de rede de três camadas e 1:2 em uma arquitetura de duas camadas. arquitetura de camadas. Na conferência GTC 2024, a NVIDIA anunciou os switches da série X800, entre os quais o switch Q3400-RA 4U baseado no protocolo InfiniBand possui 144 portas 800G OSFP, que podem ser alocadas equivalentemente como 72 portas 1.6T. FiberMall acredita que o desempenho dos switches da série Quantum-X800 com 144 portas é significativamente melhorado em comparação com a geração anterior da série QM9700 com 64 portas e o número de clusters suportados pelos switches Quantum-X800 de duas camadas na arquitetura fat-tree aumentou. De uma perspectiva relativamente conservadora, FiberMall prevê a demanda efetiva por módulos ópticos com base em uma proporção de 1:2 de GPUs da série B para módulos ópticos OSFP-XD de 1.6T.
• Escolha de configurações de velocidade do módulo óptico: Em geral, a FiberMall espera que os provedores de nuvem ou fabricantes de IA tenderão a priorizar a configuração de redes de maior velocidade para maximizar o desempenho computacional de seus clusters. No entanto, considerando que o ecossistema de hardware 1.6T ainda não está totalmente maduro em 2024, a FiberMall prevê que os clientes podem adotar principalmente velocidades OSFP de 800G ao implantar redes de pequena escala com chips da série B da NVIDIA este ano, e a configuração 1.6T emparelhada com B Espera-se que os chips da série 2025 se tornem a solução principal até 1.6, à medida que a cadeia da indústria 2025T amadurece. No estágio atual, a indústria não tem uma orientação clara para pedidos sobre a remessa total de GPUs da série B em 5, e a previsão de remessa de chips da série B também está sujeita a várias variáveis, como o cronograma de lançamento do GPT-2024 , a implantação de novos grandes modelos ou aplicações de IA e a exploração da viabilidade comercial da IA. Esses fatores afetarão a aquisição geral de hardware de IA pelos principais provedores de nuvem e outros participantes da indústria de IA. FiberMall observou que as expectativas do mercado para as despesas de capital dos quatro principais provedores de nuvem norte-americanos em 2025 foram revisadas para cima no ano passado, e essas empresas declararam publicamente que continuarão a aumentar seus investimentos em infraestrutura de IA, refletindo o progresso sustentado da indústria de IA e a expansão da procura subjacente de hardware. FiberMall acredita que as despesas de capital das empresas líderes em hardware de IA em XNUMX continuarão a ser influenciadas pelas mudanças na indústria de IA.

FiberMall conduziu uma análise de cenário sobre a remessa total de módulos ópticos OSFP-XD de 1.6T em 2025, usando duas variáveis ​​principais: 1) A prosperidade geral da aquisição de hardware de IA (remessa de GPU da série B de 2 a 3 milhões de unidades); 2) O cronograma de maturidade da rede 1.6T (a proporção de GPU da série B emparelhada com soluções de rede 1.6T é de 70% a 90%, sendo o restante 800G OSFP).

Considerando a prosperidade da demanda da indústria de IA e o cronograma de maturidade comercial das principais tecnologias da porta óptica 1.6T como variáveis, a análise de cenário da FiberMall indica que a remessa total de módulos ópticos OSFP-XD 1.6T em 2025 deverá estar na faixa de 3.6-5.95 milhões de unidades, com o nível geral da gama superior às expectativas atuais do mercado. A nova geração de clusters de computação mantém uma alta demanda por módulos ópticos de alta velocidade, e a prosperidade da cadeia industrial ressoa para cima.

Sob a onda de desenvolvimento da IA, a nova geração de clusters de computação apresenta duas tendências de mudança:

• Rápido crescimento do tráfego de rede, com o tráfego leste-oeste como principal impulsionador: De acordo com o “Livro Branco sobre a Evolução da Rede de Centros de Computação Inteligente (2023)” publicado pelo China Mobile Research Institute, a computação inteligente requer uma grande quantidade de computação paralela , gerando volumes de dados All Reduce (comunicação coletiva) que chegam a centenas de GB. FiberMall acredita que, tendo como pano de fundo a proliferação de grandes modelos, a “guerra dos mil modelos” impulsionará ainda mais o crescimento do tráfego de rede. Enquanto isso, a proporção de tráfego leste-oeste (entre servidores) aumentou significativamente e, de acordo com a previsão da Cisco, a atual proporção de tráfego leste-oeste pode ter atingido 80-90% do tráfego de rede.
• A arquitetura de rede típica está em transição da arquitetura semelhante a uma árvore de três camadas para a arquitetura multi-core representada pela arquitetura de folha espinhal: De acordo com as informações públicas do treinamento conjunto da NVIDIA e da Inspur China na rede de data center de nova geração da NVIDIA produtos, os data centers baseavam-se principalmente na arquitetura tradicional de três camadas, com uma arquitetura em árvore, possuindo 2 núcleos e convergindo gradativamente para cima, tendo o tráfego norte-sul como direção principal. A arquitetura de rede de três camadas consiste na camada de acesso, na camada de agregação e na camada central. A camada de acesso se conecta diretamente ao usuário, a camada de agregação conecta a camada de acesso e a camada central, fornecendo serviços como firewalls, SSL offcarregamento, detecção de intrusão e análise de rede, e a camada central é a espinha dorsal de comutação de alta velocidade da rede. Devido à crescente demanda por desempenho de comunicação na computação inteligente, a demanda por treinamento e inferência em nuvem de IA está impulsionando a evolução da arquitetura de rede do data center em direção a uma forma multicamadas, não convergente e mais escalável.

FiberMall acredita que o crescimento geral do tráfego do centro de computação inteligente e a evolução da arquitetura de rede impulsionam conjuntamente o aumento na demanda de conexão, levando ao crescimento no uso de módulos ópticos e atualizações de velocidade.

Os data centers da NVIDIA usam uma arquitetura de árvore gorda para construir uma rede não convergente, onde a rede de três camadas pode conectar mais nós do que a rede de duas camadas. Comparado ao modelo tradicional de árvore gorda, o modelo de árvore gorda de data center da NVIDIA usa um grande número de switches de alto desempenho para construir uma rede sem bloqueio em grande escala e até aumenta as portas de uplink para evitar perda de pacotes e colapso da rede, mais semelhante a uma arquitetura do tipo difusão. Em termos do número de camadas, existem opções de rede de duas e três camadas, onde a arquitetura de rede de três camadas pode conectar mais nós do que a arquitetura de duas camadas, permitindo que mais chips de IA sejam interconectados, adequados para o treinamento de grandes modelos de IA com parâmetros maiores.

O DGX H100 SuperPOD oferece duas opções de rede:

• Adotando uma abordagem de rede semelhante ao A100 SuperPOD, usando placas de rede CX-7 e switches InfiniBand para obter conexões entre servidores. De acordo com o diagrama esquemático no site da NVIDIA, FiberMall assume que cada servidor H100 está configurado com 8 placas de rede inteligentes de porta única 400G ConnectX-7, com quatro placas de rede CX-7 integradas em um módulo de rede e dois módulos de rede conectados ao Interruptor InfiniBand com 2 * 400G NDR Portas OSFP cada, ou seja, o lado da placa de rede corresponde a 4 módulos ópticos 800G OSFP, e a conexão da placa de rede ao switch de primeira camada também requer 4 módulos ópticos 800G OSFP, totalizando 8 módulos ópticos 800G OSFP para a rede de primeira camada. Devido às características de rede não convergentes, a largura de banda total correspondente a cada camada na arquitetura de rede de árvore gorda InfiniBand é consistente e, com base na suposição de que a proporção de placas de aceleração de IA para placas de rede é de 1:1, o FiberMall calcula que a proporção de módulos ópticos H100 para 800G OSFP é de 1:3 em uma arquitetura de rede de três camadas e 1:2 em uma arquitetura de duas camadas.

• Adotando o novo sistema de comutação NVLink: externalizando o NVLink usado para interconexão de GPU de alta velocidade dentro dos servidores para um cluster de 256 nós, usando o NVLink de quarta geração e o NVSwitch de terceira geração para construir uma rede NVLink de duas camadas (L1 e L2) , permitindo interconexão direta e acesso à memória compartilhada de até 32 nós (256 GPUs). Nesta solução de rede NVLink, as GPUs e o NVSwitch L1 (dentro do gabinete) são interconectados por meio de cabos de cobre, enquanto as camadas NVSwitch L1 e L2 utilizam interconexão óptica, resultando em uma demanda por 18 pares de conexões OSFP 800G, com uma proporção maior. de H100 a 800G OSFP em comparação com a primeira opção de rede. No supercomputador 256 DGX GH200 AI, a FiberMall estima que a proporção de módulos ópticos GH200 para 800G OSFP pode aumentar ainda mais para 1:9, com a suposição básica de que a interconexão entre cada nó (com 8 chips GH200) e os 3 NVS L1 dentro o nó usa cabos de cobre, e os 32 nós do DGX GH200 são conectados aos 36 NVS L2 por meio de interconexão óptica, resultando em 1,152 (32*36) pares de conexões entre L1 e L2, correspondendo a 2,304 módulos ópticos 800G OSFP, um aumento significativo no uso de módulos ópticos.

Vale a pena notar que para expandir ainda mais o cluster para uma escala de mais de mil GPUs baseadas no SuperPOD interconectado de 256 GPUs, os links InfiniBand precisam ser usados ​​para redes estendidas. Tomando como exemplo um cluster de 1024 GPUs, de acordo com o site da NVIDIA, ao formar uma arquitetura de rede de folha espinhal de duas camadas por meio de links NDR InfiniBand, 4 clusters DGX H100 256 SuperPOD podem ser conectados para obter a interconexão direta de 1024 GPUs. FiberMall acredita que na rede InfiniBand fora do SuperPOD, o uso de OSFP 800G os módulos ópticos ainda podem ser estimados com base na relação de proporção anterior na arquitetura de duas camadas, ou seja, a proporção da GPU H100 para o módulo óptico 800G OSFP é de aproximadamente 1:2.

Na conferência GTC 2024, a NVIDIA anunciou o GB200 NVL72, que consiste em 18 nós de computação, 9 bandejas de switch NVLink e 1 switch InfiniBand Q3400-RA 4U. Cada nó de computação é composto por 4 GPUs Blackwell e 2 CPUs, o que significa que o GB200 NVL72 contém 72 GPUs. Cada nó é configurado com 4 placas de rede 800G ConnectX-8, e a proporção de GPUs Blackwell para placas de rede CX-8 permanece de 1:1. Isso implica que, ao usar o InfiniBand para redes de back-end de IA, a proporção de GPUs da série B para módulos ópticos OSFP-XD de 1.6T continuará na mesma proporção da era H100 (1:2 para redes de duas camadas, 1:3 para três rede de camada).

Conforme mencionado na seção anterior, os novos switches da série Quantum-X800 da NVIDIA, que podem ser configurados com 144 portas 800G OSFP (equivalente a 72 portas 1.6T), permitem a construção de redes 1.6T. Seu desempenho foi significativamente melhorado em comparação com os switches de 64 portas da geração anterior, e o número de clusters suportados pelos switches Quantum-X800 de duas camadas na arquitetura fat-tree aumentou para 10,368 nós. Isto sugere que a cobertura da rede de duas camadas pode ser expandida e, portanto, a FiberMall adotou de forma conservadora uma proporção de 1:2 na análise de cenário. No entanto, FiberMall acredita que à medida que a escala do cluster de GPU continua a se expandir e a demanda por interconexão no nível de 10,000 placas e acima aumenta, o número necessário de módulos ópticos pode crescer ainda mais.

Em termos de rede NVLink, na solução de gabinete único GB200 NVL72, os nós de computação dentro do gabinete são interconectados ao Switch NVLink usando cabos de cobre, sem a necessidade de conversão de sinal óptico-elétrico, o que é consistente com a interconexão de gabinete GH200 anterior solução. No entanto, em certos cenários de computação de IA de alto desempenho, o NVLink de quinta geração pode ser usado para obter interconexão de alta velocidade de sistemas NVL8 de até 200 GB72 (576 GPUs Blackwell). Ao interconectar gabinetes GB200 NVL72 baseados em NVLink, a interconexão dois por dois pode usar conexões de cobre LACC, mas para interconexão de vários gabinetes, conforme referenciado na arquitetura de rede GH200 anterior, é necessário um NVS de camada L2 adicional. Se a interconexão óptica for adotada entre o NVS L1 e L2, a FiberMall espera que a proporção de módulos ópticos para GPUs aumente ainda mais.

De acordo com o site da NVIDIA, o desempenho do GB200 foi significativamente melhorado em comparação com a geração anterior. Comparado a um cluster de computação das mesmas 72 GPUs H100, o GB200 pode atingir desempenho aproximadamente 30 vezes maior para inferência de modelos grandes, com uma redução de 25 vezes no custo e no consumo de energia. FiberMall espera que a parcela de remessas de GPUs Blackwell no GB200 seja maior do que a do GH200 na série Hopper. Em resumo, a FiberMall acredita que a vantagem de desempenho do GB200 provavelmente levará a um aumento em sua parcela de remessas, e ainda se espera que o cenário de conexão NVLink em vários gabinetes no sistema promova o crescimento da proporção do módulo óptico em comparação com o single- solução de conexão de chip. Espera-se que a combinação desses dois fatores impulsione o aumento da demanda por módulos ópticos de alta velocidade no ecossistema de computação de nova geração.

Fatores de Risco

1. A capacidade de produção de chips ópticos EML 200G fica aquém das expectativas. A disponibilidade da capacidade de produção de chips ópticos EML 200G pode fornecer suporte de matéria-prima central upstream para a implantação madura de módulos ópticos OSFP-XD de 1.6T. Suponha que o cronograma de produção ou a velocidade de aumento dos chips ópticos EML 200G fiquem aquém das expectativas. Nesse caso, isso pode atrasar a implantação de 1.6T na indústria, impactando o volume de remessas de módulos ópticos OSFP-XD de 1.6T em 2025.
2. A demanda da indústria de IA fica aquém das expectativas. À medida que a transformação digital e inteligente da sociedade continua, a implantação de grandes modelos de IA está a acelerar para capacitar várias indústrias. FiberMall acredita que o próspero desenvolvimento da inteligência artificial está impulsionando o aumento sustentado na demanda por energia computacional, o que por sua vez aumenta a demanda por hardware de IA, como servidores, módulos ópticos e switches. Se a implantação de grandes modelos ou aplicações de IA ficar aquém das expectativas, ou se o caminho de comercialização for prejudicado, isso poderá afetar negativamente a intensidade e a determinação do investimento dos participantes da indústria de IA, representados pelos principais fornecedores de nuvem, em infraestruturas relacionadas com a IA, o que poderá afetar o crescimento do mercado e a velocidade de iteração do produto de equipamentos de hardware de IA upstream.