InfiniBand vs. Ethernet: A batalha entre Broadcom e NVIDIA pela dominância da escalabilidade horizontal em IA

A batalha central nas interconexões de computação de alto desempenho

O Ethernet está prestes a recuperar seu status de tecnologia dominante em data centers de grande escala, enquanto o InfiniBand continua a manter um forte impulso nos setores de computação de alto desempenho (HPC) e treinamento de IA. Broadcom e NVIDIA estão competindo acirradamente pela liderança do mercado.

À medida que os modelos de inteligência artificial crescem exponencialmente em tamanho, a escalabilidade dos data centers passou de arquiteturas tradicionais de escalonamento vertical (sistema único) para arquiteturas massivas de escalonamento horizontal, envolvendo dezenas de milhares de nós interconectados. O mercado de redes de escalonamento horizontal é atualmente dominado por duas tecnologias concorrentes:

• InfiniBandLíder de longa data em desempenho, impulsionada pela subsidiária da NVIDIA, Mellanox, utiliza o protocolo RDMA nativo para oferecer latência ultrabaixa (menos de 2 microssegundos) e zero perda de pacotes.
• EthernetCom forte apoio da Broadcom e de outras empresas, beneficia de um ecossistema aberto e de um custo significativamente menor.

Em junho de 2025, o Ethernet lançou um poderoso contra-ataque. O Consórcio Ultra Ethernet (UEC) lançou oficialmente a especificação UEC 1.0, que reconstrói completamente a pilha de protocolos de rede e atinge desempenho comparável ao InfiniBand. Com múltiplas vantagens, espera-se que o Ethernet expanda gradualmente sua participação de mercado. Essa mudança tecnológica está remodelando todo o cenário competitivo do mercado de redes escaláveis.

Principais campos de batalha na expansão horizontal: vantagens do InfiniBand versus contraofensiva do Ethernet

A arquitetura InfiniBand de escalabilidade horizontal, amplamente utilizada, oferece suporte nativo ao Acesso Direto à Memória Remota (RDMA). Seu princípio de funcionamento é o seguinte:

• Durante a transferência de dados, o controlador DMA envia dados para uma placa de interface de rede compatível com RDMA (RNIC).
• A RNIC encapsula os dados e os transmite diretamente para a RNIC receptora.
• Como esse processo ignora completamente a CPU — diferentemente do TCP/IP tradicional — o InfiniBand atinge uma latência extremamente baixa (<2 µs).

Além disso, o InfiniBand emprega controle de fluxo baseado em crédito (CBFC) na camada de enlace, garantindo que os dados sejam transmitidos somente quando o receptor tiver espaço de buffer disponível, garantindo assim zero perda de pacotes.

O RDMA nativo requer switches InfiniBand para funcionar corretamente. Durante muitos anos, esses switches foram dominados pela divisão Mellanox da NVIDIA, resultando em um ecossistema relativamente fechado com custos de aquisição e manutenção mais elevados — os custos de hardware são aproximadamente três vezes maiores do que os de switches Ethernet equivalentes.

Graças ao seu ecossistema aberto, inúmeros fornecedores, opções de implementação flexíveis e custos de hardware mais baixos, o Ethernet tem gradualmente conquistado ampla adoção.

Para integrar os recursos RDMA ao Ethernet, a InfiniBand Trade Association (IBTA) introduziu o RDMA sobre Ethernet Convergida (RoCE) em 2010:

• RoCE v1Simplesmente adicionamos um cabeçalho Ethernet na camada de enlace, restringindo a comunicação à mesma sub-rede da camada 2 e impedindo a transmissão através de roteadores ou sub-redes diferentes.
• RoCE v2 (Lançado em 2014): Substituiu o cabeçalho de roteamento global (GRH) do InfiniBand na camada 3 por cabeçalhos IP/UDP. Essa alteração permite que switches e roteadores Ethernet padrão reconheçam e encaminhem pacotes RoCE, possibilitando a transmissão entre sub-redes e roteadores e melhorando drasticamente a flexibilidade de implantação.

No entanto, a latência do RoCE v2 permanece ligeiramente superior à do RDMA nativo (~5 µs) e requer mecanismos adicionais, como o Controle de Fluxo Prioritário (PFC) e a Notificação Explícita de Congestionamento (ECN), para reduzir o risco de perda de pacotes.

O quadro comparativo no documento original destaca as principais diferenças entre a tecnologia InfiniBand e a tecnologia RoCE aberta:

• O InfiniBand utiliza uma pilha de protocolos fechada e totalmente proprietária para alcançar a menor latência possível.
• O RoCE v1 simula a arquitetura InfiniBand sobre Ethernet, mas está confinado à mesma sub-rede de camada 2.
• O RoCE v2 utiliza a camada de rede IP, suporta comunicação entre sub-redes e oferece a maior compatibilidade com a infraestrutura de data center Ethernet existente.

O InfiniBand mantém vantagens inerentes em termos de latência ultrabaixa e zero perda de pacotes, tornando-o a escolha preferida nos atuais centros de dados de IA. No entanto, seus custos mais elevados de hardware e manutenção, combinados com opções limitadas de fornecedores, estão impulsionando uma mudança gradual para arquiteturas baseadas em Ethernet.

Impulsionada pela demanda explosiva de data centers com IA e por considerações de custo/ecossistema, a NVIDIA entrou com força no mercado de Ethernet. Além de seus próprios switches da série InfiniBand Quantum, a NVIDIA agora oferece os produtos Ethernet da série Spectrum.

Em 2025:

• Quantum-X800: 800 Gbps/porta × 144 portas = 115.2 Tbps no total
• Spectrum-X800: 800 Gbps/porta × 64 portas = 51.2 Tbps no total
• As versões CPO (Co-Packaged Optics) do Quantum-X800 e do Spectrum-X800 estão previstas para o segundo semestre de 2025 e o segundo semestre de 2026, respectivamente.

Embora os switches Spectrum tenham preços mais altos do que os switches Ethernet concorrentes, o ponto forte da NVIDIA reside na profunda integração entre hardware e software (por exemplo, com as DPUs BlueField-3 e a plataforma DOCA 2.0), permitindo um roteamento adaptativo altamente eficiente.

Corrida de custos e implantação de CPO para switches: Ethernet na liderança, InfiniBand logo atrás.

No campo do Ethernet, a Broadcom tem mantido consistentemente a liderança técnica em silício para switches Ethernet. Sua série Tomahawk segue o princípio de "dobrar a largura de banda total aproximadamente a cada dois anos".

Em 2025, a Broadcom lançou o Tomahawk 6 — o chip de switch com a maior largura de banda do mundo na época — com capacidade total de 102.4 Tbps, suportando 64 portas de 1.6 Tbps. O Tomahawk 6 também oferece suporte nativo ao protocolo Ultra Ethernet Consortium (UEC) 1.0, implementando multi-path packet spraying, Link-Layer Retry (LLR) e Credit-Based Flow Control (CBFC), reduzindo ainda mais a latência e o risco de perda de pacotes.

A Broadcom também lidera na tecnologia de óptica co-embalada (CPO):

• 2022: Versão Tomahawk 4 Humboldt CPO
• 2024: Tomahawk 5 Bailly
• 2025: Tomahawk 6 Davisson

Em comparação com o Tomahawk 6 de 102.4 Tbps da Broadcom, lançado em 2025, a NVIDIA não deve lançar seu Spectrum-X1600 de 102.4 Tbps antes do segundo semestre de 2026 — aproximadamente um ano depois. A versão CPO do Spectrum-X Photonics de 102.4 Tbps da NVIDIA também está prevista para o segundo semestre de 2026.

Além do duelo Broadcom-NVIDIA:

• A Marvell lançou o Teralynx 10 de 51.2 Tbps em 2023.
• A Cisco lançou a série Silicon One G200 de 51.2 Tbps em 2023, juntamente com protótipos CPO.

As interconexões elétricas atingem seu limite; a integração óptica torna-se o foco.

As interconexões elétricas tradicionais baseadas em cobre estão atingindo seus limites físicos. À medida que as distâncias de transmissão aumentam, as interconexões de fibra óptica demonstram vantagens claras em cenários de expansão: menor perda, maior largura de banda, maior resistência à interferência eletromagnética e maior alcance.

As soluções ópticas atuais utilizam principalmente transceptores plugáveis, atingindo 200 Gbps em uma única via e 1.6 Tbps no total (8×200 Gbps).

Com o aumento da velocidade, o consumo de energia e a perda de sinal nas placas de circuito impresso (PCBs) tornam-se críticos. A fotônica de silício (SiPh) foi desenvolvida para solucionar esses problemas, integrando minúsculos componentes transceptores diretamente no silício, formando circuitos integrados fotônicos (PICs). Estes são então encapsulados dentro do chip, encurtando os caminhos elétricos e substituindo-os por caminhos ópticos — isso é conhecido como óptica encapsulada (CPO).

O conceito mais amplo de CPO engloba múltiplas formas: Óptica Integrada (OBO), Óptica Co-Embalada (CPO) e E/S Óptica (OIO).

A embalagem do motor óptico (OE) está se aproximando cada vez mais do ASIC principal:

• OBO: OE em PCB (atualmente raramente usado)
• CPO estreito: OE no substrato (corrente principal) → potência <0.5× plugável (~5 pJ/bit), latência <0.1× (~10 ns)
• OIO: OE no intermediário (direção futura) → potência <0.1× (<1 pJ/bit), latência <0.05× (~5 ns)

A tecnologia CPO ainda enfrenta desafios em gerenciamento térmico, colagem e acoplamento. À medida que a comunicação óptica se aproxima de seus limites, os avanços na CPO e na fotônica de silício determinarão o próximo cenário competitivo.

O grupo Ethernet se mobiliza: UEC promove o padrão UEC 1.0

Como mencionado anteriormente, o InfiniBand conquistou uma participação significativa no início da IA ​​generativa graças à sua latência ultrabaixa. No entanto, o Ethernet — o ecossistema de rede de alto desempenho dominante — também está empenhado em alcançar uma latência semelhante.

O Ultra Ethernet Consortium (UEC) foi fundado em agosto de 2023 com membros iniciais, incluindo AMD, Arista, Broadcom, Cisco, Eviden, HPE, Intel, Meta e Microsoft. Ao contrário do ecossistema InfiniBand dominado pela NVIDIA, o UEC enfatiza padrões abertos e interoperabilidade para evitar a dependência de um único fornecedor.

Em junho de 2025, a UEC lançou a UEC 1.0 — não apenas um aprimoramento do RoCE v2, mas uma reconstrução completa de todas as camadas (software, transporte, rede, enlace e física).

As principais melhorias na redução da latência incluem a subcamada de entrega de pacotes (PDS) na camada de transporte, que apresenta:

• Transmissão por múltiplos caminhos com custos e velocidades iguais (faixas/trilhos).
• As placas de rede usam entropia para distribuir os pacotes por todos os caminhos, maximizando a largura de banda.

Essa estrutura de múltiplas camadas permite uma recuperação de rede ultrarrápida e roteamento adaptativo próximo ao InfiniBand.

Para minimizar a perda de pacotes, o UEC 1.0 introduz dois mecanismos principais:

• Retransmissão opcional na camada de enlace (LLR): solicitação rápida de retransmissão local em caso de perda de pacotes, reduzindo a dependência do PFC.
• Controle de Fluxo Baseado em Crédito (CBFC) opcional: o remetente deve obter créditos do destinatário antes de transmitir, alcançando um comportamento verdadeiramente sem perdas, idêntico ao CBFC do InfiniBand.

Desenvolvimento em larga escala da China: coordenando padrões internacionais com inovação independente.

A arquitetura de expansão horizontal da infraestrutura de IA da China está evoluindo com base nos princípios da autonomia e da compatibilidade internacional. Embora sigam os padrões globais de Ethernet, as principais empresas nacionais estão investindo fortemente em arquiteturas próprias, formando gradualmente sistemas de expansão horizontal com características tipicamente chinesas.

Alibaba, Baidu, Huawei, Tencent e muitas outras empresas se uniram à UEC para desenvolver em conjunto o padrão. Simultaneamente, elas estão desenvolvendo, de forma independente, estruturas de interconexão escaláveis ​​que visam baixa latência e zero perda de pacotes, utilizando o InfiniBand como referência direta.

Arquiteturas indígenas notáveis:

• China Mobile – GSE (General Scheduling Ethernet)Lançado antes do UEC em maio de 2023, o GSE 1.0 otimiza o RoCE existente por meio de balanceamento de carga em nível de porta e reconhecimento de congestionamento de endpoints. O GSE 2.0 é uma reconstrução completa da pilha de protocolos com pulverização de múltiplos caminhos e controle de fluxo DGSQ.
• Alibaba Cloud – Rede de Alto Desempenho (HPN)A HPN 7.0 utiliza um design de "uplink duplo + múltiplas vias + plano duplo". A próxima geração, HPN 8.0, contará com chips de comutação 800G de 102.4 Tbps totalmente desenvolvidos internamente.
• Huawei – Interconexão UB-MeshImplementado em plataformas Ascend NPU usando topologia de malha completa nD multidimensional, suportando tanto escalonamento vertical quanto escalonamento horizontal em dimensões 3D+.

Com a participação da ZTE, Accelink e outras empresas, a China está construindo rapidamente uma cadeia de suprimentos completa para módulos ópticos e fotônica de silício no mercado interno.

Data Centers de IA de Próxima Geração: Transformação Tecnológica e Oportunidades

Durante muitos anos, o InfiniBand da NVIDIA dominou os mercados de IA de escalabilidade horizontal com latência inferior a 2 µs e zero perda de pacotes. No entanto, com o lançamento do UEC 1.0 em junho de 2025, o Ethernet está rapidamente reduzindo a diferença em latência e confiabilidade, ao mesmo tempo que recupera a competitividade. A Broadcom continua seu ciclo de dois anos de duplicação da largura de banda, avançando incansavelmente no desempenho do hardware Ethernet.

À medida que as taxas atingem 1.6 Tbps e além, a potência e a latência dos dispositivos ópticos plugáveis ​​tornam-se gargalos, fazendo com que a tecnologia CPO se torne o padrão do futuro. A Broadcom lidera a implementação da CPO desde 2022; a NVIDIA planeja lançar a CPO InfiniBand no segundo semestre de 2025.

Com a maturidade das tecnologias Ethernet e CPO, as redes de data centers de IA estão migrando completamente para interconexões ópticas de alta velocidade, criando enormes oportunidades para transceptores ópticos e cadeias de suprimentos upstream (chips de fotônica de silício, lasers, módulos de fibra).

No domínio da expansão horizontal:

• A NVIDIA deverá continuar liderando o segmento tradicional de InfiniBand.
• A Broadcom está preparada para manter sua posição dominante no mercado Ethernet por meio de ASICs de alta largura de banda superiores, liderança em CPO e implementação de UEC.

Em agosto de 2025, tanto a NVIDIA quanto a Broadcom revelaram os conceitos de "Scale-Across" para estender a conectividade por vários data centers — o próximo paradigma em redes de alto desempenho.