O que é o Consórcio Ultra Ethernet (UEC)?

O Consórcio Ultra Ethernet (UEC) foi offoficialmente criada em 19 de julho de 2023. É uma nova organização patrocinada pela Linux Foundation e sua Joint Development Foundation. A UEC pretende ir além dos recursos Ethernet existentes, como acesso remoto direto à memória (RDMA) e RDMA sobre Ethernet convergente (RoCE), para fornecer uma camada de transporte distribuída e sem perdas de alto desempenho, otimizada para computação de alto desempenho e inteligência artificial. Ele mira diretamente no protocolo de transmissão InfiniBand de seu rival.

Consórcio Ultra Ethernet

Os membros fundadores da UEC incluem AMD, Arista, Broadcom, Cisco, Eviden, HPE, Intel, Meta e Microsoft, todos com décadas de experiência em implantação em larga escala de redes, inteligência artificial, nuvem e computação de alto desempenho.

Membros fundadores

Por que a Ethernet precisa do UEC?

Como o UEC difere da Ethernet atual?

A inteligência artificial e a computação de alto desempenho trazem novos desafios às redes, como a necessidade de maior escala, maior densidade de largura de banda, multipercurso, resposta rápida ao congestionamento e interdependência na execução de fluxos de dados individuais (onde a latência final é um ponto-chave para considerar). A especificação UEC foi projetada para preencher essas lacunas e fornecer redes em maior escala necessárias para essas cargas de trabalho. O UEC tem como objetivo uma pilha completa de comunicações que resolve problemas técnicos em diversas camadas de protocolo e fornece funcionalidades fáceis de configurar e gerenciar.

Como o UEC difere de outros protocolos atuais?

Os protocolos existentes podem abordar alguns aspectos dos problemas acima (como o gerenciamento de congestionamento legado), mas, como são projetados para redes gerais, carecem de recursos críticos para a inteligência artificial e a computação de alto desempenho, como multicaminhos e configuração fácil. Os protocolos existentes também podem ser vulneráveis ​​em cenários relevantes. Com a rica experiência dos membros da UEC na implantação de inteligência artificial e em cargas de trabalho de computação de alto desempenho, a UEC fornecerá uma solução atraente e abrangente que traz novos produtos de hardware e software não disponíveis atualmente com Ethernet ou qualquer outra tecnologia de rede.

O que a UEC planeja fazer?

A UEC fornecerá uma arquitetura de pilha de comunicações completa aberta, interoperável e de alto desempenho baseada em Ethernet para atender às crescentes necessidades de rede de inteligência artificial em larga escala e computação de alto desempenho. Da camada física à camada de software, a UEC planeja fazer alterações em múltiplas camadas da pilha Ethernet. “Não se trata de revolucionar a Ethernet”, disse o presidente da UEC, Dr. J Metz. “Trata-se de ajustar a Ethernet para torná-la mais eficiente para cargas de trabalho com requisitos específicos de desempenho. Estamos analisando cada camada, desde a física até a de software, para encontrar as melhores maneiras de melhorar a eficiência e o desempenho em escala.” Metz observou que hoje não faltam padrões de rede e organizações para Ethernet e, embora o IEEE tenha assumido um papel importante, a UEC concentra-se em mais do que a camada de transporte físico na qual o IEEE normalmente se concentra. O objetivo da UEC é estudar todos os elementos necessários para melhorar a Ethernet e depois trabalhar com organizações de padronização e grupos técnicos relevantes para implementar essas melhorias. O Consórcio trabalhará para manter e promover a interoperabilidade Ethernet, minimizando ao mesmo tempo as alterações na pilha de comunicações. O objetivo técnico do UEC é desenvolver especificações, APIs e código-fonte para definir:

• Protocolos, características de sinais elétricos e ópticos, interfaces de programas aplicativos/estruturas de dados para comunicações Ethernet.

• Protocolos de transporte de rede em nível de link e ponta a ponta que estendem ou substituem protocolos de link e transporte existentes.

• Congestionamento, telemetria e mecanismos de sinalização em nível de link e de ponta a ponta são adequados para inteligência artificial, aprendizado de máquina e ambientes de computação de alto desempenho.

• Arquitetura de software, armazenamento, gerenciamento e segurança para oferecer suporte a uma variedade de cargas de trabalho e ambientes operacionais.

Transmissão RDMA vs. UEC

Para melhorar a Ethernet, a UEC propôs o protocolo de transmissão UEC. Metz disse que o transporte UEC está sendo desenvolvido para fornecer melhor transporte Ethernet do que o atual RDM (que ainda oferece suporte a RDMA), mantendo as vantagens da Ethernet/IP e, ao mesmo tempo, oferecendo o desempenho necessário para aplicações de IA e HPC. O transporte UEC é uma nova forma próxima à camada de transporte com algum ajuste semântico e protocolo de notificação de congestionamento e recursos de segurança aprimorados. O UEC fornecerá transporte mais flexível que não requer rede sem perdas, permitindo recursos como transporte de pacotes multicaminho e fora de ordem, necessários para cargas de trabalho de IA muitos para muitos. Protocolo de transmissão UEC:

• Uma especificação de protocolo aberto projetada desde o início para ser executada em IP e Ethernet

• Com transmissão multipath e spray de pacotes, utilizando totalmente a rede de IA sem causar congestionamento ou bloqueio de linha, sem a necessidade de algoritmos centralizados de balanceamento de carga e controladores de roteamento

• Mecanismo de gerenciamento de incast para controlar o fan-in no link final para o host de destino com perda mínima de pacotes

• Algoritmo de controle de taxa eficiente permite que a transmissão aumente rapidamente para a velocidade da linha sem incorrer na perda de desempenho de fluxos concorrentes

• API para entrega de pacotes fora de ordem com a opção de completar mensagens em ordem, maximizando a simultaneidade de rede e aplicativos e minimizando a latência das mensagens

• Rede futura escalável com suporte para 1,000,000 de endpoints

• Desempenho e utilização ideal da rede sem a necessidade de ajuste específico da rede e da carga de trabalho dos parâmetros do algoritmo de congestionamento

• Projetado para permitir o desempenho da taxa de transferência para 800G, 1.6T e futura Ethernet mais rápida em hardware comum

O caminho a seguir para a UEC

Olhando para o futuro, espera-se que as cargas de trabalho e as necessidades de rede da IA ​​e da computação de alto desempenho se sobreponham cada vez mais. Levando em consideração as diferentes sensibilidades à largura de banda e à latência, a especificação UEC fornecerá dois perfis – um otimizado para IA e outro otimizado para HPC.

Garantir a interoperabilidade através de testes de plug-in e testes de conformidade será um foco futuro, disse Uri Elzur, Presidente do Comitê Consultivo Técnico da UEC. O objetivo da UEC é garantir a sua abertura e interoperabilidade. O rascunho da especificação UEC será lançado em breve e estará aberto para uso.