Explorando os data centers da Internet: a evolução do DCN

Evolução da demanda da rede de data center (DCN)

A rede é um componente crucial da infraestrutura de TI, servindo como base que conecta todos os recursos da camada IaaS para fornecer serviços. Na era dos dados, o núcleo da computação em nuvem, do big data e da inteligência artificial são os próprios dados, com a rede atuando como a rodovia de alta velocidade que transporta o fluxo de dados.

As redes de data centers passaram por mudanças notáveis ​​na última década, evoluindo dos rigorosos e padronizados data centers do setor financeiro para as atuais empresas de Internet que lideram a onda tecnológica.

Hoje, com o rápido desenvolvimento de tecnologias nativas da nuvem, que abrangem mais de 200 projetos, o desenvolvimento, a implantação, a operação e a manutenção de aplicativos se transformaram. Uma infinidade de sistemas de aplicativos são criados usando tecnologias nativas da nuvem, com contêineres servindo como a menor unidade de carga de trabalho de negócios, caracterizada por agilidade, consistência e fortes recursos de replicação e escalabilidade. Clusters compostos por vários contêineres excedem em muito o número de VMs. Além disso, mecanismos de alocação de recursos mais refinados e estratégias de distribuição de confiabilidade levaram a uma comunicação e interação entre nós mais frequentes entre contêineres de negócios e vários componentes de sistemas distribuídos. Eles dependem de redes externas para fornecer encaminhamento confiável de ponta a ponta, aumentando a demanda por controle e visualização de tráfego.

Além disso, com a adoção generalizada de tecnologias de big data e de inteligência artificial, os sistemas baseados nestas, como motores de recomendação, pesquisa e reconhecimento de imagens, interação por voz e tradução automática, têm sido amplamente aplicados. Os big data e a IA tornaram-se ferramentas vitais para a gestão empresarial e a concorrência no mercado, com enormes quantidades de dados armazenados para análise e mineração. Desde o processamento de dados e treinamento de modelos (aprendizado de máquina/aprendizado profundo) até serviços online, cada etapa depende de computação poderosa e vastos dados, aumentando o consumo de recursos computacionais e de armazenamento. Isto levou à evolução da construção de data centers para grande e super grande escala, com a escala de rede que a acompanha também crescendo, tornando a automação da rede e a operação inteligente uma necessidade.

Por último, é importante mencionar o crescimento explosivo de vídeos longos e curtos, streaming ao vivo, VR/AR e outras mídias de streaming de vídeo nos últimos dois anos. Eles penetraram em vários campos, como notícias, educação, compras, socialização, viagens e entretenimento em jogos, com uma vasta base de usuários e alta duração de uso. Juntamente com a rápida proliferação de terminais 5G, as expectativas dos utilizadores por vídeos de alta qualidade e experiências de visualização de baixa latência continuam a aumentar, impulsionando ainda mais o consumo de largura de banda da rede.

Em resposta às novas tendências nos requisitos de negócios e ao rápido desenvolvimento da tecnologia de rede, a velocidade de iteração dos equipamentos de rede do data center também acelerou. Atualmente, interruptores de data center são atualizados com uma nova geração de produtos a cada dois anos, e cada nova geração offquase dobram o desempenho, maior rendimento, entradas de tabela maiores e mais recursos, com um posicionamento de função mais direcionado na rede.

Impulsionada pelo ambiente geral da indústria de placas de rede e módulos ópticos do lado do servidor, a largura de banda dos links de acesso ao data center evoluiu de 10G -> 25G -> 50G -> 100G -> 200G -> 400G, e a largura de banda do link de interconexão evoluiu de 40G -> 100G -> 200G -> 400G -> 800G. O cenário principal mudou de uma combinação de acesso 25G + interconexão 100G para a atual combinação de acesso 100G + interconexão 400G. Em cenários de GPU, o acesso evoluirá de 100G, 200G a 400G, 800G.

Considerando o contexto acima mencionado e olhando para a arquitectura de rede, a escolha da arquitectura de rede DCN é influenciada por muitos factores, tais como requisitos de negócio, condições tecnológicas actuais, custos de equipamento, custos de gestão e investimento em recursos humanos. Não existe uma arquitetura única que possa atender a todos os cenários e necessidades dos clientes; uma consideração abrangente e um equilíbrio devem ser feitos antes de fazer uma escolha.

Arquitetura Clos de duas camadas: adequada para data centers de pequeno e médio porte

A arquitetura Clos de duas camadas é uma das estruturas de rede mais antigas e mais amplamente aplicadas e continua sendo a escolha preferida de muitos clientes do setor até hoje. O equipamento de rede desempenha apenas duas funções, garantindo caminhos curtos de encaminhamento de dados, com acessibilidade entre folhas dentro de um salto, e offoferecendo forte consistência em caminhos e latência. A abordagem de acesso unificado facilita muito a implantação e o dimensionamento horizontal, como a implantação de protocolos BGP, controle de políticas, manutenção de rotina e solução de problemas. É particularmente adequado para pequenas e médias empresas com menos pessoal operacional.

A arquitetura Clos de duas camadas impõe altas demandas ao desempenho e à confiabilidade dos switches Spine, normalmente empregando produtos de switch central baseados em chassi de data center. Com encaminhamento de célula variável e mecanismos de agendamento VoQ, ele garante comutação estrita e sem bloqueio dentro dos dispositivos Spine, e a configuração de grandes caches distribuídos naturalmente se destaca no tratamento de rajadas de tráfego. Os switches principais baseados em chassi possuem planos de controle, planos de encaminhamento e sistemas de suporte independentes, e usam designs redundantes, tornando todo o sistema muito mais confiável do que os switches do tipo caixa.

A arquitetura Clos de duas camadas é mais madura em sua compatibilidade com soluções comerciais de controladores SDN. Combinado com um controlador SDN, ele pode construir rapidamente soluções de sobreposição de rede baseadas em EVPN, reduzindo a complexidade da implantação de cadeias de serviços leste-oeste e norte-sul e atendendo à demanda da rede por ligação completa de recursos de computação, como VMs, bare metal e contêineres, em cenários de nuvem.

Além disso, esta arquitetura também é adequada para grandes empresas que implementam salas de convergência e salas de borda em vários locais para construir redes de computação de ponta, aliviando a pressão da rede de backbone e reduzindo a latência de acesso.

Os Spines usam 2 ou 4 switches principais baseados em chassi e cada switch Leaf possui 4 uplinks. Garantindo uma taxa de convergência de 3:1 (10G Leaf com uplinks de 440G, downlinks de 4810G; 25G Leaf com uplinks de 4100G, downlinks de 4825G), a escala de servidor suportada (uplink duplo) pode atingir mais de 5000 e 10000, respectivamente.

Conforme visto na topologia, a escala de rede, ou capacidade de expansão horizontal, da arquitetura Clos de duas camadas é limitada pelo número total de portas fornecidas pelos dispositivos Spine (número de dispositivos * portas por dispositivo). Como o número de portas de uplink nos switches Leaf é fixo (geralmente 4-8), o número de switches da camada Spine também é limitado e não pode ser aumentado continuamente.

Arquitetura Clos de três camadas: adequada para data centers de grande e hiperescala

A escala de servidores suportada pela arquitetura Clos de duas camadas geralmente não excede 20,000 unidades. A introdução da arquitetura Clos de três camadas resolve o gargalo na escala da rede apresentado pela arquitetura de duas camadas. A arquitetura Clos de três camadas adiciona uma camada de switches de agregação (Pod Spine) entre as duas camadas existentes. Um grupo de switches Pod Spine, junto com todos os switches Leaf conectados, formam um Pod. Vários Pods são interconectados através dos switches da camada Spine para compor toda a rede. Aumentar o número de Pods permite o dimensionamento horizontal da rede, aumentando significativamente sua capacidade de expansão. Além disso, a implantação de serviços por unidade Pod offoferece maior flexibilidade na adaptação às diversas necessidades do negócio, prestando serviços diferenciados e garantindo o isolamento.

Dentro de cada Pod da arquitetura Clos de três camadas, o Pod Spine emprega quatro ou oito switches tipo caixa 100G de alta densidade. Metade das portas do Pod Spine são usadas para conectar-se para cima ao Spine, e a outra metade para conectar-se para baixo aos switches Leaf. Cada switch Leaf possui quatro ou oito uplinks. Os cenários típicos são os seguintes:

Cenário A: O Pod Spine usa quatro switches tipo caixa 64G de 100 portas (S9820-64H). Cada switch Leaf possui quatro uplinks. Com uma convergência 3:1 dentro do Pod (25G Leaf com uplinks de 4100G, downlinks de 4825G), um único Pod pode suportar uma escala de servidor de 768 unidades com uplinks duplos.

Cenário B: O Pod Spine usa oito switches tipo caixa 128G de 100 portas (S9820-8C). Cada switch Leaf possui oito uplinks. Com uma convergência de 1.5:1 dentro do Pod (25G Leaf com uplinks de 8100G, downlinks de 4825G), um único Pod pode suportar uma escala de servidor de 1536 unidades com uplinks duplos. Com uma convergência 1:1 (25G Leaf com uplinks de 8100G, downlinks de 3225G), um único Pod pode suportar uma escala de servidor de 1024 unidades com uplinks duplos.

A introdução do switch de agregação de alta densidade Pod Spine permitiu que os switches centrais do tipo rack da camada Spine excedessem as limitações, permitindo a implantação de dezenas de unidades. O número total de portas fornecidas pelos switches centrais do tipo rack da camada Spine pode ser usado para conectar dezenas de Pods, permitindo que toda a rede suporte uma escala de servidor de mais de 100,000 unidades.

Além disso, ajustando a proporção de portas de uplink e downlink nos switches Pod Spine, é possível definir com flexibilidade a taxa de convergência para cada Pod. Isso não apenas atende às diferentes necessidades do negócio, mas também ajuda a reduzir custos e evitar desperdícios desnecessários.

Arquitetura Clos multicamadas: adequada para data centers de grande e hiperescala

A arquitetura de rede multiplano baseada em dispositivos do tipo caixa é a arquitetura mais recente adotada pelas principais empresas de Internet para a construção de redes de data centers em grande e hiperescala. Esta arquitetura originou-se do F4. As duas gerações de switches usados ​​para construir essa rede, o 6-pack e o Backpack, foram baseados em um design multichip (12 chips), o que tornou o gerenciamento e a implantação inconvenientes e caros. Com a evolução de F4 para F16, graças à melhoria nas capacidades do chip, o switch Minipack usado para construir o F16 adotou um design de chip único, reduzindo significativamente o consumo de energia, o custo e as barreiras técnicas. A solução tornou-se mais madura e, desde então, esta arquitetura foi introduzida por empresas de internet na China.

Os artigos “Introduzindo o Data Center Fabric, a próxima geração da rede de data centers do Facebook” e “Reinventando a rede de data centers do Facebook” fornecem explicações detalhadas dessa arquitetura. Em comparação com a arquitetura Clos de três camadas, a arquitetura de rede multiplano baseada em dispositivos do tipo caixa substitui os switches do tipo rack da camada Spine por switches do tipo caixa, portanto, todas as camadas da rede são compostas por switches do tipo caixa. Em termos de conectividade de dispositivos, ao contrário da arquitetura Clos de três camadas, onde cada Pod Spine precisa estar totalmente integrado a todos os switches da camada Spine, a nova arquitetura divide os switches da camada Spine em vários grupos (o número de grupos corresponde ao número de Pod Spine muda em cada Pod). Cada grupo de switches Spine forma um plano (como mostrado na figura, a camada Spine é dividida em 8 planos, diferenciados por cores diferentes), e cada switch Pod Spine só precisa ser totalmente mesclado com os switches Spine no plano correspondente. Isso permite que toda a camada Spine conecte mais Pods, construindo um data center em hiperescala que oferece suporte a centenas de milhares de servidores. Além disso, à medida que o desempenho dos switches tipo caixa melhora, esta arquitetura pode continuar a expandir sua capacidade.

Um switch de chassi central S12516X-AF com uma placa de serviço 48G de 100 portas totalmente equipada, juntamente com seis switches de caixa S9820-8C com 128 portas de 100G cada, podem fornecer o mesmo número de 100G portos (768 no total). No entanto, optar pela solução box switch offoferece vantagens significativas de custo, consumo de energia e dissipação de calor. Ele também elimina os requisitos especiais de espaço no gabinete e distribuição de energia exigidos pelos switches de chassi centrais tradicionais.

Como tanto o Spine quanto o Pod Spine utilizam equipamentos idênticos com funcionalidade consistente e atraso de encaminhamento, isso facilita o desenvolvimento de novos recursos e a implantação contínua de aplicativos em toda a rede. Além disso, a rede pode fazer uma transição suave de rede 100G para 200G, 400Ge futuras redes de alta velocidade sincronizadas. Além disso, devido ao design de chip único, toda a camada Spine construída com switches de caixa exibe latência de encaminhamento significativamente menor em comparação ao uso de dispositivos de chassi, reduzindo ainda mais a latência de acesso entre Pods.

No entanto, esta arquitetura introduz novos desafios. A quantidade de dispositivos da camada Spine é significativamente maior do que quando se usam switches de chassi, e a confiabilidade individual dos switches de caixa é menor do que a dos switches de chassi principais, representando desafios substanciais para o gerenciamento de rede e para as operações diárias. As plataformas de gestão de apoio, os sistemas de monitorização e muito mais devem ser adaptáveis ​​a estas mudanças. Isto exige requisitos elevados para as equipes de operações de rede, incluindo divisão de pessoal refinada, ampla experiência operacional, habilidades técnicas robustas, capacidades de desenvolvimento de plataforma e controle geral de rede para mitigar e reduzir o impacto de falhas de equipamentos e de rede nas operações comerciais.

As três arquiteturas de rede DCN mais típicas foram apresentadas acima. O gerenciamento eficaz dessas redes requer a utilização de tecnologia de visualização de rede. A tecnologia de visualização de rede não só permite o monitoramento de tráfego ponta a ponta e alertas de risco, além de auxiliar na solução de problemas, mas também, por meio do acúmulo e análise de dados, pode orientar e otimizar o projeto da arquitetura de rede dos data centers (como modelos, taxas de convergência, e escalas POD), tornando-se uma ferramenta técnica crucial.

A tecnologia de visualização de rede está se tornando cada vez mais proativa, eficiente e inteligente. Por exemplo, a utilização do gRPC permite a coleta em tempo real e de alta precisão de várias informações dos dispositivos. INT ou Telemetry Stream pode ser usado para obter o caminho e a latência da transmissão de dados de negócios na rede. O TCB permite o monitoramento de MMUs de dispositivos para capturar tempo de perda de pacotes na fila, motivos e pacotes descartados. O MOD pode detectar perdas de pacotes que ocorrem durante processos internos de encaminhamento de dispositivos e capturar os motivos da perda de pacotes e as características dos pacotes descartados. O Packet Trace permite uma análise aprofundada da lógica de encaminhamento, simulando o encaminhamento de pacotes dentro de chips para identificar as causas principais dos problemas.

No futuro, as NICs inteligentes desempenharão um papel significativo nas redes DCN. NICs inteligentes com recursos programáveis ​​não apenas liberam recursos da CPU e alcançam encaminhamento de alto desempenho, mas também offfunções mais avançadas, como encapsulamento/descapsulação de túnel, comutação virtual, criptografia/descriptografia, RDMA, etc. Com o aumento dos cenários e demandas de negócios, mais funções de plano de dados serão gerenciadas por NICs inteligentes, quebrando as limitações das implementações baseadas em servidor ou switch. Essa mudança visa alcançar um equilíbrio perfeito entre desempenho, funcionalidade e flexibilidade. NICs inteligentes substituirão os switches Leaf na extremidade mais distante das redes DCN. Consequentemente, a arquitetura de rede, a implantação de protocolos, a tecnologia de visualização, etc., mudarão com a introdução de NICs inteligentes, facilitando a otimização de desempenho de ponta a ponta e a garantia de serviço, a detecção e o monitoramento de ponta a ponta e a aplicação de novas tecnologias. como SRv6. As futuras redes DCN avançarão para fornecer serviços de rede mais estáveis, eficientes e flexíveis para empresas cada vez mais diversificadas da camada superior.