O que há de tão especial no InfiniBand?

InfiniBand, como tecnologia de rede nativa de RDMA (Remote Direct Memory Access), é preferida e usada por muitos clientes. Mas que outras vantagens exclusivas o InfiniBand tem em comparação com o ROCE (RDMA over Converged Ethernet), Ethernet sem perdas, que também é compatível e suporta o protocolo RDMA?

Os “crentes originais” do SDN tradicional: Torne a rede eficiente e simples

InfiniBand é a primeira arquitetura de rede realmente projetada nativamente de acordo com SDN. É gerenciado por um gerenciador de sub-rede (ou seja, controlador SDN). Ao contrário da Ethernet tradicional (incluindo Ethernet sem perdas ROCE), os switches InfiniBand não executam nenhum protocolo de roteamento e a tabela de encaminhamento de toda a rede é calculada e distribuída por um gerenciador de sub-rede centralizado. Além de encaminhar tabelas, o gerenciador de sub-rede também é responsável por gerenciar a configuração na sub-rede InfiniBand, como zoneamento e QoS. A rede InfiniBand não depende mais de mecanismos de transmissão, como ARP, para encaminhar o aprendizado da tabela, e não haverá tempestades de transmissão ou desperdício adicional de largura de banda.

Embora a Ethernet tradicional (incluindo Ethernet sem perdas ROCE) também suporte redes de controladores SDN, vários fabricantes de redes se desviaram do conceito inicial de encaminhamento de tabela de fluxo OpenSlow e, em vez disso, adotaram a solução netconf+VXLAN+EVPN para evitar se tornar uma “máquina sem marca”. " fabricante. O controlador SDN tornou-se um “gerenciamento de grandes redes” mais avançado que fornece apenas a distribuição de políticas de controle relevantes. O nível de encaminhamento ainda é baseado no aprendizado entre dispositivos (aprendizado de entrada de tabela MAC, aprendizado de tabela ARP e aprendizado de entrada de tabela de roteamento, etc.), o que faz com que a Ethernet sem perdas ROCE perca a vantagem de redes simples e eficientes como o InfiniBand.

Rede simples e eficiente da InfiniBand

Deixe-me usar um exemplo de vida para ilustrar:

Podemos comparar as viagens ferroviárias de alta velocidade com a rede InfiniBand. Toda a viagem ferroviária de alta velocidade é gerenciada e programada por um despachante (gerente de sub-rede). Os passageiros (tráfego de rede) não precisam aprender e encontrar rotas para chegar aos seus destinos. Eles só precisam pegar o ônibus de acordo com o número do trem programado (tabela de encaminhamento). Nesta modalidade, toda a viagem é eficiente e tranquila, sem anúncios redundantes ou mudanças temporárias de rota, garantindo a qualidade e rapidez da viagem dos passageiros.

Em comparação, as viagens autônomas representam a Ethernet tradicional e a Ethernet sem perdas ROCE. Embora também estejam equipados com um sistema de navegação (controlador SDN) para navegação, o motorista (dispositivo de rede) ainda precisa fazer julgamentos em tempo real e ajustar a direção de condução com base nas condições da estrada (aprendizado entre dispositivos). Esse processo pode envolver consultas múltiplas ao mapa (mecanismo de transmissão), espera por semáforos (desperdício de largura de banda) ou desvios para evitar congestionamentos (configuração de rede complexa), tornando todo o processo de viagem relativamente ineficiente.

Mecanismo ex-ante para evitar congestionamento de crédito: realizando uma rede nativa sem perdas

A rede InfiniBand usa um mecanismo baseado em crédito para evitar fundamentalmente os problemas de buffer overflow e perda de pacotes. Este mecanismo garante que o remetente só iniciará a transmissão do pacote quando confirmar que o destinatário possui crédito suficiente para aceitar um número correspondente de mensagens.

Esse mecanismo baseado em crédito funciona da seguinte maneira: Cada link da rede InfiniBand possui um buffer pré-determinado para armazenamento dos pacotes a serem transmitidos. O remetente verifica o crédito disponível do destinatário antes de transmitir os dados. Este crédito pode ser entendido como o tamanho do buffer atualmente disponível para o receptor. O remetente decidirá se iniciará a transmissão do pacote com base neste valor de crédito. Se o destinatário tiver crédito insuficiente, o remetente espera até que o destinatário libere buffers suficientes e reporte novos créditos disponíveis.

Depois que o receptor conclui o encaminhamento, ele libera os buffers usados ​​e reporta continuamente ao remetente o tamanho do buffer programado atualmente disponível. Desta forma, o remetente pode compreender o status do buffer do receptor em tempo real e ajustar a transmissão dos pacotes de dados. Esse mecanismo de controle de fluxo no nível do link garante que o remetente não envie muitos dados, evitando efetivamente o estouro do buffer da rede e a perda de pacotes.

A vantagem deste mecanismo baseado em crédito é que ele proporciona um método eficiente e confiável de controle de fluxo. Ao monitorar e ajustar a transmissão de pacotes de dados em tempo real, InfiniBand As redes podem garantir uma transmissão suave de dados, evitando o congestionamento da rede e a degradação do desempenho. Além disso, esse mecanismo proporciona melhor previsibilidade e estabilidade da rede, permitindo que os aplicativos utilizem os recursos da rede de maneira mais eficiente.

A rede InfiniBand usa um mecanismo baseado em crédito para evitar fundamentalmente problemas de buffer overflow e perda de pacotes por meio do controle de fluxo em nível de link, enquanto a Ethernet sem perdas ROCE adota um mecanismo de gerenciamento de congestionamento “pós-evento”. Antes de a mensagem ser enviada, ele não negociará recursos com o destinatário, mas encaminhará a mensagem diretamente. Somente quando o switch receptor tem congestionamento de buffer de porta (ou congestionamento iminente), a mensagem de gerenciamento de congestionamento é enviada através dos protocolos PFC e ECN, permitindo que o switch peer e a placa de rede peer reduzam ou suspendam o envio da mensagem. Este método “pós-fato” pode aliviar a influência do congestionamento até certo ponto, mas a perda de pacotes e a instabilidade da rede não podem ser completamente evitadas.

Diagrama esquemático de transmissão de dados sem perdas na rede infiniBand

Deixe-me usar outro exemplo para ilustrar:

O mecanismo baseado em crédito da rede InfiniBand é como um hotel que oferece suporte à reserva de assentos por telefone. Quando quiser jantar em um restaurante, ligue com antecedência para o hotel para garantir que há lugares suficientes, evitando assim o constrangimento de não ter lugar ao chegar ao restaurante. Esse método garante a experiência gastronômica dos clientes e evita desperdício de recursos e insatisfação.

A fila de clientes após chegar ao restaurante é como o mecanismo de gerenciamento de congestionamento “pós-evento” do ROCE Ethernet sem perdas. Quem não agendou com antecedência só poderá aguardar de acordo com a situação real. Embora os hotéis tomem medidas para aliviar o congestionamento, ainda podem enfrentar o risco de lugares insuficientes e perda de clientes. Embora o mecanismo de gerenciamento de congestionamento “pós-evento” possa lidar com a situação até certo ponto, ele não pode evitar completamente a insatisfação e a perda do cliente.

Modo de encaminhamento cut-through: permitindo que a rede obtenha menor latência

Ethernet (inclui Ethernet sem perdas ROCE) usa o modo armazenar e encaminhar por padrão. O switch precisa receber completamente todo o pacote de dados e armazená-lo no cache, verificar o endereço de destino e a integridade do pacote de dados e, em seguida, encaminhá-lo. Essa abordagem pode causar alguma latência, especialmente ao processar um grande número de pacotes.

Embora a tecnologia do modo de encaminhamento cut-through precise apenas ler as informações do cabeçalho do pacote de dados, determinar a porta de destino e, em seguida, iniciar imediatamente o encaminhamento do pacote de dados quando o switch receber um pacote de dados. Esta tecnologia pode reduzir significativamente o tempo de permanência dos pacotes de dados no switch, reduzindo assim os atrasos de transmissão.

Os switches InfiniBand usam o modo de encaminhamento cut-through, o que torna o processamento de encaminhamento de mensagens muito simples. Ele só precisa de um LID de 16 bits (fornecido diretamente pelo gerenciador de sub-rede) para encontrar rapidamente o caminho de encaminhamento. Desta forma, o atraso de encaminhamento é reduzido para menos de 100 nanossegundos. Os switches Ethernet geralmente usam endereçamento de pesquisa de tabela MAC e métodos de armazenamento e encaminhamento para processar dados. Mas como eles também precisam lidar com muitos serviços complexos, como IP, MPLS, QinQ, etc., o tempo de processamento é relativamente longo, podendo levar vários microssegundos ou até mais. Mesmo que alguns switches Ethernet utilizem tecnologia cut-through, o atraso de encaminhamento ainda pode ser superior a 200 nanossegundos.

Atraso de encaminhamento

Deixe-me usar outro exemplo para ilustrar:

A Ethernet lida com pacotes como o envio de itens frágeis. O carteiro precisa ter um cuidado especial ao receber o pacote e verificar sua integridade para garantir que não haja danos antes de encaminhá-lo ao destino. O carteiro leva algum tempo para fazer isso, portanto, haverá um certo atraso.

Os switches InfiniBand lidam com pacotes mais como se fossem itens comuns. O carteiro simplesmente dá uma olhada rápida no endereço da embalagem e encaminha-o rapidamente, sem esperar por uma inspeção completa da embalagem. Este método é mais rápido e reduz significativamente o tempo que o pacote passa no correio offgelo, reduzindo assim os atrasos de transmissão.