Servidores AI: Tecnologia de chip de interconexão de interface

De acordo com dados da TrendForce, as remessas de servidores de IA foram de cerca de 130,000 unidades, representando cerca de 1% das remessas globais de servidores. Olhando para 2023, Microsoft, Meta, Baidu e ByteDance lançaram sucessivamente produtos e serviços baseados em IA generativa e aumentaram ativamente os pedidos. Estima-se que a taxa de crescimento anual das remessas de servidores de IA em 2023 chegará a 15.4%, e com a demanda futura do ChatGPT por servidores de IA, espera-se que os servidores de IA cresçam a uma taxa anual composta de 12.2% de 2023 a 2027 .

DGX H100 foi lançado em 2022 e é a mais recente iteração do sistema DGX da NVIDIA, bem como a base do NVIDIA DGX SuperPOD. Os servidores DXG são equipados com 8 GPUs H100 e 640 bilhões de transistores, e offDesempenho de IA 6 vezes maior do que a geração anterior com a nova precisão FP8, fornecendo 900 GB/s de largura de banda.

Fonte: NVIDIA

Dentro do servidor DGX H100, os blocos azuis são placas de rede IP, que podem atuar como placas de rede e também desempenhar o papel de expansão do Switch PCIe, tornando-se a ponte entre a CPU e a GPU (H100). Ele usa o padrão PCle 5.0 internamente. Além disso, o CX7 é transformado em 2 placas na forma de chips de placa de rede para conectar ao servidor, e cada placa consiste em 4 chips CX7 e produz 2 portas de módulo óptico OSFP 800G.

A interconexão entre GPUs (H100) é realizada principalmente por chips NV Switch. Cada GPU em um DGXH100 estende 18 NVLinks para fora, com uma largura de banda bidirecional de 50 GB/s por link, totalizando 18*50GB/s=900GB/s de largura de banda bidirecional, que é dividida em 4 switches NV integrados, de modo que cada switch NV corresponde a 4-5 módulos ópticos OSFP (um total de 18). Cada Módulo óptico OSFP usa 8 canais ópticos, com taxa de transmissão de 100 Gbps por canal, então a taxa total atinge 800Gbps, permitindo a transmissão de dados em alta velocidade.

Interconexão de componentes como CPU, GPU: Switch PCIE, chip Retimer

O switch PCIe, também conhecido como switch PCIe ou hub PCIe, é usado principalmente para interconectar dispositivos PCIe, e o protocolo de comunicação do chip do switch PCIe e seu dispositivo é PCIe. Como a comunicação do link PCIe é um tipo de transmissão de dados ponta a ponta, o Switch precisa fornecer recursos de expansão ou agregação, para permitir que mais dispositivos se conectem a uma porta PCle, para resolver o problema de número insuficiente de canais PCIe. Atualmente, o PCIe Switch não só tem sido amplamente utilizado em sistemas de armazenamento tradicionais, mas também gradualmente popularizado em algumas plataformas de servidores, para melhorar a velocidade de transmissão de dados.

Atualização da tecnologia de barramento PCIe, aumento da velocidade do switch PCIe por geração. O barramento PCIe é um substituto serial de alta velocidade para o barramento PCI. Em 2001, a Intel anunciou a tecnologia de E/S de terceira geração para substituir o barramento PCI, chamada “3GIO”. Em 2002, esta tecnologia foi offoficialmente renomeado como “PCI Express” após ser revisado pelo PCI Special Interest Group (PCI-SIG), marcando o nascimento do PCIe. Em 2003, PCIe 1.0 foi offlançado oficialmente, suportando uma taxa de transmissão de 250 MB/s por canal e uma taxa de transmissão total de 2.5 GT/s. Em 2007, o PCI-SIG anunciou o lançamento da especificação PCI Express Base 2.0. Com base no PCIe 1.0, a taxa de transmissão total foi duplicada para 5 GT/s, e a taxa de transmissão por canal aumentou de 250 MB/s para 500 MB/s. Em 2022, PCI-SIG offlançou oficialmente a especificação PCIe 6.0, aumentando a largura de banda total para 64 GT/s.

Fonte: Wikipedia

À medida que o PCIe é cada vez mais aplicado em servidores, a demanda do mercado por switches PCIe também aumenta. De acordo com as estatísticas e previsões da QYResearch, as vendas globais do mercado de chips PCIe atingiram 790 milhões de dólares americanos em 2021, e espera-se que atinjam 1.8 bilhão de dólares americanos em 2028, com uma taxa composta de crescimento anual (CAGR) de 11.9%.

Fonte: Asmedia, BroadCom e Microchip

A China é o maior mercado para Switch PCIe. À medida que aumenta a demanda por armazenamento e transmissão massiva de dados em servidores, é necessário um grande número de soluções de interconexão de alta velocidade para alcançar a transmissão massiva de dados nas áreas de big data, computação em nuvem, inteligência artificial, etc. solução, o PCIe Switch tem uma grande demanda no mercado chinês.

Em servidores AI, pelo menos um chip Retimer é necessário para garantir a qualidade do sinal quando a GPU e a CPU estão conectadas. Especificamente, muitos servidores de IA configurarão vários chips Retimer, como o Astera Labs, que configura quatro chips Retimer no acelerador de IA.

Fonte: Laboratórios Astera

PCIe Retimer é um mercado de oceano azul com três fabricantes líderes e muitos concorrentes potenciais. Atualmente, Parade Technologies, Astera Labs e Montage Technology são os três principais fornecedores no mercado de oceano azul PCIe Retimer, ocupando a posição dominante. Entre eles, a Montage Technology implantou o PCIe anteriormente e é o único fornecedor da China continental que pode produzir em massa o Retimer PCIe 4.0, e o desenvolvimento do Retimer PCIe 5.0 está progredindo sem problemas.

Fonte: Montage Technology, Astera Labs e Parade Technologies

Além disso, fabricantes de chips, incluindo Renesas, TI, Microchip Technology e outros, também estão ativamente envolvidos no desenvolvimento de produtos do PCIe Retimer. De acordo com offinformações oficiais do site, a Renesas pode fornecer dois produtos PCIe 3.0 Retimer, ou seja, 89HT0816AP e 89HT0832P; A TI pode fornecer um Retimer PCIe 16 de 8 canais e 4.0 Gbps – DS160PT801; da mesma forma, a Microchip Technology lançou a série XpressConnect de chips Retimer em novembro de 2020, que pode suportar a taxa de 5.0GT/s do PCIe 32.

Conexão GPU-GPU: NVLink, NVSwitch

Os fabricantes globais de chips estão prestando atenção às tecnologias relacionadas de interfaces de alta velocidade. Além do NVLink da NVIDIA, o Infinity Fabric da AMD e o CXL (Compute Express Link) da Intel também fornecem soluções para interconexão de alta velocidade dentro de servidores.

O NVlink continuamente atualizado provocou uma revolução na tecnologia de interconexão de alta velocidade. NVLink é uma tecnologia de interconexão de alta velocidade desenvolvida pela NVIDIA, que visa acelerar a velocidade de transferência de dados entre CPU e GPU, GPU e GPU, e melhorar o desempenho do sistema. De 2016 a 2022, o NVLink iterou para a quarta geração. Em 2016, a NVIDIA lançou o novo chip de interface de alta velocidade – NVLink, transportado pela GPU Pascal GP100. Esta é a primeira geração do NVLink. NVLink usa tecnologia de interconexão de sinalização de alta velocidade (NVHS), que é usada principalmente para transmissão de sinal entre GPU e GPU, GPU e CPU. As GPUs transmitem sinais elétricos de impedância diferencial na forma de codificação NRZ (Non-Return-to-Zero). O link único NVLink de primeira geração pode atingir 40 GB/s de largura de banda bidirecional, e um único chip pode suportar quatro links, ou seja, 160 GB/s de largura de banda bidirecional total.

Fonte: NVIDIA

Tecnologia NVLink passou por diversas iterações e atualizações, desencadeando uma onda de inovação na tecnologia de interconexão de alta velocidade. Em 2017, foi lançada a segunda geração do NVLink baseada na arquitetura Volta, que pode atingir 50 GB/s de largura de banda bidirecional por link e suportar seis links por chip, ou seja, 300 GB/s de largura de banda bidirecional total. Em 2020, foi lançada a terceira geração do NVLink baseada na arquitetura Ampere, que pode atingir 50 GB/s de largura de banda bidirecional por link e suportar 12 links por chip, ou seja, 600 GB/s de largura de banda bidirecional total. Em 2022, foi lançada a quarta geração do NVLink baseada na arquitetura Hopper, que alterou o sinal de transmissão para sinal elétrico modulado PAM4, podendo atingir 50 GB/s de largura de banda bidirecional por link, e suportar 18 links por chip, ou seja, 900 GB/s de largura de banda bidirecional total.

Em 2018, a Nvidia lançou a primeira geração do NVSwitch, que forneceu uma solução para melhorar a largura de banda, reduzir a latência e permitir a comunicação entre várias GPUs dentro do servidor. A primeira geração do NVSwitch foi fabricada usando o processo FinFET de 12 nm da TSMC e tinha 18 interfaces NVLink 2.0. Um servidor pode suportar 16 GPUs V100 através de 12 NVSwitches, alcançando a maior velocidade de interconexão com NVLink.

Fonte: NVIDIA

Atualmente, o NVSwitch iterou para a terceira geração. A terceira geração do NVSwitch é construída usando o processo 4N da TSMC, e cada chip NVSwitch possui 64 portas NVLink 4.0. A velocidade de comunicação entre GPUs pode chegar a 900 GB/s, e essas GPUs conectadas pelo NVLink Switch podem ser usadas como um único acelerador de alto desempenho com recursos de aprendizado profundo.

A interconexão de alta velocidade entre CPU e DRAM impulsiona a demanda por chips de interface de memória.

Os principais tipos de módulos de memória de servidor são RDIMM e LRDIMM, que possuem requisitos mais elevados de estabilidade, correção de erros e baixo consumo de energia do que outros tipos de módulos de memória. O chip de interface de memória é o dispositivo lógico central do módulo de memória do servidor e é o caminho necessário para a CPU do servidor acessar os dados da memória. Sua principal função é melhorar a velocidade e a estabilidade do acesso aos dados da memória e atender às crescentes necessidades de alto desempenho e grande capacidade da CPU do servidor para módulos de memória.

Fonte: CSDN

A velocidade dos chips de interface de memória continua a aumentar de DDR4 para DDR5. Desde 2016, DDR4 se tornou a tecnologia dominante no mercado de memória. Para alcançar maior velocidade de transmissão e suportar maior capacidade de memória, a organização JEDEC atualizou e melhorou ainda mais as especificações técnicas dos chips de interface de memória DDR4. Na geração DDR4, de Gen1.0, Gen1.5 e Gen2.0 a Gen2plus, a maior velocidade de transmissão suportada por cada subgeração de chips de interface de memória tem aumentado continuamente, e o último produto de subgeração de DDR4, Gen2plus, suporta uma transmissão máxima de 3200MT/s. À medida que a organização JEDEC continua a melhorar a definição das especificações dos produtos de interface de memória DDR5, a tecnologia de memória DDR5 está gradualmente substituindo a tecnologia de memória DDR4.

Atualmente, os chips de interface de memória DDR5 planejaram três subgerações, com taxas de suporte de 4800 MT/s, 5600 MT/s e 6400 MT/s, respectivamente. A indústria espera que possa haver mais 1-2 subgerações no futuro.

Os chips de interface de memória são divididos em dois tipos de acordo com suas funções, ou seja, buffer de registro (RCD) e buffer de dados (DB). RCD é usado para armazenar em buffer os sinais de endereço, comando e controle do controlador de memória, e DB é usado para armazenar em buffer os sinais de dados do controlador de memória ou grânulos de memória.

Fonte: Tecnologia de Montagem

A atualização dos módulos de memória DDR5 traz novas oportunidades para chips de interface de memória e chips de suporte a módulos. Em 2016, o tamanho do mercado global de chips de interface de memória era de cerca de 280 milhões de dólares americanos e atingiu cerca de 570 milhões de dólares americanos em 2018, com uma taxa de crescimento anualizada de três anos de 40%. A atualização do DDR5 levará o tamanho do mercado de chips de interface de memória a um novo nível. Comparado com DDR4, devido à maior taxa de suporte e ao design mais complexo do DDR5, o preço inicial da primeira subgeração de chips de interface de memória DDR5 é mais alto do que o dos chips de interface de memória DDR4. Ao mesmo tempo, à medida que a taxa de penetração da memória DDR5 em servidores e PCs aumenta gradualmente, espera-se que o tamanho do mercado de chips de interface de memória relacionados a DDR5 atinja um rápido crescimento.

A indústria de chips de interface de memória tem grandes barreiras e um padrão de três pernas foi formado. Os chips de interface de memória são uma indústria de uso intensivo de tecnologia e só podem ser usados ​​em grande escala após serem rigorosamente verificados pelos fabricantes de CPU, memória e OEM em todos os aspectos, e é difícil entrar em novos players. Com a crescente dificuldade técnica, o número de chips de interface de memória diminuiu de mais de 10 na geração DDR2 para apenas 3 na geração DDR4. A indústria esvaziou-se e formou-se um padrão de três pernas. Na geração DDR5, existem apenas três fornecedores no mundo que podem fornecer produtos produzidos em massa da primeira subgeração de DDR5, nomeadamente Montage Technology, Renesas Electronics (IDT) e Rambus.