Servidores AI: tecnología de chip de interconexión de interfaz

Según datos de TrendForce, los envíos de servidores de IA ascendieron a unas 130,000 unidades, lo que representa aproximadamente el 1% de los envíos mundiales de servidores. De cara a 2023, Microsoft, Meta, Baidu y ByteDance han lanzado sucesivamente productos y servicios basados ​​en IA generativa y han aumentado activamente los pedidos. Se estima que la tasa de crecimiento anual de los envíos de servidores de IA en 2023 alcanzará el 15.4% y, con la demanda futura de ChatGPT de servidores de IA, se espera que los servidores de IA crezcan a una tasa anual compuesta del 12.2% de 2023 a 2027. .

DGX H100 se lanzó en 2022 y es la última versión del sistema DGX de NVIDIA, así como la base de NVIDIA DGX SuperPOD. Los servidores DXG están equipados con 8 GPU H100 y 640 mil millones de transistores, y offOfrece un rendimiento de IA 6 veces mayor que la generación anterior con la nueva precisión FP8, proporcionando 900 GB/s de ancho de banda.

Fuente: NVIDIA

Dentro del servidor DGX H100, los bloques azules son tarjetas de red IP, que pueden actuar como tarjetas de red y también desempeñar el papel de expansión del conmutador PCIe, convirtiéndose en el puente entre la CPU y la GPU (H100). Utiliza internamente el estándar PCle 5.0. Además, CX7 se compone de 2 tarjetas en forma de chips de tarjetas de red para conectar al servidor, y cada tarjeta consta de 4 chips CX7 y tiene salida para 2 puertos de módulo óptico OSFP de 800G.

La interconexión entre GPU (H100) se logra principalmente mediante chips NV Switch. Cada GPU en un DGXH100 extiende 18 NVLink hacia afuera, con un ancho de banda bidireccional de 50 GB/s por enlace, con un total de 18*50 GB/s = 900 GB/s de ancho de banda bidireccional, que se divide en 4 conmutadores NV integrados, por lo que cada conmutador NV corresponde a 4-5 módulos ópticos OSFP (un total de 18). Cada módulo óptico OSFP Utiliza 8 canales ópticos, con una velocidad de transmisión de 100 Gbps por canal, por lo que la velocidad total alcanza 800Gbps, permitiendo la transmisión de datos de alta velocidad.

Interconexión de componentes como CPU, GPU: PCIE Switch, chip Retimer

PCIe Switch, también conocido como conmutador PCIe o concentrador PCIe, se utiliza principalmente para interconectar dispositivos PCIe, y el protocolo de comunicación del chip PCIe Switch y su dispositivo es PCIe. Dado que la comunicación por enlace PCIe es un tipo de transmisión de datos de un extremo a otro, Switch debe proporcionar capacidades de expansión o agregación para permitir que más dispositivos se conecten a un puerto PCle y resolver el problema del número insuficiente de canales PCIe. Actualmente, PCIe Switch no sólo se ha utilizado ampliamente en los sistemas de almacenamiento tradicionales sino que también se ha popularizado gradualmente en algunas plataformas de servidores, para mejorar la velocidad de transmisión de datos.

Actualización de la tecnología del bus PCIe, aumento de la velocidad del conmutador PCIe por generación. El bus PCIe es un reemplazo en serie de alta velocidad del bus PCI. En 2001, Intel anunció la tecnología de E/S de tercera generación para reemplazar el bus PCI, llamada "3GIO". En 2002, esta tecnología fue offOficialmente rebautizado como “PCI Express” después de ser revisado por el Grupo de Interés Especial de PCI (PCI-SIG), marcando el nacimiento de PCIe. En 2003, PCIe 1.0 fue offLanzado oficialmente, admite una velocidad de transmisión de 250 MB/s por canal y una velocidad de transmisión total de 2.5 GT/s. En 2007, PCI-SIG anunció el lanzamiento de la especificación PCI Express Base 2.0. Basado en PCIe 1.0, la velocidad de transmisión total se duplicó a 5 GT/s y la velocidad de transmisión por canal aumentó de 250 MB/s a 500 MB/s. En 2022, PCI-SIG offLanzó oficialmente la especificación PCIe 6.0, aumentando el ancho de banda total a 64 GT/s.

Fuente: Wikipedia

A medida que PCIe se aplica cada vez más en servidores, la demanda del mercado de conmutadores PCIe también aumenta. Según las estadísticas y pronósticos de QYResearch, las ventas del mercado mundial de chips PCIe alcanzaron los 790 millones de dólares estadounidenses en 2021, y se espera que alcancen los 1.8 millones de dólares estadounidenses en 2028, con una tasa de crecimiento anual compuesta (CAGR) del 11.9%.

Fuente: Asmedia, BroadCom y Microchip

China es el mercado más grande para PCIe Switch. A medida que aumenta la demanda de almacenamiento y transmisión masiva de datos en servidores, se necesita una gran cantidad de soluciones de interconexión de alta velocidad para lograr una transmisión masiva de datos en los campos de big data, computación en la nube, inteligencia artificial, etc. solución, PCIe Switch tiene una gran demanda en el mercado chino.

En los servidores de IA, se requiere al menos un chip Retimer para garantizar la calidad de la señal cuando la GPU y la CPU están conectadas. Específicamente, muchos servidores de IA configurarán múltiples chips Retimer, como Astera Labs, que configura cuatro chips Retimer en un acelerador de IA.

Fuente: Laboratorios Astera

PCIe Retimer es un mercado de océano azul con tres fabricantes líderes y muchos competidores potenciales. Actualmente, Parade Technologies, Astera Labs y Montage Technology son los tres principales proveedores en el mercado del océano azul de PCIe Retimer y ocupan la posición dominante. Entre ellos, Montage Technology ha implementado PCIe anteriormente y es el único proveedor de China continental que puede producir PCIe 4.0 Retimer en masa, y su desarrollo de PCIe 5.0 Retimer avanza sin problemas.

Fuente: Montage Technology, Astera Labs y Parade Technologies

Además, los fabricantes de chips, incluidos Renesas, TI, Microchip Technology y otros, también participan activamente en el desarrollo de productos de PCIe Retimer. De acuerdo con la offInformación del sitio web oficial, Renesas puede proporcionar dos productos PCIe 3.0 Retimer, a saber, 89HT0816AP y 89HT0832P; TI puede proporcionar un retemporizador PCIe 16 de 8 canales y 4.0 Gbps: DS160PT801; De manera similar, Microchip Technology lanzó la serie XpressConnect de chips Retimer en noviembre de 2020, que pueden admitir la velocidad de 5.0GT/s de PCIe 32.

Conexión GPU-GPU: NVLink, NVSwitch

Los fabricantes mundiales de chips están prestando atención a las tecnologías relacionadas con las interfaces de alta velocidad. Además de NVLink de NVIDIA, Infinity Fabric de AMD y CXL (Compute Express Link) de Intel también brindan soluciones para la interconexión de alta velocidad dentro de servidores.

NVlink, que se actualiza continuamente, ha provocado una revolución en la tecnología de interconexión de alta velocidad. NVLink es una tecnología de interconexión de alta velocidad desarrollada por NVIDIA, cuyo objetivo es acelerar la velocidad de transferencia de datos entre CPU y GPU, GPU y GPU, y mejorar el rendimiento del sistema. De 2016 a 2022, NVLink pasó a la cuarta generación. En 2016, NVIDIA lanzó el nuevo chip de interfaz de alta velocidad, NVLink, integrado en la GPU Pascal GP100. Esta es la primera generación de NVLink. NVLink utiliza tecnología de interconexión de señalización de alta velocidad (NVHS), que se utiliza principalmente para la transmisión de señales entre GPU y GPU, GPU y CPU. Las GPU transmiten señales eléctricas de impedancia diferencial en forma de codificación NRZ (sin retorno a cero). El enlace único NVLink de primera generación puede alcanzar 40 GB/s de ancho de banda bidireccional, y un solo chip puede admitir cuatro enlaces, es decir, 160 GB/s de ancho de banda bidireccional total.

Fuente: NVIDIA

Tecnología NVLink ha pasado por varias iteraciones y actualizaciones, lo que ha provocado una ola de innovación en la tecnología de interconexión de alta velocidad. En 2017, se lanzó la segunda generación de NVLink basada en la arquitectura Volta, que puede alcanzar 50 GB/s de ancho de banda bidireccional por enlace y admite seis enlaces por chip, es decir, 300 GB/s de ancho de banda bidireccional total. En 2020, se lanzó la tercera generación de NVLink basada en la arquitectura Ampere, que puede alcanzar 50 GB/s de ancho de banda bidireccional por enlace y admite 12 enlaces por chip, es decir, 600 GB/s de ancho de banda bidireccional total. En 2022, se lanzó la cuarta generación de NVLink basada en la arquitectura Hopper, que cambió la señal de transmisión a una señal eléctrica modulada PAM4 y puede alcanzar 50 GB/s de ancho de banda bidireccional por enlace y admitir 18 enlaces por chip, es decir, 900 GB/s de ancho de banda bidireccional total.

En 2018, NVDIA lanzó la primera generación de NVSwitch, que proporcionó una solución para mejorar el ancho de banda, reducir la latencia y permitir la comunicación entre múltiples GPU dentro del servidor. La primera generación de NVSwitch se fabricó utilizando el proceso FinFET de 12 nm de TSMC y tenía 18 interfaces NVLink 2.0. Un servidor puede admitir 16 GPU V100 a través de 12 NVSwitches, logrando la mayor velocidad de interconexión con NVLink.

Fuente: NVIDIA

Actualmente, NVSwitch ha llegado a la tercera generación. La tercera generación de NVSwitch se construye utilizando el proceso 4N de TSMC y cada chip NVSwitch tiene 64 puertos NVLink 4.0. La velocidad de comunicación entre GPU puede alcanzar los 900 GB/s, y estas GPU conectadas mediante NVLink Switch se pueden utilizar como un único acelerador de alto rendimiento con capacidades de aprendizaje profundo.

La interconexión de alta velocidad entre CPU y DRAM impulsa la demanda de chips de interfaz de memoria.

Los principales tipos de módulos de memoria de servidor son RDIMM y LRDIMM, que tienen mayores requisitos de estabilidad, corrección de errores y bajo consumo de energía que otros tipos de módulos de memoria. El chip de interfaz de memoria es el dispositivo lógico central del módulo de memoria del servidor y es la ruta necesaria para que la CPU del servidor acceda a los datos de la memoria. Su función principal es mejorar la velocidad y la estabilidad del acceso a los datos de la memoria y satisfacer las crecientes necesidades de alto rendimiento y gran capacidad de la CPU del servidor para módulos de memoria.

Fuente: CSDN

La velocidad de los chips de interfaz de memoria continúa aumentando de DDR4 a DDR5. Desde 2016, DDR4 se ha convertido en la tecnología principal en el mercado de la memoria. Para lograr una mayor velocidad de transmisión y admitir una mayor capacidad de memoria, la organización JEDEC actualizó y mejoró aún más las especificaciones técnicas de los chips de interfaz de memoria DDR4. En la generación DDR4, desde Gen1.0, Gen1.5 y Gen2.0 hasta Gen2plus, la velocidad de transmisión más alta admitida por cada subgeneración de chips de interfaz de memoria ha aumentado continuamente, y el último producto de subgeneración de DDR4, Gen2plus, soporta una transmisión máxima de 3200MT/s. A medida que la organización JEDEC continúa mejorando la definición de especificaciones de los productos de interfaz de memoria DDR5, la tecnología de memoria DDR5 está reemplazando gradualmente a la tecnología de memoria DDR4.

Actualmente, los chips de interfaz de memoria DDR5 han planificado tres subgeneraciones, con tasas de soporte de 4800MT/s, 5600MT/s y 6400MT/s respectivamente. La industria espera que en el futuro haya entre 1 y 2 subgeneraciones más.

Los chips de interfaz de memoria se dividen en dos tipos según sus funciones: búfer de registro (RCD) y búfer de datos (DB). RCD se usa para almacenar en búfer las señales de dirección, comando y control del controlador de memoria, y DB se usa para almacenar en búfer las señales de datos del controlador de memoria o los gránulos de memoria.

Fuente: Tecnología de montaje

La actualización de los módulos de memoria DDR5 brinda nuevas oportunidades para los chips de interfaz de memoria y los chips de soporte de módulos. En 2016, el tamaño del mercado mundial de chips de interfaz de memoria era de unos 280 millones de dólares estadounidenses y alcanzó unos 570 millones de dólares estadounidenses en 2018, con una tasa de crecimiento anualizado del 40% en tres años. La actualización de DDR5 llevará el tamaño del mercado de chips de interfaz de memoria a un nuevo nivel. En comparación con DDR4, debido a la mayor tasa de soporte y al diseño más complejo de DDR5, el precio inicial de la primera subgeneración de chips de interfaz de memoria DDR5 es más alto que el de los chips de interfaz de memoria DDR4. Al mismo tiempo, a medida que aumenta gradualmente la tasa de penetración de la memoria DDR5 en servidores y PC, se espera que el tamaño del mercado de chips de interfaz de memoria relacionados con DDR5 alcance un rápido crecimiento.

La industria de los chips de interfaz de memoria tiene barreras elevadas y se ha formado un patrón de tres patas. Los chips de interfaz de memoria son una industria de uso intensivo de tecnología y solo se pueden utilizar a gran escala después de haber sido estrictamente verificados por los fabricantes de CPU, memoria y OEM en todos los aspectos, y es difícil ingresar a nuevos jugadores. Con la creciente dificultad técnica, el número de reproductores de chips de interfaz de memoria ha disminuido de más de 10 en la generación DDR2 a sólo 3 en la generación DDR4. La industria se ha despejado y se ha formado un patrón de tres patas. En la generación DDR5, solo hay tres proveedores en el mundo que pueden proporcionar productos producidos en masa de la primera subgeneración de DDR5: Montage Technology, Renesas Electronics (IDT) y Rambus.