¿Cuántos transceptores ópticos requiere ChatGPT?

FiberMall ha extrapolado la infraestructura de IA, incluidos los transceptores ópticos que ChatGPT trae a la mesa.

La diferencia con un centro de datos tradicional es que con el InfiniBand estructura de árbol grueso común a la IA, se utilizan más conmutadores y la cantidad de puertos ascendentes y descendentes en cada nodo es idéntica.

Una de las unidades básicas correspondientes al modelo de agrupamiento de IA que utiliza NVIDIA es el SuperPOD.

Se construye un SuperPOD estándar con 140 servidores GPU DGX A100, HDR InfiniBand 200G NICy 170 switches NVIDIA Quantum QM8790 con 200G y 40 puertos cada uno.

Basado en la solución NVIDIA, un SuperPOD con 170 conmutadores, cada conmutador tiene 40 puertos, y la forma más sencilla es interconectar 70 servidores cada uno, y el requisito de cable correspondiente es 40 × 170/2 = 3400, considerando la situación de implementación real hasta 4000 cabos. Entre ellos, la relación de cable de cobre: ​​AOC: módulo óptico = 4:4:2, correspondiente a la cantidad de transceptores ópticos necesarios = 4000 * 0.2 * 2 = 1600, es decir, para un SuperPod, la relación de servidor: conmutador : uso del módulo óptico = 140: 170: 1600 = 1: 1.2: 11.4

Un requisito similar a los requisitos básicos de GPT4.0 requiere aproximadamente 3750 servidores NVIDIA DGX A100. Los requisitos de los transceptores ópticos bajo esta condición se enumeran en la siguiente tabla.

Según IDC, el mercado global de servidores de IA es de $ 15.6 mil millones en 2021 y se espera que alcance los $ 35.5 mil millones para 2026. El tamaño del mercado de la industria de servidores de IA de China es de $ 6.4 mil millones en 2021. Según datos de IDC, se esperan envíos de puertos 200/400G para aumentar rápidamente en escenarios de centros de datos, con una tasa de crecimiento compuesta del 62 % de 22 a 26 años. Se espera que los envíos de puertos de conmutación globales superen los 870 millones en 2026, con un tamaño de mercado de más de $ 44 mil millones.

FiberMall extrapola la demanda de servidores, conmutadores y transceptores ópticos de la arquitectura del centro de datos de IA. En este proceso de extrapolación, FiberMall utiliza la proporción de 4:4:2. En última instancia, el uso de módulos ópticos en el centro de datos está directamente relacionado con la demanda de tráfico. Es probable que esta proporción solo exista a plena capacidad, y todavía vale la pena estudiar en profundidad cómo es ahora el tráfico de servicios dentro del centro de datos de IA.