En los últimos años, los clústeres de servidores de IA han crecido significativamente en tamaño. Los enlaces ópticos, debido a su escalabilidad y ventajas de costo, proporcionan las conexiones necesarias para la expansión a larga distancia de estos clústeres. Broadcom es líder en las tres tecnologías de interconexión óptica fundamentales esenciales para construir redes de IA a gran escala.
Índice
ActivaLáser de emisión superficial de cavidad vertical (VCSEL)
VCSEL es el pilar de la tecnología de interconexión de IA óptica en toda la industria. Su bajo consumo de energía y su bajo costo lo convierten en una opción ideal para aplicaciones de comunicación y detección de datos. La única limitación es su funcionamiento en distancias de conexión más cortas. El VCSEL 4x100G ya se ha producido en masa y se espera que la versión 4x200G se pruebe en la segunda mitad de 2024.

La tecnología VCSEL de Broadcom ha liderado constantemente la industria en términos de tiempo de comercialización, volumen, rendimiento y confiabilidad. En OFC2024, Broadcom logró los últimos avances en VCSEL de 200G/carril, demostrando la transmisión sobre fibra OM100 de 3 m a 100 GBd PAM4 y 53.125 GBd PAM4, manteniendo su posición de liderazgo.

Láser modulado por electroabsorción (EML)
La tecnología EML es ideal para extender los sistemas de IA a mayores distancias, escalando a cientos de miles o incluso millones de unidades. Esta tecnología ofrece un mejor rendimiento en anchos de banda muy altos, con velocidades de datos de próxima generación configuradas para una implementación masiva. Cabe destacar que Broadcom ha ampliado la tecnología EML de 100G/carril a 200G/carril y ha logrado una producción a gran escala.

En OFC2023, Broadcom informó sobre un sistema CWDM de banda O de cuatro canales basado en un EML CMBH, aplicable a 800G DR4/FR4 y 1.6T. Este EML opera a 20-70 °C, con un electrodo concentrado EO-BW de 3 dB que supera los 60 GHz, adecuado para aplicaciones de 200G/carril. La ER de 112.5 GBd BTB PAM4 es de 4 dB, con una potencia de salida superior a 7 dBm. El TDECQ para la transmisión de 100 Gbd a lo largo de 2 kilómetros es inferior a 3.25 dB.


Óptica co-empaquetada (CPO)
CPO integra fotónica de silicio avanzada de alta velocidad de forma heterogénea en circuitos integrados específicos para abordar los desafíos de ancho de banda y potencia de próxima generación. Esta nueva tecnología ofrece ventajas en términos de potencia y costos para las generaciones futuras de sistemas de IA y permite que la infraestructura admita redes de IA a gran escala.
En OFC2024, Broadcom presentó su CPO (óptica en paquete) Bailly de 51.2 T, lo que marca el primer envío comercial. El enlace óptico completo está integrado directamente en el paquete, con los 512 canales conectados ópticamente al propio conmutador.
Utiliza ocho motores fotónicos de silicio FR4, cada uno con 64 canales de 6.4 T, lo que suma un total de 51.2 T. La fuente de luz láser se puede conectar externamente.

Broadcom identifica varias ventajas fundamentales de adoptar la tecnología Co-Packaged Optics (CPO):
Reducción de costes : A medida que aumenta el ancho de banda y el número de componentes, la tecnología de fotónica de silicio permite colocar más componentes en un solo chip, reduciendo así los costes.
Eficiencia energética : Este diseño elimina los complejos canales electrónicos entre los ASIC y los dispositivos ópticos, reduciendo significativamente el consumo de energía. Un transceptor enchufable típico de 800G consume aproximadamente 16 W por enlace, mientras que un sistema CPO reduce la potencia del enlace óptico a 5 W. Para 1.6 T, los transceptores enchufables convencionales consumen 25 W, mientras que el CPO consume solo 8 W.
Mayor confiabilidad: los transceptores enchufables tienen una tasa de fallas de aproximadamente el 2 %. Al integrar más componentes en el chip, el CPO mejora la confiabilidad. El enfoque de Broadcom implica hacer que el láser sea un componente enchufable y fácilmente reemplazable dentro del sistema, y que todo lo demás esté construido con tecnología de núcleo de silicio.
Broadcom ofrece una gama de chips de diodos láser DFB monomodo de alta potencia, con longitudes de onda que abarcan las bandas O a C, que sirven como fuentes de luz externas para la fotónica de silicio. Estos chips, basados en estructuras CMBH, proporcionan una potencia de salida que va de 20 a 100 mW y admiten aplicaciones sin refrigeración.

A medida que los sistemas de inteligencia artificial y aprendizaje automático siguen acelerándose, Meta Platforms, Inc. destacó en la Cumbre Global OCP 2022 la creciente brecha entre la potencia informática y el ancho de banda de interconexión. Para superar esta brecha, los paradigmas arquitectónicos y de diseño deben pasar de enfoques basados en paquetes a enfoques basados en redes.

En las redes a gran escala, los conmutadores suelen configurarse en configuraciones de tipo espina dorsal y de tipo hoja. Casi todas las conexiones de tipo espina dorsal y de tipo hoja son ópticas y utilizan cables ópticos activos (AOC), multimodo (MM), monomodo (SM) o transceptores coherentes para alcanzar distancias superiores a los 3 metros. En los racks, casi todo está conectado mediante cables de cobre de conexión directa (DAC), limitados a distancias inferiores a los 3 metros. Independientemente de si los conmutadores están en la espina dorsal o en la hoja, todos utilizan cobre incluido en la caja para conectar el ASIC principal al panel frontal.
Como se ilustra a continuación, cuando las señales pasan a través del núcleo de silicio, experimentan varias transiciones (por ejemplo, protuberancias, vías, matrices de rejilla de bolas (BGA), conectores eléctricos) y longitudes de ruta (trazas de PCB, enrutamiento de sustrato, trazos de tarjeta), lo que genera distorsión. Cuando las velocidades de datos del canal superan los 200 Gbps, estas distorsiones se vuelven un desafío para la sincronización, lo que resulta en mayores tasas de error de bits o errores incorregibles. Para los conmutadores que implementan soluciones ópticas, la potencia requerida para las conexiones aumenta, lo que sobrecarga los sistemas de enfriamiento térmico y suministro de energía. La solución óptima para requisitos de bajo costo, alto rendimiento, bajo consumo y confiabilidad es en forma de fotónica integrada de chip de silicio (SCIP).

SCIP acorta la distancia de enrutamiento de alta velocidad entre el ASIC y el chip fotónico de silicio, logrando una pérdida de inserción extremadamente baja y mejorando así la eficiencia energética a menos de 1 pJ/bit. SCIP emplea tecnología TSV para lograr la longitud de interconexión más corta entre chips PIC (circuito integrado fotónico) y EIC (circuito integrado eléctrico).

Broadcom cree que la solución SCIP (Silicon Chip Integrated Photonics) debe cumplir dos principios clave:
- Compatibilidad con los procesos de fabricación y empaquetado: la solución debe ser compatible con chips de silicio (manteniendo la correspondencia de paso de E/S) y con el empaquetado (proporcionando empaquetado por reflujo de soldadura). Al utilizar los últimos procesos de semiconductores, como los que se utilizan para la memoria de gran ancho de banda (HBM), los láseres se pueden colocar de forma remota en el motor óptico, liberando espacio en áreas muy limitadas y reduciendo significativamente el consumo total de energía del sistema.
- Interconexión óptica desmontable con oEngine: el conector óptico no solo debe mantener una alta densidad según el primer principio, sino que también debe ser desmontable. Debido a la mayor tasa de fallas de los láseres, se necesitan corrientes de accionamiento más altas para superar los entornos térmicos, lo que requiere cierta redundancia en los láseres. La plataforma SCIP, con apilamiento de chips 3D y conectores ópticos desmontables, se puede empaquetar junto con procesadores de señal digital (DSP) o ASIC de conmutación en forma de transceptor, escalando de manera flexible desde 400 Gbps FR4 o DR4 a 3.2 Tbps DR o 6.4 Tbps FR4.

Con estos principios establecidos, ahora podemos centrarnos en la E/S óptica.
El enlace CPO (Co-Packaged Optics) basado en E/S SCIP se puede utilizar para diversas conexiones dentro de los centros de datos, incluidas las capas de red de centros de datos tradicionales, los enlaces de entrenamiento de IA/computación de alto rendimiento, la agrupación de recursos y la desagregación de memoria, como se muestra a continuación. La primera aplicación es que el enlace PCIe basado en E/S SCIP puede proporcionar soluciones escalables para varios clústeres (NPU, GPU, CPU, memoria, almacenamiento y tarjetas de interfaz de red (NIC)). La segunda aplicación es que el enlace CXL a través de E/S SCIP se puede utilizar para la desagregación de memoria, donde varias CPU se interconectan con varias unidades de memoria a través de un conmutador óptico.


El apilamiento de chips de E/S SCIP de Broadcom se ensambla utilizando tecnología CoW (Chip-on-Wafer), con la siguiente sección transversal: el EIC (circuito integrado eléctrico) se conecta a un soporte de vidrio después del procesamiento de fundición para el adelgazamiento de la parte posterior, seguido del procesamiento TSV (vía a través del silicio) DRIE (grabado profundo de iones reactivos), con un paso de TSV de 130 um. Se utiliza un solo recubrimiento RDL (capa de redistribución) para llenar el TSV y formar cables de enrutamiento. Luego, se forman interconexiones CuP (pilar de cobre) en la parte posterior del EIC para llenar y unir por termocompresión al chip PIC (circuito integrado fotónico). Luego, la oblea se corta en cubitos de forma sigilosa. Finalmente, el ASIC y el SCIP se empaquetan conjuntamente, con el ASIC unido al sustrato mediante SMT (tecnología de montaje superficial) y el SCIP unido al sustrato mediante un proceso de reflujo sin fundente, lo que garantiza que ningún lavado con agua o residuo de fundente contamine los componentes ópticos.

La demostración de E/S SCIP de Broadcom viene en dos formas:
- Entrada/salida SCIP de 8 canales: se suministra con un ASIC, lo que proporciona un ancho de banda total de 800 Gb/s, adecuado para transceptores QSFP-DD definidos por MSA. El SCIP integra láseres y una interfaz de conector óptico desmontable.

- 4 x 32CH SCIP I/O: Este sistema viene con un conmutador Ethernet de 25.6 Tb/s. El CPO tiene un ancho de banda de E/S óptica de 12.8 Tb/s, y la otra mitad se utiliza para la transmisión de E/S eléctrica de alta velocidad. Cada SCIP tiene un conector de fibra óptica desmontable para interfaces ópticas. El sistema admite la configuración remota del láser, donde la energía óptica se suministra al SCIP a través de la interfaz del conector óptico.

El módulo de fuente láser remota sigue el encapsulado QSFP DD enchufable. La especificación de potencia óptica de cada canal puede alcanzar hasta 21 dBm, con buena repetibilidad.

El diagrama siguiente muestra la pérdida de canal eléctrico para las rutas de transmisión y recepción entre el motor óptico y el ASIC de conmutación. Las arquitecturas estándar requieren una pérdida de inserción eléctrica de hasta 20 dB, pero la pérdida de inserción equivalente del sistema combinado es de solo 2-3 dB. La interfaz tiene un consumo de energía muy bajo: los módulos transceptores ópticos tradicionales consumen entre 15 y 20 pJ/bit, mientras que la tecnología combinada consume solo entre 5 y 10 pJ/bit, lo que reduce a la mitad la energía requerida para la interfaz óptica.

El rendimiento de transmisión del enlace de E/S SCIP se mide en la interfaz del host con modulación PAM100 de 4 G/carril. El enlace de E/S SCIP de 8 canales tiene un TDECQ de aproximadamente 2.15 – 2.7 dB y un ER de aproximadamente 3.85 – 4.1 dB. El enlace de E/S SCIP de 32 canales tiene un TDECQ de 1.8 – 2.3 dB y un ER de aproximadamente 4 – 5 dB.

La evaluación del rendimiento del receptor de interconexión se basa en mediciones de tasa de error de bit (BER) previas a la FEC. La BER se representa gráficamente normalmente como una función de la amplitud de modulación óptica (OMA) y tiene forma de bañera, siendo la OMA óptima (piso de BER) la que tiene la BER más baja. Por debajo de la OMA óptima, la BER aumenta debido al ruido, mientras que por encima de la OMA óptima, la BER aumenta debido a la no linealidad asociada con las limitaciones de sobrecarga del amplificador de transimpedancia (TIA). La E/S SCIP de 8 canales tiene una BER de aproximadamente 1e-9, y la E/S SCIP de 32 canales tiene una BER de aproximadamente 1e-7. La E/S SCIP de 32 canales controla directamente la interfaz óptica sin ningún DSP en la ruta. Por lo tanto, la E/S SCIP reduce el consumo de energía y el costo al eliminar DSP adicional en la ruta y, al mismo tiempo, proporciona un rendimiento comparable.

En resumen, la E/S óptica basada en SCIP ofrece dos ventajas: reduce la complejidad del enrutamiento y aumenta la distancia física entre clústeres. La solución SCIP puede salvar la brecha entre las capacidades computacionales de los sistemas reales y las que aportan los nodos tecnológicos, proporcionando más ancho de banda para clústeres externos y mejorando la eficiencia general de E/S del sistema.
Artículos Relacionados
- Switch no administrado: la guía esencial para una solución de red plug-and-play
- Presentamos la plataforma NVIDIA HGX: aceleración de la IA y la informática de alto rendimiento
- Combo PON: Integración eficiente de GPON y XG(S)-PON
- Entendiendo CFP2-DCO: El futuro de los módulos transceptores ópticos coherentes
- NVIDIA HGX B200 y opiniones sobre su solución de refrigeración líquida
