Explorando los centros de datos de Internet: la evolución de DCN

Evolución de la demanda de la red de centros de datos (DCN)

La red es un componente crucial de la infraestructura de TI y sirve como base que conecta todos los recursos de la capa IaaS para proporcionar servicios. En la era de los datos, el núcleo de la computación en la nube, los macrodatos y la inteligencia artificial son los datos en sí mismos, y la red actúa como una autopista de alta velocidad que transporta el flujo de datos.

Las redes de centros de datos han experimentado cambios notables durante la última década, evolucionando desde los centros de datos estrictos y estandarizados de la industria financiera hasta las actuales empresas de Internet que lideran la ola tecnológica.

Hoy en día, con el rápido desarrollo de tecnologías nativas de la nube, que abarcan más de 200 proyectos, el desarrollo, implementación, operación y mantenimiento de aplicaciones se han transformado. Una multitud de sistemas de aplicaciones se crean utilizando tecnologías nativas de la nube, con contenedores que actúan como la unidad más pequeña de carga de trabajo empresarial, caracterizada por su agilidad, coherencia y sólidas capacidades de replicación y escalamiento. Los clústeres compuestos por numerosos contenedores superan con creces el número de máquinas virtuales. Además, los mecanismos de asignación de recursos más detallados y las estrategias de distribución de confiabilidad han llevado a una comunicación e interacción entre nodos más frecuentes entre los contenedores comerciales y varios componentes del sistema distribuido. Estos dependen de redes externas para proporcionar un reenvío confiable de extremo a extremo, lo que genera mayores demandas de control y visualización del tráfico.

Además, con la adopción generalizada de tecnologías de big data e inteligencia artificial, se han aplicado ampliamente sistemas basados ​​en ellas, como motores de recomendación, búsqueda y reconocimiento de imágenes, interacción de voz y traducción automática. Los macrodatos y la inteligencia artificial se han convertido en herramientas vitales para la gestión empresarial y la competencia en el mercado, con enormes cantidades de datos almacenados para su análisis y extracción. Desde el procesamiento de datos y el entrenamiento de modelos (aprendizaje automático/aprendizaje profundo) hasta los servicios en línea, cada paso depende de una computación poderosa y una gran cantidad de datos, lo que aumenta el consumo de recursos computacionales y de almacenamiento. Esto ha impulsado la evolución de la construcción de centros de datos hacia la gran y la supergran escala, con la consiguiente escala de la red también creciendo, lo que hace que la automatización de la red y el funcionamiento inteligente sean una necesidad.

Por último, es importante mencionar el crecimiento explosivo de los videos largos y cortos, la transmisión en vivo, VR/AR y otros medios de transmisión de video en los últimos dos años. Estos han penetrado en diversos campos, como las noticias, la educación, las compras, la socialización, los viajes y los juegos de entretenimiento, con una amplia base de usuarios y una gran duración de uso. Junto con la rápida proliferación de terminales 5G, las expectativas de los usuarios de videos de alta calidad y experiencias de visualización de baja latencia continúan aumentando, lo que impulsa aún más el consumo de ancho de banda de la red.

En respuesta a las tendencias cambiantes en los requisitos comerciales y el rápido desarrollo de la tecnología de red, la velocidad de iteración de los equipos de red del centro de datos también se ha acelerado. Actualmente, interruptores del centro de datos se actualizan con una nueva generación de productos cada dos años, y cada nueva generación offLos usuarios casi duplican el rendimiento, mayor rendimiento, entradas de tabla más grandes y más funciones, con un posicionamiento de roles más específico en la red.

Impulsado por el entorno industrial general de tarjetas de red y módulos ópticos del lado del servidor, el ancho de banda de los enlaces de acceso al centro de datos ha evolucionado de 10G -> 25G -> 50G -> 100G -> 200G -> 400G, y el ancho de banda del enlace de interconexión ha evolucionado. desde 40G -> 100G -> 200G -> 400G -> 800G. El escenario principal ha pasado de una combinación de acceso de 25G + interconexión de 100G a la combinación actual de acceso de 100G + interconexión de 400G. En escenarios de GPU, el acceso se desarrollará desde 100G, 200G hasta 400G, 800G.

Teniendo en cuenta el contexto antes mencionado y la arquitectura de red, la elección de la arquitectura de red DCN está influenciada por muchos factores, como los requisitos comerciales, las condiciones tecnológicas actuales, los costos de equipos, los costos de gestión y la inversión en recursos humanos. No existe una arquitectura única que pueda atender todos los escenarios y necesidades de los clientes; Se debe realizar una consideración exhaustiva y un equilibrio antes de tomar una decisión.

Arquitectura Clos de dos niveles: adecuada para centros de datos pequeños y medianos

La arquitectura Clos de dos niveles es una de las estructuras de red más antiguas y más ampliamente aplicadas, y sigue siendo la opción preferida de muchos clientes de la industria hasta el día de hoy. El equipo de red solo desempeña dos funciones: garantizar rutas cortas de reenvío de datos, con accesibilidad entre hojas dentro de un salto, y offOfreciendo una fuerte coherencia en las rutas y la latencia. El enfoque de acceso unificado facilita enormemente la implementación y el escalamiento horizontal, como la implementación de protocolos BGP, el control de políticas, el mantenimiento de rutina y la resolución de problemas. Es especialmente adecuado para pequeñas y medianas empresas con menos personal operativo.

La arquitectura Clos de dos niveles impone altas exigencias en el rendimiento y la confiabilidad de los conmutadores Spine, que generalmente emplean productos de conmutadores centrales basados ​​en chasis de centros de datos. Con reenvío de celda variable y mecanismos de programación VoQ, garantiza una conmutación estricta sin bloqueo dentro de los dispositivos Spine, y la configuración de grandes cachés distribuidas naturalmente sobresale en el manejo de ráfagas de tráfico. Los conmutadores centrales basados ​​en chasis tienen planos de control, planos de avance y sistemas de soporte independientes, y utilizan diseños redundantes, lo que hace que todo el sistema sea mucho más confiable que los conmutadores tipo caja.

La arquitectura Clos de dos niveles es más madura en su compatibilidad con soluciones comerciales de controlador SDN. Combinado con un controlador SDN, puede crear rápidamente soluciones de superposición de red basadas en EVPN, lo que reduce la complejidad de implementar cadenas de servicios de este a oeste y de norte a sur y satisface la demanda de la red de vinculación completa de recursos informáticos, como máquinas virtuales y bare metal. y contenedores, en escenarios de nube.

Además, esta arquitectura también es adecuada para grandes empresas que implementan salas de convergencia y salas de borde en varias ubicaciones para construir redes informáticas de borde, aliviando la presión de la red troncal y reduciendo la latencia de acceso.

Los Spines utilizan 2 o 4 conmutadores centrales basados ​​en chasis, y cada conmutador Leaf tiene 4 enlaces ascendentes. Al garantizar una relación de convergencia de 3:1 (10G Leaf con 440G de enlaces ascendentes, 4810G de enlaces descendentes; 25G Leaf con 4100G de enlaces ascendentes, 4825G de enlaces descendentes), la escala de servidores admitidos (doble enlace ascendente) puede alcanzar más de 5000 y 10000, respectivamente.

Como se ve desde la topología, la escala de red, o capacidad de expansión horizontal, de la arquitectura Clos de dos niveles está limitada por la cantidad total de puertos proporcionados por los dispositivos Spine (cantidad de dispositivos * puertos por dispositivo). Dado que la cantidad de puertos de enlace ascendente en los conmutadores Leaf es fija (generalmente de 4 a 8), la cantidad de conmutadores de capa Spine también es limitada y no se puede aumentar continuamente.

Arquitectura Clos de tres niveles: adecuada para centros de datos de gran e hiperescala

La escala del servidor admitida por la arquitectura Clos de dos niveles generalmente no supera las 20,000 unidades. La introducción de la arquitectura Clos de tres niveles resuelve el cuello de botella en la escala de red que presenta la arquitectura de dos niveles. La arquitectura Clos de tres niveles agrega una capa de conmutadores de agregación (Pod Spine) entre las dos capas existentes. Un grupo de interruptores Pod Spine, junto con todos los interruptores Leaf conectados, forman un Pod. Se interconectan varios Pods a través de los conmutadores de la capa Spine para componer toda la red. Aumentar la cantidad de Pods permite el escalamiento horizontal de la red, lo que mejora significativamente su capacidad de expansión. Además, implementar servicios por unidad Pod offOfrece una mayor flexibilidad para adaptarse a las diversas necesidades del negocio, brindando servicios diferenciados y garantizando el aislamiento.

Dentro de cada Pod de la arquitectura Clos de tres niveles, Pod Spine emplea cuatro u ocho conmutadores tipo caja de 100G de alta densidad. La mitad de los puertos del Pod Spine se utilizan para conectarse hacia arriba al Spine y la otra mitad para conectarse hacia abajo a los conmutadores Leaf. Cada conmutador Leaf tiene cuatro u ocho enlaces ascendentes. Los escenarios típicos son los siguientes:

Escenario A: Pod Spine utiliza cuatro conmutadores tipo caja de 64G y 100 puertos (S9820-64H). Cada conmutador Leaf tiene cuatro enlaces ascendentes. Con una convergencia 3:1 dentro del Pod (25G Leaf con enlaces ascendentes de 4100G, enlaces descendentes de 4825G), un solo Pod puede admitir una escala de servidor de 768 unidades con enlaces ascendentes duales.

Escenario B: Pod Spine utiliza ocho conmutadores tipo caja de 128 puertos 100G (S9820-8C). Cada conmutador Leaf tiene ocho enlaces ascendentes. Con una convergencia 1.5:1 dentro del Pod (25G Leaf con enlaces ascendentes de 8100G, enlaces descendentes de 4825G), un solo Pod puede admitir una escala de servidor de 1536 unidades con enlaces ascendentes duales. Con una convergencia 1:1 (25G Leaf con 8100G de enlaces ascendentes, 3225G de enlaces descendentes), un solo Pod puede admitir una escala de servidor de 1024 unidades con enlaces ascendentes duales.

La introducción del conmutador de agregación de alta densidad Pod Spine ha permitido que los conmutadores centrales tipo bastidor de la capa Spine superen las limitaciones, permitiendo la implementación de docenas de unidades. La cantidad total de puertos proporcionados por los conmutadores centrales tipo rack de la capa Spine se puede utilizar para conectar docenas de Pods, lo que permite que toda la red admita una escala de servidor de más de 100,000 unidades.

Además, al ajustar la proporción de puertos de enlace ascendente y descendente dentro de los conmutadores Pod Spine, es posible definir de manera flexible la relación de convergencia para cada Pod. Esto no sólo satisface diferentes necesidades comerciales, sino que también ayuda a reducir costos y evitar desperdicios innecesarios.

Arquitectura Clos de varios niveles: adecuada para centros de datos de gran e hiperescala

La arquitectura de red multiplano basada en dispositivos tipo caja es la última arquitectura adoptada por las principales empresas de Internet para construir redes de centros de datos a gran e hiperescala. Esta arquitectura se originó a partir del F4 de Facebook. Las dos generaciones de conmutadores utilizados para construir esta red, el paquete de 6 y el Backpack, se basaron en un diseño de múltiples chips (12 chips), lo que hizo que la administración y la implementación fueran inconvenientes y costosas. Con la evolución de F4 a F16, gracias a la mejora en las capacidades del chip, el conmutador Minipack utilizado para construir F16 adoptó un diseño de chip único, lo que redujo significativamente el consumo de energía, el costo y las barreras técnicas. La solución se volvió más madura y, desde entonces, las empresas de Internet en China han introducido esta arquitectura.

Los artículos “Presentación de Data Center Fabric, la red de centros de datos de Facebook de próxima generación” y “Reinvención de la red de centros de datos de Facebook” brindan explicaciones detalladas de esta arquitectura. En comparación con la arquitectura Clos de tres niveles, la arquitectura de red multiplano basada en dispositivos tipo caja reemplaza los conmutadores tipo bastidor de la capa Spine con conmutadores tipo caja, por lo que todas las capas de la red están compuestas por conmutadores tipo caja. En términos de conectividad de dispositivos, a diferencia de la arquitectura Clos de tres niveles, donde cada Pod Spine debe estar completamente integrado con todos los conmutadores de capa Spine, la nueva arquitectura divide los conmutadores de capa Spine en múltiples grupos (el número de grupos corresponde al número de Pods). Interruptores de columna en cada Pod). Cada grupo de interruptores Spine forma un plano (como se muestra en la figura, la capa Spine está dividida en 8 planos, que se distinguen por diferentes colores), y cada interruptor Pod Spine solo necesita estar completamente entrelazado con los interruptores Spine en el plano correspondiente. Esto permite que toda la capa Spine conecte más Pods, creando un centro de datos a hiperescala que admite cientos de miles de servidores. Además, a medida que mejora el rendimiento de los conmutadores tipo caja, esta arquitectura puede seguir ampliando su capacidad.

Un conmutador de chasis central S12516X-AF con una placa de servicio de 48G de 100 puertos totalmente equipada, junto con seis conmutadores de caja S9820-8C con 128 puertos de 100G cada uno, pueden proporcionar la misma cantidad de 100G puertos (768 en total). Sin embargo, optar por la solución de interruptor de caja offOfrece importantes ventajas en costos, consumo de energía y disipación de calor. También elimina los requisitos especiales de espacio en el gabinete y distribución de energía que requieren los conmutadores de chasis central tradicionales.

Dado que tanto Spine como Pod Spine utilizan equipos idénticos con funcionalidad consistente y retraso de reenvío, facilita el desarrollo de nuevas funciones y la implementación perfecta de aplicaciones en toda la red. Además, la red puede pasar sin problemas de una red de 100G a una de 200G. 400Gy futuras redes de mayor velocidad sincronizadas. Además, debido al diseño de un solo chip, toda la capa Spine construida con conmutadores de caja muestra una latencia de reenvío significativamente menor en comparación con el uso de dispositivos de chasis, lo que reduce aún más la latencia de acceso entre Pods.

Sin embargo, esta arquitectura introduce nuevos desafíos. La cantidad de dispositivos de capa Spine es significativamente mayor que cuando se utilizan conmutadores de chasis, y la confiabilidad individual de los conmutadores de caja es menor que la de los conmutadores de chasis centrales, lo que plantea desafíos sustanciales para la gestión de la red y las operaciones diarias. Las plataformas de gestión de soporte, los sistemas de seguimiento y más deben adaptarse a estos cambios. Esto requiere mayores requisitos para los equipos de operaciones de red, incluida una división de personal refinada, amplia experiencia operativa, habilidades técnicas sólidas, capacidades de desarrollo de plataformas y control general de la red para mitigar y reducir el impacto de las fallas de equipos y redes en las operaciones comerciales.

Las tres arquitecturas de red DCN más típicas se han presentado anteriormente. La gestión eficaz de estas redes requiere la utilización de tecnología de visualización de redes. La tecnología de visualización de redes no solo permite el monitoreo del tráfico de extremo a extremo y las alertas de riesgos, y ayuda en la resolución de problemas, sino que también, a través de la acumulación y el análisis de datos, puede guiar y optimizar el diseño de la arquitectura de red de los centros de datos (como modelos, índices de convergencia, y básculas POD), lo que la convierte en una herramienta técnica crucial.

La tecnología de visualización de redes es cada vez más proactiva, eficiente e inteligente. Por ejemplo, el uso de gRPC permite la recopilación de información diversa de los dispositivos en tiempo real y con alta precisión. Se puede utilizar INT o Telemetry Stream para obtener la ruta y la latencia de la transmisión de datos comerciales en la red. TCB permite monitorear las MMU del dispositivo para capturar el tiempo de pérdida de paquetes en cola, los motivos y los paquetes descartados. MOD puede detectar la pérdida de paquetes que ocurre durante los procesos internos de reenvío del dispositivo y capturar los motivos de la pérdida de paquetes y las características de los paquetes descartados. Packet Trace permite un análisis en profundidad de la lógica de reenvío, simulando el reenvío de paquetes dentro de los chips para identificar las causas fundamentales de los problemas.

En el futuro, las NIC inteligentes desempeñarán un papel importante en las redes DCN. Las NIC inteligentes con capacidades programables no sólo liberan recursos de CPU y logran un reenvío de alto rendimiento, sino que también offFunciones adicionales como encapsulación/decapsulación de túneles, conmutación virtual, cifrado/descifrado, RDMA, etc. Con escenarios y demandas comerciales cada vez mayores, más funciones del plano de datos serán manejadas por NIC inteligentes, rompiendo las limitaciones de las implementaciones basadas en servidores o conmutadores. Este cambio tiene como objetivo lograr un equilibrio perfecto entre rendimiento, funcionalidad y flexibilidad. Las NIC inteligentes reemplazarán a los conmutadores Leaf en el extremo más alejado de las redes DCN. En consecuencia, la arquitectura de red, el despliegue de protocolos, la tecnología de visualización, etc., cambiarán con la introducción de NIC inteligentes, facilitando la optimización del rendimiento de un extremo a otro y la garantía del servicio, la detección y el monitoreo de un extremo a otro y la aplicación de nuevas tecnologías. como SRv6. Las futuras redes DCN avanzarán para proporcionar servicios de red más estables, eficientes y flexibles para empresas de capa superior cada vez más diversas.