Erkundung von Internet-Rechenzentren: die Entwicklung von DCN

Entwicklung der Nachfrage nach Rechenzentrumsnetzwerken (DCN).

Das Netzwerk ist eine entscheidende Komponente der IT-Infrastruktur und dient als Grundlage, die alle Ressourcen der IaaS-Schicht verbindet, um Dienste bereitzustellen. Im Zeitalter der Daten sind die Daten selbst der Kern von Cloud Computing, Big Data und künstlicher Intelligenz, wobei das Netzwerk als Hochgeschwindigkeitsautobahn fungiert, die den Datenfluss transportiert.

Die Rechenzentrumsnetzwerke haben im letzten Jahrzehnt bemerkenswerte Veränderungen erfahren und sich von den strengen und standardisierten Rechenzentren der Finanzindustrie zu den heutigen Internetunternehmen entwickelt, die die technologische Welle anführen.

Mit der rasanten Entwicklung cloudnativer Technologien, die über 200 Projekte umfasst, haben sich heute die Entwicklung, Bereitstellung, der Betrieb und die Wartung von Anwendungen verändert. Eine Vielzahl von Anwendungssystemen wird mithilfe cloudnativer Technologien erstellt, wobei Container als kleinste Einheit der Geschäftsarbeitslast dienen und sich durch Agilität, Konsistenz sowie starke Replikations- und Skalierungsfunktionen auszeichnen. Cluster, die aus zahlreichen Containern bestehen, übersteigen die Anzahl an VMs bei weitem. Darüber hinaus haben feinkörnigere Ressourcenzuweisungsmechanismen und Zuverlässigkeitsverteilungsstrategien zu einer häufigeren knotenübergreifenden Kommunikation und Interaktion zwischen Geschäftscontainern und verschiedenen verteilten Systemkomponenten geführt. Diese sind auf externe Netzwerke angewiesen, um eine zuverlässige End-to-End-Weiterleitung zu gewährleisten, was höhere Anforderungen an die Verkehrssteuerung und -visualisierung mit sich bringt.

Darüber hinaus wurden mit der weit verbreiteten Einführung von Big-Data- und künstlichen Intelligenz-Technologien darauf basierende Systeme wie Empfehlungsmaschinen, Bildsuche und -erkennung, Sprachinteraktion und maschinelle Übersetzung in großem Umfang eingesetzt. Big Data und KI sind zu wichtigen Werkzeugen für die Unternehmensführung und den Marktwettbewerb geworden, wobei riesige Datenmengen für die Analyse und Gewinnung gespeichert werden. Von der Datenverarbeitung und dem Modelltraining (maschinelles Lernen/Deep Learning) bis hin zu Onlinediensten ist jeder Schritt auf leistungsstarke Rechenleistung und große Datenmengen angewiesen, was den Verbrauch von Rechen- und Speicherressourcen erhöht. Dies hat zu einer Weiterentwicklung des Rechenzentrumsbaus in Richtung Groß- und Supergroßmaßstab geführt, wobei auch die damit einhergehende Netzwerkgröße zunimmt, was Netzwerkautomatisierung und intelligenten Betrieb zu einer Notwendigkeit macht.

Abschließend ist es wichtig, das explosionsartige Wachstum von langen und kurzen Videos, Live-Streaming, VR/AR und anderen Video-Streaming-Medien in den letzten zwei Jahren zu erwähnen. Diese sind in verschiedene Bereiche wie Nachrichten, Bildung, Einkaufen, Geselligkeit, Reisen und Spieleunterhaltung vorgedrungen und verfügen über eine große Nutzerbasis und eine lange Nutzungsdauer. In Verbindung mit der schnellen Verbreitung von 5G-Terminals steigen die Erwartungen der Benutzer an hochwertige Videos und Seherlebnisse mit geringer Latenz weiter, was den Bandbreitenverbrauch im Netzwerk weiter steigert.

Als Reaktion auf die sich ändernden Trends bei den Geschäftsanforderungen und die rasante Entwicklung der Netzwerktechnologie hat sich auch die Iterationsgeschwindigkeit der Netzwerkausrüstung von Rechenzentren beschleunigt. Momentan, Rechenzentrumsschalter werden alle zwei Jahre und jede neue Generation mit einer neuen Produktgeneration aktualisiert offEs bietet fast eine doppelte Leistung, einen höheren Durchsatz, größere Tabelleneinträge und mehr Funktionen sowie eine gezieltere Rollenpositionierung im Netzwerk.

Aufgrund der allgemeinen Branchenumgebung serverseitiger Netzwerkkarten und optischer Module hat sich die Bandbreite der Zugangsverbindungen zu Rechenzentren von 10G -> 25G -> 50G -> 100G -> 200G -> 400G und die Bandbreite der Verbindungsverbindungen weiterentwickelt von 40G -> 100G -> 200G -> 400G -> 800G. Das Hauptszenario hat sich von einer Kombination aus 25G-Zugang und 100G-Verbindung zur aktuellen Kombination aus 100G-Zugang und 400G-Verbindung verlagert. In GPU-Szenarien wird sich der Zugriff von 100G, 200G bis 400G entwickeln. 800G.

Unter Berücksichtigung des oben genannten Kontexts und der Netzwerkarchitektur wird die Wahl der DCN-Netzwerkarchitektur von vielen Faktoren beeinflusst, wie z. B. Geschäftsanforderungen, aktuellen technologischen Bedingungen, Ausrüstungskosten, Verwaltungskosten und Investitionen in Humanressourcen. Es gibt keine einheitliche Architektur, die alle Kundenszenarien und -bedürfnisse abdecken kann. Bevor eine Entscheidung getroffen wird, muss eine umfassende Überlegung und Abwägung erfolgen.

Zweistufige Clos-Architektur: Geeignet für kleine bis mittlere Rechenzentren

Die zweistufige Clos-Architektur ist eine der frühesten und am weitesten verbreiteten Netzwerkstrukturen und ist bis heute die bevorzugte Wahl für viele Industriekunden. Die Netzwerkausrüstung spielt nur zwei Rollen: Sie gewährleistet kurze Datenweiterleitungspfade mit blattübergreifender Zugänglichkeit innerhalb eines Hops und offEr sorgt für eine starke Konsistenz bei Pfaden und Latenz. Der einheitliche Zugriffsansatz erleichtert die Bereitstellung und horizontale Skalierung erheblich, beispielsweise die Bereitstellung von BGP-Protokollen, die Richtlinienkontrolle, die routinemäßige Wartung und die Fehlerbehebung. Es eignet sich besonders gut für kleine und mittlere Unternehmen mit weniger Betriebspersonal.

Die zweistufige Clos-Architektur stellt hohe Anforderungen an die Leistung und Zuverlässigkeit von Spine-Switches, wobei in der Regel Core-Switch-Produkte auf Gehäusebasis für Rechenzentren zum Einsatz kommen. Mit variablen Zellweiterleitungs- und VoQ-Planungsmechanismen gewährleistet es eine strikte, nicht blockierende Umschaltung innerhalb von Spine-Geräten, und die Konfiguration verteilter großer Caches eignet sich natürlich hervorragend für die Bewältigung von Verkehrsstößen. Gehäusebasierte Core-Switches verfügen über unabhängige Steuerungsebenen, Weiterleitungsebenen und Unterstützungssysteme und verwenden redundante Designs, wodurch das gesamte System weitaus zuverlässiger ist als kastenförmige Switches.

Die zweistufige Clos-Architektur ist in ihrer Kompatibilität mit kommerziellen SDN-Controller-Lösungen ausgereifter. In Kombination mit einem SDN-Controller können schnell Netzwerk-Overlay-Lösungen auf Basis von EVPN erstellt werden, wodurch die Komplexität der Bereitstellung von Ost-West- und Nord-Süd-Dienstketten reduziert und die Nachfrage des Netzwerks nach vollständiger Verknüpfung von Rechenressourcen wie VMs und Bare Metal erfüllt wird und Container in Cloud-Szenarien.

Darüber hinaus eignet sich diese Architektur auch für große Unternehmen, die Konvergenzräume und Edge-Rooms an verschiedenen Standorten einsetzen, um Edge-Computing-Netzwerke aufzubauen, wodurch der Druck auf das Backbone-Netzwerk verringert und die Zugriffslatenz reduziert wird.

Spines verwenden entweder 2 oder 4 gehäusebasierte Core-Switches und jeder Leaf-Switch verfügt über 4 Uplinks. Durch die Gewährleistung eines Konvergenzverhältnisses von 3:1 (10G Leaf mit 440G Uplinks, 4810G Downlinks; 25G Leaf mit 4100G Uplinks, 4825G Downlinks) kann die unterstützte Serverskala (Dual-Uplink) über 5000 bzw. 10000 erreichen.

Wie aus der Topologie hervorgeht, ist der Netzwerkumfang bzw. die horizontale Erweiterungsfähigkeit der zweistufigen Clos-Architektur durch die Gesamtzahl der von den Spine-Geräten bereitgestellten Ports begrenzt (Anzahl der Geräte * Ports pro Gerät). Da die Anzahl der Uplink-Ports bei Leaf-Switches festgelegt ist (normalerweise 4–8), ist auch die Anzahl der Spine-Layer-Switches begrenzt und kann nicht kontinuierlich erhöht werden.

Dreistufige Clos-Architektur: Geeignet für große und Hyper-Scale-Rechenzentren

Die von der zweistufigen Clos-Architektur unterstützte Servergröße überschreitet im Allgemeinen nicht 20,000 Einheiten. Die Einführung der dreistufigen Clos-Architektur behebt den Engpass im Netzwerkmaßstab, der durch die zweistufige Architektur entsteht. Die dreistufige Clos-Architektur fügt zwischen den beiden vorhandenen Schichten eine Schicht aus Aggregationsschaltern (Pod Spine) hinzu. Eine Gruppe von Pod-Spine-Switches bildet zusammen mit allen angeschlossenen Leaf-Switches einen Pod. Mehrere Pods werden über die Spine-Layer-Switches miteinander verbunden, um das gesamte Netzwerk zu bilden. Die Erhöhung der Anzahl der Pods ermöglicht eine horizontale Skalierung des Netzwerks und erhöht so seine Erweiterungsfähigkeit erheblich. Darüber hinaus Bereitstellung von Diensten durch Pod-Einheiten offEs bietet eine größere Flexibilität bei der Anpassung an verschiedene Geschäftsanforderungen, die Bereitstellung differenzierter Dienste und die Gewährleistung der Isolation.

In jedem Pod der dreistufigen Clos-Architektur verwendet der Pod Spine entweder vier oder acht kastenförmige 100G-Switches mit hoher Dichte. Die Hälfte der Ports des Pod Spine wird für die Verbindung nach oben mit dem Spine und die andere Hälfte für die Verbindung nach unten mit den Leaf-Switches verwendet. Jeder Leaf-Switch verfügt entweder über vier oder acht Uplinks. Typische Szenarien sind wie folgt:

Szenario A: Der Pod Spine verwendet vier 64G-Box-Switches mit 100 Ports (S9820-64H). Jeder Leaf-Switch verfügt über vier Uplinks. Mit einer 3:1-Konvergenz innerhalb des Pods (25G Leaf mit 4100G Uplinks, 4825G Downlinks) kann ein einzelner Pod eine Servergröße von 768 Einheiten mit zwei Uplinks unterstützen.

Szenario B: Der Pod Spine verwendet acht 128G-Box-Switches mit 100 Ports (S9820-8C). Jeder Leaf-Switch verfügt über acht Uplinks. Mit einer 1.5:1-Konvergenz innerhalb des Pods (25G Leaf mit 8100G Uplinks, 4825G Downlinks) kann ein einzelner Pod eine Servergröße von 1536 Einheiten mit zwei Uplinks unterstützen. Mit einer 1:1-Konvergenz (25G Leaf mit 8100G Uplinks, 3225G Downlinks) kann ein einzelner Pod eine Servergröße von 1024 Einheiten mit zwei Uplinks unterstützen.

Durch die Einführung des High-Density-Aggregation-Switches Pod Spine konnten die Rack-Core-Switches der Spine-Schicht ihre Grenzen überschreiten und den Einsatz Dutzender Einheiten ermöglichen. Die Gesamtzahl der Ports, die von den Rack-Core-Switches der Spine-Schicht bereitgestellt werden, kann zum Verbinden Dutzender Pods verwendet werden, sodass das gesamte Netzwerk eine Serverskala von über 100,000 Einheiten unterstützen kann.

Darüber hinaus ist es durch die Anpassung des Verhältnisses von Uplink- und Downlink-Ports innerhalb der Pod Spine-Switches möglich, das Konvergenzverhältnis für jeden Pod flexibel zu definieren. Dies erfüllt nicht nur unterschiedliche Geschäftsanforderungen, sondern trägt auch dazu bei, Kosten zu senken und unnötigen Abfall zu vermeiden.

Mehrstufige Clos-Architektur: Geeignet für große und Hyper-Scale-Rechenzentren

Die auf kastenförmigen Geräten basierende Multi-Plane-Netzwerkarchitektur ist die neueste Architektur, die von führenden Internetunternehmen für den Aufbau großer und hyperskalierter Rechenzentrumsnetzwerke übernommen wird. Diese Architektur stammt aus Facebooks F4. Die beiden Switch-Generationen, die zum Aufbau dieses Netzwerks verwendet wurden, der 6-Pack und der Backpack, basierten auf einem Multi-Chip-Design (12 Chips), was die Verwaltung und Bereitstellung umständlich und kostspielig machte. Mit der Weiterentwicklung von F4 zu F16 übernahm der Minipack-Switch, der zum Bau von F16 verwendet wurde, dank der Verbesserung der Chipfähigkeiten ein Single-Chip-Design, wodurch Stromverbrauch, Kosten und technische Hindernisse erheblich reduziert wurden. Die Lösung wurde ausgereifter und seitdem wird diese Architektur von Internetunternehmen in China eingeführt.

Die Papiere „Introducing Data Center Fabric, the Next-generation Facebook Data Center Network“ und „Reinventing Facebook's Data Center Network“ bieten detaillierte Erläuterungen dieser Architektur. Im Vergleich zur dreischichtigen Clos-Architektur ersetzt die auf kastenförmigen Geräten basierende Multi-Plane-Netzwerkarchitektur die Rack-Switches der Spine-Schicht durch kastenförmige Switches, sodass alle Schichten des Netzwerks aus kastenförmigen Switches bestehen. Im Hinblick auf die Gerätekonnektivität unterteilt die neue Architektur im Gegensatz zur dreistufigen Clos-Architektur, bei der jeder Pod-Spine vollständig mit allen Spine-Layer-Switches vernetzt sein muss, die Spine-Layer-Switches in mehrere Gruppen (die Anzahl der Gruppen entspricht der Anzahl der Pods). Spine-Schalter in jedem Pod). Jede Gruppe von Spine-Schaltern bildet eine Ebene (wie in der Abbildung gezeigt, ist die Spine-Ebene in 8 Ebenen unterteilt, die sich durch unterschiedliche Farben unterscheiden), und jeder Pod-Spine-Schalter muss nur vollständig mit den Spine-Schaltern in der entsprechenden Ebene vernetzt sein. Dadurch kann die gesamte Spine-Schicht mehr Pods verbinden und so ein Hyper-Scale-Rechenzentrum aufbauen, das Hunderttausende Server unterstützt. Darüber hinaus kann diese Architektur mit zunehmender Leistung von Box-Switches ihre Kapazität weiter erweitern.

Ein Core-Chassis-Switch S12516X-AF mit einer voll ausgestatteten 48G-Serviceplatine mit 100 Ports sowie sechs Box-Switches S9820-8C mit jeweils 128 100G-Ports können beide die gleiche Anzahl bereitstellen 100G Ports (insgesamt 768). Entscheiden Sie sich jedoch für die Box-Switch-Lösung offEs bietet erhebliche Kosten-, Stromverbrauchs- und Wärmeableitungsvorteile. Außerdem entfallen die besonderen Anforderungen an den Schaltschrankraum und die Stromverteilung, die herkömmliche Core-Chassis-Switches erfordern.

Da sowohl Spine als auch Pod Spine identische Geräte mit konsistenter Funktionalität und Weiterleitungsverzögerung verwenden, erleichtert dies die Entwicklung neuer Funktionen und die nahtlose Bereitstellung von Anwendungen im gesamten Netzwerk. Darüber hinaus kann das Netzwerk reibungslos vom 100G-Netzwerk auf 200G umgestellt werden. 400Gund zukünftige schnellere Netzwerke synchron. Darüber hinaus weist die gesamte mit Box-Switches aufgebaute Spine-Schicht aufgrund des Single-Chip-Designs im Vergleich zur Verwendung von Chassis-Geräten eine deutlich geringere Weiterleitungslatenz auf, wodurch die Zugriffslatenz über Pods hinweg weiter reduziert wird.

Dennoch bringt diese Architektur neue Herausforderungen mit sich. Die Anzahl der Spine-Layer-Geräte ist deutlich höher als bei der Verwendung von Chassis-Switches, und die individuelle Zuverlässigkeit von Box-Switches ist geringer als die von Core-Chassis-Switches, was erhebliche Herausforderungen für das Netzwerkmanagement und den täglichen Betrieb mit sich bringt. Unterstützende Managementplattformen, Überwachungssysteme und mehr müssen an diese Veränderungen anpassbar sein. Dies erfordert erhöhte Anforderungen an Netzwerkbetriebsteams, einschließlich einer verfeinerten Personalaufteilung, umfangreicher Betriebserfahrung, robuster technischer Fähigkeiten, Plattformentwicklungsfähigkeiten und allgemeiner Netzwerkkontrolle, um die Auswirkungen von Geräte- und Netzwerkausfällen auf den Geschäftsbetrieb zu mildern und zu reduzieren.

Die drei typischsten DCN-Netzwerkarchitekturen wurden oben vorgestellt. Die effektive Verwaltung dieser Netzwerke erfordert den Einsatz von Netzwerkvisualisierungstechnologie. Die Netzwerkvisualisierungstechnologie ermöglicht nicht nur eine durchgängige Verkehrsüberwachung und Risikowarnung und hilft bei der Fehlerbehebung, sondern kann durch Datenakkumulation und -analyse auch das Netzwerkarchitekturdesign von Rechenzentren steuern und optimieren (z. B. Modelle, Konvergenzverhältnisse, und POD-Skalen), was es zu einem entscheidenden technischen Werkzeug macht.

Die Netzwerkvisualisierungstechnologie wird immer proaktiver, effizienter und intelligenter. Die Verwendung von gRPC ermöglicht beispielsweise die Echtzeit- und hochpräzise Erfassung verschiedener Informationen von Geräten. INT oder Telemetry Stream können verwendet werden, um den Pfad und die Latenz der Geschäftsdatenübertragung im Netzwerk zu ermitteln. TCB ermöglicht die Überwachung von Geräte-MMUs, um die Zeit des Paketverlusts in der Warteschlange, die Gründe und verworfene Pakete zu erfassen. MOD kann Paketverluste während interner Geräteweiterleitungsprozesse erkennen und die Gründe für Paketverluste sowie die Eigenschaften verworfener Pakete erfassen. Packet Trace ermöglicht eine detaillierte Analyse der Weiterleitungslogik und simuliert die Paketweiterleitung innerhalb von Chips, um die Grundursachen von Problemen zu identifizieren.

In Zukunft werden intelligente NICs eine bedeutende Rolle in DCN-Netzwerken spielen. Intelligente NICs mit programmierbaren Funktionen setzen nicht nur CPU-Ressourcen frei und ermöglichen eine leistungsstarke Weiterleitung, sondern auch offEr-Funktionen wie Tunnelkapselung/-entkapselung, virtuelles Switching, Verschlüsselung/Entschlüsselung, RDMA usw. Mit zunehmenden Geschäftsszenarien und -anforderungen werden mehr Datenebenenfunktionen von intelligenten NICs verwaltet, wodurch die Einschränkungen server- oder switchbasierter Implementierungen aufgehoben werden. Ziel dieser Umstellung ist es, ein perfektes Gleichgewicht zwischen Leistung, Funktionalität und Flexibilität zu erreichen. Intelligente NICs werden Leaf-Switches am äußersten Ende von DCN-Netzwerken ersetzen. Folglich werden sich Netzwerkarchitektur, Protokollbereitstellung, Visualisierungstechnologie usw. mit der Einführung intelligenter NICs ändern, was eine durchgängige Leistungsoptimierung und Servicesicherung, eine durchgängige Erkennung und Überwachung sowie die Anwendung neuer Technologien ermöglicht wie SRv6. Die zukünftigen DCN-Netzwerke werden sich weiterentwickeln, um stabilere, effizientere und flexiblere Netzwerkdienste für immer vielfältigere Unternehmen der oberen Schicht bereitzustellen.