NVIDIA DGX H100 Einführung

Das NVIDIA DGX H100-System ist ein universelles System, das für KI-Infrastruktur und Workloads entwickelt wurde. Hier ist eine Zusammenfassung der wichtigsten Hardware- und Komponentenmerkmale des Systems:

Das GPU-Board-Tray ist der Hauptkomponenten-Montagebereich des gesamten AI-Servers. Der Kernteil ist das GPU Board Tray, das hauptsächlich GPU-Komponenten, Modulplatinen und NVSwitches enthält.

Der CPU-Motherboard-Einschub ist die Kernkomponente des Servers (einschließlich normaler Server und AI-Server), der das CPU-Motherboard, den Systemspeicher, die Netzwerkkarte, den PCIE-Switch und andere Komponenten enthält.

• Grafikprozessor: 8 NVIDIA H100-GPUs mit 640 GB GPU-Speicher.
• Zentralprozessor: 2 Intel Xeon 8480C PCIe Gen5 CPUs mit jeweils 56 Kernen, Taktfrequenz von 2.0 GHz bis 3.8 GHz.

• NVLink: 4 NVLinks der vierten Generation, die eine GPU-zu-GPU-Bandbreite von 900 GB/s bieten.
• Lagerung:

Betriebssystemspeicher: 2 1.92 TB NVMe M.2 SSDs (RAID 1 Array).

Daten-Cache-Speicher: 8 3.84 TB NVMe U.2 SEDs (RAID 0-Array).

• Netzwerk:

Cluster-Netzwerk: 4 OSFP-Ports, unterstützt InfiniBand (bis zu 400 Gbit/s) und Ethernet (bis zu 400 GbE).

Speichernetzwerk: 2 NVIDIA ConnectX-7 Dual-Port-Ethernet-Karten, die Ethernet (bis zu 400 GbE) und InfiniBand (bis zu 400 Gbit/s) unterstützen.

• Systemspeicher: Jeweils 32 DIMMs bieten 2 TB Speicher.
• Out-of-Band-Systemmanagement (BMC): Unterstützt Redfish, IPMI, SNMP, KVM und Web-Benutzeroberfläche.
• In-Band-Systemverwaltung: 3 Dual-Port-100-GbE- und 10-GbE-RJ45-Schnittstellen. Mechanische und Leistungsdaten:

• Abmessungen: 8U-Rackmontage, Höhe 14 Zoll, maximale Breite 19 Zoll, maximale Tiefe 35.3 Zoll.
• Gewicht: Maximal 287.6 Pfund (130.45 kg).
• Eingangsspannung: 200–240 Volt Wechselstrom.
• Spezifikationen für jedes Netzteil: Maximal 10.2 Kilowatt, 3300 Watt bei 200–240 Volt, 16 Ampere, 50–60 Hertz.
• Unterstützt Hochgeschwindigkeitsnetzwerkverbindungen, einschließlich InfiniBand und Ethernet, mit Geschwindigkeiten von bis zu 400 Gbit/s.