حل 400G / 800G NDR من NVIDIA

كتقنية ناشئة ، خضع الذكاء الاصطناعي لتطور سريع في السنوات الأخيرة. من بينها ، بدأت سلسلة من تقنيات الذكاء الاصطناعي مثل ChatGPT في تغيير الإنتاج وأنماط الحياة تدريجياً. أدى التحسين المستمر لخوارزميات التعلم العميق والتوسع في مجموعات بيانات التدريب أيضًا إلى زيادة موارد الحوسبة المطلوبة لتدريب نماذج اللغة الكبيرة ، بما في ذلك وحدات المعالجة المركزية ووحدات معالجة الرسومات ووحدات DPU ، والتي يجب توصيلها بالخوادم لتدريب النموذج من خلال الشبكات. لذلك ، يكون لعرض النطاق الترددي للشبكة ووقت الاستجابة تأثير مباشر على سرعة التدريب وكفاءته. لمعالجة هذه المشكلة ، أطلقت NVIDIA منصة Quantum-2 InfiniBand ، والتي توفر أداء شبكة قويًا وميزات شاملة لمساعدة مطوري الذكاء الاصطناعي والباحثين في التغلب على الصعوبات.

استنادًا إلى فهمها لاتجاهات تطوير الشبكات عالية السرعة والخبرة الغنية في تنفيذ مشاريع الشبكة عالية الأداء ، قدمت NVIDIA حل شبكة NDR (معدل البيانات التالي) ، والذي تم إنشاؤه على أساس النظام الأساسي Quantum-2 InfiniBand. يتكون حل NDR من NVIDIA بشكل أساسي من محولات Quantum-2 InfiniBand 800G (واجهات 2x400G NDR) ، ومحولات مضيف ConnectX-7 InfiniBand ، وموصلات LinkX InfiniBand البصرية ، والتي تهدف إلى توفير أداء شبكة فائق القوة بزمن انتقال منخفض وعرض نطاق ترددي عالٍ للمجالات الهامة مثل كحوسبة عالية الأداء ومراكز بيانات سحابية واسعة النطاق وذكاء اصطناعي.

تشمل حالات الاستخدام:

1. قم بتوصيل مفتاحين بسرعة 800 جيجابت / ثانية أو التوصيل بمفتاحين بسرعة 400 جيجابت / ثانية لكل منهما.

لتوصيل محولين يعتمدان على OSFP ، يمكنك استخدام اثنين من أجهزة الإرسال والاستقبال OSFP ذات المنفذ المزدوج (MMA4Z00-NS) وكابلين من الألياف المستقيمة متعددة الأوضاع (MFP7E10-Nxxx) حتى مسافة 50 مترًا. سيسمح لك ذلك بتحقيق سرعة 800 جرام (2 × 400 جرام). بدلاً من ذلك ، يمكنك توجيه كابلي الألياف إلى محولين مختلفين لإنشاء رابطين منفصلين 400 جيجابت / ثانية. يمكن بعد ذلك استخدام منافذ Twin Port OSFP الإضافية للاتصال بمزيد من المحولات إذا لزم الأمر.

2. قم بتوصيل مجموعتين من ConnectX-7 BlueField-3 بسرعة 400 جيجا لكل منهما.

باستخدام جهاز إرسال واستقبال OSFP مزدوج المنفذ مع كابلين من الألياف المستقيمة ، يمكنك توصيل ما يصل إلى محولين و / أو مجموعات DPU باستخدام ConnectX-7 أو BlueField-3. يحتوي كل كابل على أربع قنوات ويمكن ربطه بجهاز إرسال واستقبال سعة 400 جيجا في أي من OSFP (MMA4Z00-NS400) أو عامل الشكل QSFP112 (MMA1Z00-NS400) للمسافات التي تصل إلى 50 مترًا. كل من عوامل الشكل OSFP و QSFP112 أحادية المنفذ لها نفس الإلكترونيات والبصريات والموصلات البصرية وتستهلك 8 واط من الطاقة.

يرجى ملاحظة أن ConnectX-7 / OSFPs فقط تدعم عامل شكل OSFP أحادي المنفذ ، بينما يُستخدم عامل الشكل QSFP112 في ConnectX-7 / QSFP112s و / أو BlueField-3 / QSFP112 DPU. يمكنك استخدام أي مجموعة من ConnectX-7 و BlueField-3 باستخدام OSFP أو QSFP112 على نفس جهاز الإرسال والاستقبال OSFP ثنائي المنفذ في نفس الوقت.

3. قم بالاتصال بأربع مجموعات من ConnectX-7 و / أو BlueField-3 بسرعة 200 جيجابت لكل منهما.

إذا كنت ترغب في تبديل ما يصل إلى أربعة مهايئات و / أو مجموعات DPU باستخدام ConnectX-7 أو BlueField-3 ، فيمكنك استخدام جهاز إرسال واستقبال OSFP ثنائي المنفذ مع كبلتي تقسيم ألياف بصرية 1: 2. يمكن توصيل كل من كبلتي تقسيم الألياف ذات 4 قنوات 1: 2 (MFP7E20-N0xx) بجهاز إرسال واستقبال سعة 400 جيجا حتى 50 مترًا إما في OSFP (MMA4Z00-NS400) أو QSFP112 (MMA1Z00-NS400) شكل عامل. يتم استخدام نفس الإلكترونيات والبصريات والموصلات البصرية لكل من عوامل الشكل OSFP و QSFP112 أحادية المنفذ. عند توصيل نهايتي القناة ثنائية الألياف ، يتم تنشيط مسارين فقط في جهاز الإرسال والاستقبال 400G ، مما يؤدي إلى إنشاء جهاز 200G. هذا أيضًا يقلل تلقائيًا من استهلاك الطاقة لأجهزة الإرسال والاستقبال 400 جيجا من 8 واط إلى 5.5 واط ، بينما يظل استهلاك الطاقة بمنفذ OSFP ثنائي المنفذ عند 15 واط.

يرجى ملاحظة أن ConnectX-7 / OSFPs فقط هي المتوافقة مع عامل شكل OSFP أحادي المنفذ ، بينما يُستخدم عامل الشكل QSFP112 في ConnectX-7 / QSFP112s و / أو BlueField-3 / QSFP112 DPU. يمكنك استخدام أي مجموعة من أنواع ConnectX-7 و BlueField-3 على نفس جهاز الإرسال والاستقبال OSFP ذو المنفذ المزدوج.

4. اربط المفتاح بهيكل وحدة المعالجة المركزية DGX H100 “Viking” في مجمع Cedar-7.

تم تجهيز نظام DGX-H100 بثمانية وحدات معالجة رسومات Hopper H100 موجودة في الهيكل العلوي ، جنبًا إلى جنب مع وحدتي CPU ووحدة تخزين و بتقنية InfiniBand أو شبكات Ethernet في قسم الخادم السفلي. لتسهيل الاتصال بين GPU و GPU ، يتم استخدام بطاقات Cedar-7 التي تحتوي على ثماني وحدات ICs ConnectX-400 7Gb / s مثبتة على لوحين من الميزانين. ترتبط هذه البطاقات داخليًا بأربعة أقفاص OSFP ثنائية المنافذ سعة 800 جيجا مع أحواض حرارية داخلية لأغراض التبريد.

تتطلب المفاتيح التي تدعم 400G IB / EN أجهزة إرسال واستقبال 2x400G ذات زعانف نظرًا لانخفاض مداخل تدفق الهواء. يمكن أن تستخدم روابط Cedar-7-to-Switch إما بصريات أحادية الوضع أو متعددة الأوضاع أو كبلات نحاسية نشطة (ACC) لاتصال InfiniBand أو Ethernet.

يوفر جهاز الإرسال والاستقبال ثنائي المنفذ 2x400G رابطين 400G ConnectX-7 من DGX إلى المحول Quantum-2 أو Spectrum-4 ، مما يقلل من التعقيد وعدد أجهزة الإرسال والاستقبال المطلوبة مقارنة بـ DGX A100. يدعم DGX-H100 أيضًا ما يصل إلى أربع وحدات ConnectX-7 و / أو وحدتي معالجة بيانات BlueField-3 (DPU) في InfiniBand و / أو Ethernet للشبكات التقليدية للتخزين والمجموعات والإدارة.

يمكن أن تستوعب فتحات بطاقة PCIe الموجودة على جانبي أقفاص GPU OSFP كبلات و / أو أجهزة إرسال واستقبال منفصلة لتسهيل الشبكات الإضافية باستخدام 400G أو 200G مع أجهزة OSFP أو QSFP112.

بتقنية InfiniBand الكم -2 مفاتيح

محولات QM9700 و QM9790 من NVIDIA Quantum-2 هي محولات IB (InfiniBand) السائدة في مجال الذكاء الاصطناعي الحديث والحوسبة عالية الأداء. من خلال خدمات الابتكار التكنولوجي واختبار الموثوقية ، توفر شبكات NVIDIA للمستخدمين خدمات تسريع شبكة ممتازة.

يستخدم هذان المحولان تصميم هيكل قياسي 1U ، مع إجمالي 32 جيجا بايت واجهات فعلية ، ويدعم 800 منفذ NDR 64Gb / s InfiniBand (والتي يمكن تقسيمها إلى 400 منفذًا بسعة 128 جيجابت / ثانية). إنها تدعم تقنية NVIDIA SHARP من الجيل الثالث والتحكم المتقدم في الازدحام والتوجيه التكيفي وتقنية الشبكة ذاتية الإصلاح. مقارنةً بالجيل السابق من منتجات HDR ، يوفر NDR ضعف سرعة المنفذ ، وثلاثة أضعاف كثافة منفذ التبديل ، وخمسة أضعاف سعة نظام التبديل ، و 200 ضعفًا لقدرة التبديل AI.

محولات QM9700 و QM9790 عبارة عن منتجات لحلول InfiniBand المثبتة على الرف ، بما في ذلك المحولات المبردة بالهواء والمبردة بالسائل ، فضلاً عن المفاتيح المُدارة وغير المُدارة. يمكن أن يدعم كل محول نطاقًا تردديًا إجماليًا ثنائي الاتجاه يبلغ 51.2 تيرابايت / ثانية ولديه قدرة إنتاجية مذهلة تزيد عن 66.5 مليار حزمة في الثانية (BPPS). هذا هو حوالي خمسة أضعاف قدرة التحويل للجيل السابق Quantum-1.

تتميز محولات QM9700 و QM9790 بمرونة قوية ويمكنها دعم هياكل الشبكات المختلفة مثل Fat Tree و DragonFly + و Torus متعدد الأبعاد. كما أنها تدعم التوافق مع الأجيال السابقة من المنتجات ولديها دعم شامل لنظام البرامج.

كوانتوم -2 ConnectX-7 بطاقة واجهة الشبكة الذكية

توفر NVIDIA بطاقات الشبكة الذكية NDR أو NDR200 أو NDR7 أو NVIDIA ConnectX 2 أحادية المنفذ أو ثنائية المنفذ كحل Quantum-32. باستخدام تقنية NVIDIA Mellanox Socket Direct ، تحقق بطاقة الشبكة هذه 4 قناة من PCIe Gen7. تم تصميم ConnectX-7 بتقنية 8 نانومتر ، ويحتوي على 6 مليارات ترانزستور ومعدل نقل بيانات يبلغ ضعف معدل نقل البيانات الرائد NVIDIA ConnectX-XNUMX. كما أنه يضاعف أداء RDMA و GPUDirect Storage و GPUDirect RDMA وحوسبة الشبكة.

يتضمن NDR HCA عدة نوى حسابية قابلة للبرمجة يمكنها تفريغ خوارزميات بيانات المعالجة المسبقة ومسارات التحكم في التطبيق من وحدة المعالجة المركزية أو وحدة معالجة الرسومات إلى الشبكة ، مما يوفر أداءً أعلى وقابلية للتوسع والتداخل بين مهام الحوسبة والاتصال. تلبي بطاقة الشبكة الذكية هذه المتطلبات الأكثر تطلبًا للمؤسسات التقليدية وأعباء العمل العالمية في مجالات الذكاء الاصطناعي والحوسبة العلمية ومراكز البيانات السحابية واسعة النطاق.

رابط بصري LinkX InfiniBand

فايبر مول offحلول الاتصال البصري InfiniBand المرنة بسرعة 400 جيجابت / ثانية ، بما في ذلك أجهزة الإرسال والاستقبال أحادية الوضع ومتعددة الأوضاع ، ووصلات الألياف MPO ، والكابلات النحاسية النشطة (ACC) ، والكابلات النحاسية المنفعلة (DAC) ، لتلبية احتياجات هياكل الشبكات المختلفة.

يشتمل الحل على أجهزة إرسال واستقبال ثنائية المنافذ مع موصلات OSFP التي تتميز بزعانف مصممة لمفاتيح التكوين الثابتة المبردة بالهواء ، في حين أن تلك التي تحتوي على موصلات OSFP المسطحة مناسبة للمفاتيح المعيارية المبردة بالسائل و HCA.

بالنسبة لربط المحول ، يمكن استخدام وحدة بصرية 2xNDR (800Gbps) جديدة معبأة OSFP لتوصيل محولين QM97XX. يعمل تصميم الزعنفة على تحسين تبديد الحرارة للوحدات الضوئية بشكل كبير.

للتوصيل البيني بين المحولات و HCA ، يستخدم طرف المحول وحدة بصرية 2xNDR (800 جيجابت في الثانية) مع زعانف OSFP ، بينما يستخدم طرف NIC وحدة مسطحة وحدة بصرية OSFP 400 جيجابت في الثانية. يمكن أن توفر وصلات العبور الليفية MPO 3-150 مترًا ، ويمكن أن توفر الألياف الفاصلة من واحد إلى اثنين من 3-50 مترًا.

يوفر الاتصال بين المحول و HCA حلاً باستخدام DAC (حتى 1.5 متر) أو ACC (حتى 3 أمتار). يمكن استخدام كبل فاصل من واحد إلى اثنين لتوصيل منفذ OSFP للمحول (مزود بمنفذين InfiniBand بسعة 400 جيجابت / ثانية) بمنفذي HCA مستقلين 400 جيجابت / ثانية. يمكن استخدام كبل فاصل من واحد إلى أربعة لتوصيل منفذ تبديل OSFP للمحول بأربعة 200 جيجابت / ثانية HCAs.

المزايا

منصة NVIDIA Quantum-2 InfiniBand عبارة عن حل شبكات عالي الأداء قادر على تحقيق سرعات نقل تصل إلى 400 جيجابت / ثانية لكل منفذ. من خلال تطبيق تقنية NVIDIA Port Splitting ، فإنها تحقق ضعف السرعة في كثافة المنفذ ، وثلاثة أضعاف كثافة منفذ التبديل ، وخمسة أضعاف سعة نظام التبديل. عند استخدام طوبولوجيا Dragonfly + ، يمكن للشبكة القائمة على Quantum-2 تحقيق اتصال بسرعة 400 جيجابت / ثانية لأكثر من مليون عقدة خلال ثلاث قفزات ، مع تقليل استهلاك الطاقة ووقت الاستجابة والمتطلبات المكانية.

فيما يتعلق بالأداء ، قدمت NVIDIA تقنية SHARP من الجيل الثالث (SHARPv3) ، والتي تخلق قابلية توسع شبه غير محدودة لتجميع البيانات الكبيرة من خلال شبكة قابلة للتطوير تدعم ما يصل إلى 64 تدفقات متوازية. زادت إمكانيات تسريع الذكاء الاصطناعي بمقدار 32 مرة مقارنة بمنتج HDR السابق.

من حيث تكاليف المستخدم ، يمكن أن يؤدي استخدام أجهزة NDR إلى تقليل تعقيد الشبكة وتحسين الكفاءة. عند ترقية السعر لاحقًا ، يلزم استبدال الكابلات وبطاقات الشبكة فقط. تتطلب شبكات NDR أجهزة أقل من تلك التي تدعم نفس الشبكة ، مما يجعلها أكثر فعالية من حيث التكلفة بالنسبة للميزانيات الإجمالية والاستثمارات المستقبلية. مقارنةً بتقنية HDR السابقة ، يمكن لأجهزة NDR تقليل التكاليف وتحسين الكفاءة.