تقدم FiberMall حلول شبكات HPC لشركة AIGC

يتطور AIGC (المحتوى الذي يتم إنشاؤه بواسطة AI) بسرعة مؤخرًا ، ويتفجر معدل التكرار بشكل كبير. من بينها ، جذب إطلاق GPT-4 و ERNIE Bot اهتمامًا كبيرًا لقيمة الأعمال وسيناريوهات التطبيق. مع تطوير AIGC ، انتقل حجم معلمات نموذج التدريب من مئات المليارات إلى تريليونات من المستويات ، ووصل حجم دعم GPU الأساسي أيضًا إلى تريليون بطاقة. يستمر مقياس الشبكة الناتج في الزيادة ، ويواجه الاتصال بين عقد الشبكة تحديات متزايدة. في هذا السياق ، أصبحت كيفية تحسين قدرة حوسبة خادم الذكاء الاصطناعي وإمكانية الاتصال بالشبكات ومراعاة التكلفة أحد اتجاهات البحث المهمة في مجال الذكاء الاصطناعي الحالي.

أطلقت FiberMall حلول الشبكة المتطورة "Smart Speed" DDC (الهيكل الموزع الموزع) عالية الأداء لمعالجة العلاقة بين قوة حوسبة AIGC ، واستخدام وحدة معالجة الرسومات والشبكة ، بالإضافة إلى التحديات التي تواجه شبكات HPC السائدة ، لمساعدة حوسبة أعمال AIGC ترتفع القوة.

رسم تخطيطي لاتصال منتج DDC الخاص بـ FiberMall

العلاقة بين القوة الحسابية لـ AIGC واستخدام وحدة معالجة الرسومات والشبكة

العلاقة بين وقت التدريب واستخدام GPU لـ ChatGPT

بأخذ ChatGPT كمثال ، من حيث القوة الحسابية ، فإن إجمالي استهلاك الطاقة الحسابية للتدريب على البنية التحتية للحوسبة الفائقة Microsoft Azure AI (مجموعة ذات نطاق ترددي عالٍ من 10,000 V 100 GPUs) حوالي 3,640 PF-day (ألف تريليون عملية حسابية في الثانية) ، تعمل لمدة 3,640 يومًا) ، إليك صيغة لتحويل المدة التي يستغرقها تدريب 10,000 فولت 100 ثانية.

جدول التدريب وقوة الحوسبة ChatGPT

ملاحظة: متطلبات طاقة الحوسبة ChatGPT متاحة على الإنترنت ويتم توفيرها هنا كمرجع فقط. في مقال "الذكاء الاصطناعي والحساب" ، تفترض OpenAI معدل استخدام يبلغ 33٪ ، بينما حققت مجموعة من الباحثين في NVIDIA و Stanford و Microsoft معدلات استخدام من 44٪ إلى 52٪ لتدريب نماذج اللغة الكبيرة على الأنظمة الموزعة.

يمكن ملاحظة أن العوامل الرئيسية التي تؤثر على وقت تدريب النموذج هي استخدام وحدة معالجة الرسومات وقوة معالجة مجموعة وحدة معالجة الرسومات. ترتبط هذه المقاييس الرئيسية بدورها ارتباطًا وثيقًا بكفاءة الشبكة. تعد كفاءة الشبكة عاملاً مهمًا يؤثر على استخدام وحدة معالجة الرسومات في مجموعات الذكاء الاصطناعي. في مجموعات الذكاء الاصطناعي ، عادةً ما تكون وحدات معالجة الرسومات هي المورد الأساسي لعقد الحوسبة لأنها تستطيع التعامل بكفاءة مع مهام التعلم العميق واسعة النطاق. ومع ذلك ، يتأثر استخدام GPU بعدة عوامل ، من بينها كفاءة الشبكة هي عامل رئيسي.

العلاقة بين كفاءة الشبكة واستخدام GPU

تلعب الشبكة دورًا مهمًا في تدريب الذكاء الاصطناعي ، وعادةً ما تتكون مجموعات الذكاء الاصطناعي من عدة عُقد للحوسبة والتخزين ، والتي تحتاج إلى التواصل وتبادل البيانات بشكل متكرر. إذا كانت الشبكة غير فعالة ، فسيصبح الاتصال بين هذه العقد بطيئًا ، مما سيؤثر بشكل مباشر على قوة الحوسبة لمجموعة الذكاء الاصطناعي.

يمكن أن تؤدي الشبكات غير الفعالة إلى المشكلات التالية ، والتي يمكن أن تقلل من استخدام وحدة معالجة الرسومات.

زيادة وقت نقل البيانات: في شبكة غير فعالة ، سيزداد وقت نقل البيانات. سينخفض ​​استخدام GPU عندما تحتاج وحدات معالجة الرسومات إلى انتظار اكتمال نقل البيانات قبل أن تتمكن من إجراء العمليات الحسابية.

اختناق عرض النطاق الترددي للشبكة: في مجموعة الذكاء الاصطناعي ، تحتاج وحدات معالجة الرسومات عادةً إلى تبادل البيانات مع عقد الحوسبة الأخرى بشكل متكرر. إذا كان عرض النطاق الترددي للشبكة غير كافٍ ، فلن تحصل وحدات معالجة الرسومات على بيانات كافية للحساب ، مما يؤدي إلى استخدام أقل لوحدة معالجة الرسومات.

جدولة المهام غير المتوازنة: في شبكة غير فعالة ، قد يتم تعيين المهام لعقد حساب مختلفة من وحدات معالجة الرسومات. قد يتسبب هذا في انتظار وحدة معالجة الرسومات في وضع الخمول عند الحاجة إلى نقل كمية كبيرة من البيانات ، وبالتالي تقليل استخدام وحدة معالجة الرسومات.

من أجل تحسين استخدام GPU ، يجب تحسين كفاءة الشبكة. يمكن تحقيق ذلك باستخدام تقنيات شبكة أسرع ، وتحسين هيكل الشبكة ، وترشيد تخصيص النطاق الترددي. في نموذج التدريب ، التوازي في التدريب الموزع: موازاة البيانات وتوازي الموتر وتوازي التدفق يحدد نموذج الاتصال بين البيانات التي تتم معالجتها بواسطة وحدات معالجة الرسومات. تتأثر كفاءة الاتصال بين النماذج بعدة عوامل:

العوامل المؤثرة في التواصل

من بينها ، النطاق الترددي وزمن انتقال الجهاز مقيدان بالأجهزة ، ويتأثر زمن انتقال المعالجة النهائية باختيار التكنولوجيا (TCP أو RDMA) ، RDMA سيكون أقل ، ويتأثر الطابور وإعادة الإرسال بتحسين الشبكة واختيار التكنولوجيا.

استنادًا إلى النموذج الكمي: استخدام GPU = وقت الحساب التكراري داخل GPU / (وقت الحساب التكراري داخل GPU + إجمالي وقت اتصال الشبكة) يتم استخلاص الاستنتاجات التالية:

رسم بياني لانتاج النطاق الترددي واستخدام وحدة معالجة الرسومات                        رسم بياني لوقت الاستجابة الديناميكي واستخدام GPU

يمكن ملاحظة أن معدل نقل النطاق الترددي للشبكة وزمن الانتقال الديناميكي (الازدحام / فقدان الحزمة) لهما تأثير كبير على استخدام وحدة معالجة الرسومات.

بناءً على تكوين زمن انتقال الاتصال الإجمالي:

تكوين إجمالي زمن الوصول للاتصال

يكون لزمن الانتقال الثابت تأثير أقل ، لذلك من المهم التركيز على كيفية تقليل زمن الانتقال الديناميكي ، والذي يمكن أن يحسن استخدام GPU بشكل فعال لتحقيق هدف تحسين قوة الحوسبة.

تحديات شبكات HPC السائدة

شبكات الوسيط المعرف مكلفة ومغلقة

بتقنية InfiniBand الشبكات هي الحل الأكثر فاعلية للشبكات الحالية عالية الأداء ، وذلك باستخدام النطاق الترددي الفائق والآليات القائمة على الائتمان لضمان عدم حدوث ازدحام وزمن انتقال منخفض للغاية ، ولكنها أيضًا الحل الأكثر تكلفة. إنه أيضًا الحل الأكثر تكلفة. إنها أغلى بعدة مرات من شبكات Ethernet التقليدية بنفس النطاق الترددي. في نفس الوقت، بتقنية InfiniBand التكنولوجيا مغلقة ، ولا يوجد سوى مورد واحد ناضج في الصناعة ، مما يجعل من المستحيل على المستخدمين النهائيين تحقيق مصدر ثان للإمداد.

لذلك ، سيختار معظم المستخدمين في الصناعة حل شبكات Ethernet التقليدي.

قد يؤدي كل من PFC و ECN إلى إحداث انخفاض في السرعة

يعتمد حل الشبكات السائد الحالي للشبكات عالية الأداء على RoCE v2 لبناء شبكات تدعم RDMA. تقنيتا التجميع المهمتان هما PFC و ECN ، وكلاهما تم إنشاؤه لتجنب الازدحام في الارتباط.

في ظل شبكات PFC متعددة المراحل ، ستستهدف ازدحام دخول التبديل والضغط الخلفي إلى الخادم المصدر لتعليق الإرسال خطوة بخطوة لتخفيف ازدحام الشبكة وتجنب فقدان الحزمة ؛ ومع ذلك ، قد يواجه هذا الحل خطر PFC Deadlock مما يتسبب في توقف حركة مرور RDMA عن إعادة التوجيه في ظل الشبكات متعددة المراحل.

رسم تخطيطي لآلية عمل PFC

بينما ينشئ ECN حزمة RoCEv2 CNP مباشرةً لإخطار مصدر تقليل السرعة بناءً على إدراك جانب الوجهة للازدحام عند خروج المحول ، يتلقى الخادم المصدر رسالة CNP ويقلل بدقة معدل إرسال QP المقابل لتخفيف الازدحام مع تجنب تخفيض السرعة العشوائي.

رسم تخطيطي لـ ECN

تم تصميم كلتا التقنيتين لحل الازدحام ، ولكن يمكن تشغيلهما بشكل متكرر بسبب الازدحام المحتمل في الشبكة. في النهاية ، سيتوقف طرف المصدر مؤقتًا أو يبطئ سرعة الإرسال ، وسيتم تقليل عرض النطاق الترددي للاتصال. يتأثر معدل استخدام GPU بشكل كبير ، مما يقلل من قوة الحوسبة لشبكة الأداء العالي بأكملها.

قد يتسبب عدم توازن ECMP في حدوث الازدحام

في حساب تدريب الذكاء الاصطناعي ، يوجد نموذجان رئيسيان ، All-Reduce و All-to-All ، وكلاهما يتطلب اتصالاً متكررًا من وحدة معالجة رسومات غرافيك واحدة إلى وحدات معالجة رسومات متعددة.

نماذج حساب تدريب الذكاء الاصطناعي

في الشبكات التقليدية ، تعتمد أجهزة ToR و Leaf التوجيه + وضع شبكة ECMP. تنفذ ECMP توجيه تحميل التجزئة بناءً على التدفقات. في الحالات القصوى ، يكون أحد ارتباطات ECMP ممتلئًا بسبب تدفق فيل واحد ، بينما تكون روابط ECMP الأخرى خاملة نسبيًا ، مما يؤدي إلى تحميل غير متساوٍ.

مخطط نشر ECMP التقليدي

في بيئة اختبار تحتوي على 8 روابط ECMP تمت محاكاتها داخليًا ، تكون نتائج الاختبار كما يلي:

نتائج اختبار المرور ECMP

كما يتضح ، يتسبب ECMP المستند إلى التدفق في شغل أكثر وضوحًا لبعض الارتباطات (ECMP1-5 و1-6) والخمول (ECMP1-0 إلى 1-3 خامل). في كل من طرازي All-Reduce و All-to-All ، من السهل أن يصبح الطريق مزدحمًا بسبب الحمل غير المتكافئ على ECMP. بمجرد أن يتسبب الازدحام في إعادة الإرسال ، فإنه يزيد من إجمالي زمن انتقال الاتصال ويقلل من استخدام وحدة معالجة الرسومات.

لذلك ، اقترح مجتمع البحث حلولًا غنية مثل phost و Homa و NDP و 1RMA و Aeolus. وهي تتناول الحالات المتغيرة بدرجات متفاوتة ، وتتناول أيضًا موازنة الحمل وزمن انتقال منخفض لحركة الطلب / الاستجابة. لكنهم يجلبون أيضًا تحديات جديدة. غالبًا ما تتطلب هذه الحلول المدروسة حلًا شاملاً للمشكلات ، مع إجراء تغييرات كبيرة على المضيفين وبطاقات NIC والشبكات ، وهو أمر مكلف بالنسبة للمستخدم العادي.

تحديات AI Clustering مع Box Switches

تبحث بعض شركات الإنترنت عن مبدلات الصندوق المزودة بشرائح DNX التي تدعم تقنية VOQ لحل مشكلة انخفاض استخدام النطاق الترددي بسبب عدم توازن التحميل ، ولكنها تواجه أيضًا العديد من التحديات على النحو التالي.

متوسط ​​قابلية التوسع. يحد حجم الإطار من الحد الأقصى لعدد المنافذ. إذا كنت ترغب في إنشاء مجموعة أكبر حجمًا ، فأنت بحاجة إلى توسيع إطارات متعددة أفقيًا ، مما يؤدي أيضًا إلى إنشاء ارتباطات متعددة المستويات PFC و ECMP. لذا فإن الإطار مناسب فقط للنشر على نطاق صغير.

استهلاك طاقة كبير للجهاز. عدد شرائح بطاقة الخط ، ورقائق الأقمشة ، والمراوح ، وما إلى ذلك في الإطار كبير ، واستهلاك الطاقة لجهاز واحد رائع ، بسهولة أكثر من 20,000 واط ، وبعضها أكثر من 30,000 واط ، مع متطلبات طاقة عالية للخزانة .

عدد منافذ الجهاز الفردي كبير ومجال الفشل كبير.

لذلك للأسباب المذكورة أعلاه ، فإن أجهزة الصندوق مناسبة فقط للنشر على نطاق صغير لمجموعات حوسبة الذكاء الاصطناعي.

وُلدت منتجات DDC لدعم AIGC

DDC هو حل جهاز إطار منفصل موزع ، يستخدم تقريبًا نفس الرقاقة والتقنيات الرئيسية مثل محولات الإطارات التقليدية ، ولكن بنية DDC بسيطة لدعم التمدد المرن والتكرار السريع للوظائف ، وسهولة النشر ، وانخفاض استهلاك الطاقة لكل جهاز.

كما هو مبين في الشكل أدناه ، تصبح بطاقة خط الخدمة دور NCP باعتبارها الواجهة الأمامية ، وتصبح لوحة التبديل هي دور NCF كالنهاية الخلفية. يتم الآن استبدال مكونات الموصل الأصلية بين الاثنين بكابلات الألياف الضوئية ، ويصبح محرك الإدارة لجهاز الإطار الأصلي مكون الإدارة المركزية / الموزعة لـ NCC في بنية DDC.

مخطط اتصال منتج DDC

يدعم DDC النشر على نطاق واسع للغاية

تتمثل ميزة بنية DDC على بنية الصندوق في أنه يمكن أن يوفر قابلية توسعة مرنة ، ويمكن تحديد مقياس الشبكة بمرونة وفقًا لحجم مجموعة AI.

في شبكة POD الفردية ، يتم استخدام 96 نقطة اتصال وطنية كوصول ، منها 36 واجهة 200G على الوصلة الهابطة لنقاط الاتصال الوطنية مسئولة عن توصيل بطاقات NIC الخاصة بمجموعات حوسبة الذكاء الاصطناعي. إجمالي المنبع 40 200G واجهات يمكن توصيل 40 NCFs ، ويوفر NCF 96 واجهات 200G ، وعرض النطاق الترددي المنبع والمصب لهذا المقياس هو 1.1: 1. يمكن أن يدعم POD بالكامل واجهات شبكة 3456G ، ووفقًا لحساب خادم واحد مع 200 وحدات معالجة رسومات ، يمكن دعم 8 خادمًا للحوسبة بالذكاء الاصطناعي.

مخطط هندسة شبكة POD واحد

في شبكات POD متعددة المستويات ، يمكن تحقيق البناء عند الطلب على أساس POD. نظرًا لأن معدات NCF في هذا السيناريو يجب أن تضحي POD بنصف SerDes لتوصيل NCF من المستوى الثاني ، لذلك في هذا الوقت ، يستخدم POD الفردي 48 نقطة NCP كوصول ، بإجمالي 36 واجهة 200G في الوصلة الهابطة ، ويمكن دعم واجهات 1728 200G في POD واحد. من خلال زيادة POD أفقيًا لتحقيق توسيع النطاق ، يمكن أن يدعم الحد الأقصى الإجمالي أكثر من 10,368 200G من منافذ الشبكة.

NCP للوصلة الصاعدة 40G إلى 200 NCFs في POD ، تستخدم NCFs في POD 40 واجهة 48G في اتجاه المصب ، و 200 48G مقسمة إلى 200 مجموعة للوصلة الصاعدة إلى NCFs في المستوى الثاني. يتم استخدام 16 طائرة لـ NCFs في المستوى الثاني ، وكل طائرة مصممة بثلاث وحدات ، تقابل 40 NCFs في POD.

تحقق الشبكة بأكملها نسبة مضاعفة 1: 1: 1 داخل POD ونسبة تقارب 1: 1 بين POD والمرحلة الثانية NCF.

منفذ الشبكة 200G متوافق مع 100 جرام NIC الوصول ، وفي حالات خاصة ، يكون متوافقًا مع 25 / 50G NIC باستخدام 1 في 2 أو 1 في 4 كابلات.

تحميل أكثر توازناً يعتمد على آلية VOQ + Cell ، ومعدل فقدان الحزمة المنخفض

بالاعتماد على آلية إعادة توجيه الخلايا بعد الانقسام لموازنة الحمل الديناميكي ، فإنها تدرك استقرار التأخير وتقلل من فرق ذروة عرض النطاق الترددي للروابط المختلفة.

تظهر عملية إعادة التوجيه في الشكل:

أولاً ، يتلقى المرسل الحزم من الشبكة ويصنفها في VOQs للتخزين. قبل إرسال الحزم ، يتم إرسال رسالة ائتمان لتحديد ما إذا كان لدى المستلم مساحة كافية في ذاكرة التخزين المؤقت للتعامل معها.

إذا كان الأمر كذلك ، يتم تقطيع الحزم إلى خلايا وتحميلها ديناميكيًا متوازنة إلى عقد نسيج وسيطة. يتم إعادة تجميع هذه الخلايا وتخزينها في الطرف المستقبل ثم إعادة توجيهها إلى الشبكة.

الخلايا عبارة عن تقنيات تقطيع تعتمد على الرزم ، يتراوح حجمها عادةً بين 64-256 بايت.

يتم إعادة توجيه الخلايا المقطعة وفقًا لاستعلام وجهة الخلية في جدول إمكانية الوصول ويتم إرسالها باستخدام آلية الاقتراع. وتتمثل ميزة ذلك في أنه سيتم استخدام تحميل الخلايا المقطعة بالكامل لكل وصلة صاعدة وستكون كمية البيانات المنقولة على جميع الارتباطات الصاعدة متساوية تقريبًا ، مقارنةً بوضع ECMP لاختيار مسار معين بعد التجزئة بالتدفق.

إذا كان المستلم غير قادر مؤقتًا على معالجة الرسالة ، فسيتم تخزين الرسالة مؤقتًا في VOQ على جانب المرسل ولن يتم إعادة توجيهها مباشرة إلى جانب المستقبل مما يؤدي إلى فقدان الحزمة. يمكن أن توفر كل شريحة DNX ذاكرة تخزين مؤقت OCB على الشريحة و off-ذاكرة تخزين مؤقت HBM بسعة 8 جيجا بايت ، وهو ما يعادل تخزين حوالي 150 مللي ثانية من البيانات لمنفذ 200 جيجا بايت. يتم إرسال رسائل الائتمان فقط عندما تكون مقبولة بشكل واضح على الطرف الآخر. باستخدام مثل هذه الآلية ، يمكن أن يؤدي الاستخدام الكامل لذاكرة التخزين المؤقت إلى تقليل فقد الحزمة بشكل كبير ، أو حتى عدم توليد فقدان الحزمة. مع إعادة إرسال أقل للبيانات ، يكون زمن انتقال الاتصال الكلي أكثر استقرارًا وأقل ، وبالتالي يمكن تحسين استخدام النطاق الترددي ، وبالتالي يمكن تحسين كفاءة إنتاجية الخدمة.

لا يوجد طريق مسدود تحت PFC Single-hop Deployment

وفقًا لمنطق DDC ، يمكن اعتبار جميع NCPs و NCFs كجهاز واحد. لذلك ، بعد نشر مجال RDMA في هذه الشبكة ، يوجد مستوى واحد فقط من PFC في الواجهة التي تستهدف الخادم ، والذي لن ينتج عنه قمع متعدد المستويات لـ PFC وإيقاف كما هو الحال في الشبكات التقليدية. بالإضافة إلى ذلك ، وفقًا لآلية إعادة توجيه البيانات الخاصة بـ DDC ، يمكن نشر ECN على الواجهة ، وبمجرد أن لا تدعم آلية الائتمان وذاكرة التخزين المؤقت الداخلية حركة المرور المتتالية ، يمكن إرسال رسائل CNP إلى جانب الخادم لطلب تقليل السرعة (عادةً تحت يمكن لنموذج الاتصال الخاص بـ AI و All-to-All و All-Reduce + Cell أن يوازن حركة المرور قدر الإمكان ، ومن الصعب الحصول عليه (يتم ملء منفذ واحد ، لذلك يمكن عدم تكوين ECN في معظم الحالات).

تصميم خالٍ من NCC مع نظام تشغيل موزع لتعزيز الموثوقية

في مستوى الإدارة والتحكم ، من أجل حل تأثير فشل شبكة الإدارة ونقطة فشل واحدة لـ NCC ، قمنا بإزالة مستوى التحكم المركزي لـ NCC وبناء نظام تشغيل موزع ، وتكوين أجهزة الإدارة من خلال واجهات قياسية (Netconf ، GRPC ، إلخ) بواسطة وحدات تحكم تشغيل وصيانة SDN ، وتتم إدارة كل NCP و NCF بشكل مستقل بواسطة طائرات تحكم وإدارة مستقلة.

نتائج مقارنة الاختبار

من وجهة النظر النظرية ، تتمتع DDC بالعديد من المزايا مثل دعم التمدد المرن والتكرار السريع للوظائف ، وسهولة النشر ، وانخفاض استهلاك الطاقة لآلة واحدة ؛ ومع ذلك ، من وجهة النظر العملية ، تتمتع الشبكات التقليدية أيضًا بمزايا مثل توفر المزيد من العلامات التجارية وخطوط الإنتاج في السوق ، ويمكن أن تدعم المجموعات ذات الحجم الأكبر والمزايا الأخرى التي توفرها التكنولوجيا الناضجة. لذلك ، عندما يواجه العملاء متطلبات المشروع ، يمكنهم الرجوع إلى نتائج المقارنة والاختبار التالية لتحديد ما إذا كان سيتم اختيار DDC عالي الأداء أو شبكة تقليدية للنشر على نطاق أوسع:

نتيجة المقارنة بين الشبكات التقليدية واختبار DDC

مقدمة عن معدات FiberMall

استنادًا إلى الفهم العميق لاحتياجات العملاء ، كانت FiberMall أول من أطلق منتجين قابلين للتسليم ، مفتاح 200G NCP ومفتاح 200G NCF.

NCP: مفتاح FM-S6930-36DC40F1

هذا المحول مرتفع 2U ويوفر 36 منفذًا للوحة 200G ، و 40 منفذًا مضمّنًا من القماش 200G ، و 4 مراوح ومزودان للطاقة.

NCF: مفتاح FM-X56-96F1

هذا المحول مرتفع 4U ، ويوفر 96 منافذ مضمنة 200G و 8 مراوح و 4 مصادر طاقة.

ستواصل FiberMall تطوير وإطلاق منتجات عامل شكل منفذ 400G في المستقبل.

وفي الختام

تلتزم FiberMall ، كشركة رائدة في الصناعة ، بتوفير معدات وحلول شبكات عالية الجودة وموثوقية عالية لتلبية الطلب المتزايد للعملاء لمركز الحوسبة الذكية. أثناء إطلاق حل DDC “Smart Speed” ، تعمل FiberMall أيضًا بنشاط على استكشاف وتطوير حلول تحسين الشبكة النهائية في الشبكات التقليدية. من خلال الاستفادة الكاملة من بطاقات NIC الذكية للخادم وتحسين بروتوكول معدات الشبكة ، يمكن تحسين استخدام النطاق الترددي للشبكة بالكامل لمساعدة العملاء على الدخول في عصر الحوسبة الذكية AIGC بشكل أسرع.