NVIDIA ConnectX-7 400GbE و NDR Infiniband NIC مقدمة

تدعم محولات الشبكة من عائلة NVIDIA ConnectX-7 كلاً من بروتوكولات InfiniBand و Ethernet ، مما يوفر حلاً متعدد الاستخدامات لمجموعة واسعة من احتياجات الشبكات. تم تصميم هذه المحولات لتوفير إمكانات شبكات ذكية وقابلة للتطوير وغنية بالميزات ، تلبي متطلبات تطبيقات المؤسسات التقليدية بالإضافة إلى أعباء العمل عالية الأداء في الذكاء الاصطناعي والحوسبة العلمية ومراكز البيانات السحابية فائقة النطاق.

تتوفر محولات الشبكة ConnectX-7 في عاملين مختلفين من حيث الشكل: بطاقات PCIe الاحتياطية وبطاقات Open Compute Project (OCP) Spec 3.0. تتيح هذه المرونة للمستخدمين اختيار المحول الذي يناسب متطلبات النشر الخاصة بهم.

شبكات 400 جيجابت في الثانية هي قدرة جديدة يمكن معالجتها بواسطة فتحات PCIe Gen5 x16. دعنا نلقي نظرة على التكوين لاستخدام NDR بسرعة 400 جيجابت في الثانية بتقنية InfiniBand/ 400 جيجابت.

زاوية 1 طلقة من NVIDIA ConnectX 7G OSFP

نظرة عامة على الأجهزة لمحول MCX75310AAS-NEAT

تعد بطاقة ConnectX-7 (MCX75310AAS-NEAT) بطاقة صغيرة الحجم مصممة لفتحات PCIe Gen5 x16. تُظهر الصورة أدناه قوس الارتفاع الكامل ، ولكنها تتضمن أيضًا قوسًا منخفضًا في المربع.

أمام NVIDIA ConnectX 7G OSFP

تجدر الإشارة إلى أبعاد محلول التبريد. ومع ذلك ، لا تكشف NVIDIA عن مواصفات الطاقة لمحولات الشبكة هذه.

زاوية 2 اطلاق النار من NVIDIA ConnectX 7G OSFP

هذا هو الجزء الخلفي من البطاقة مع لوحة خلفية غرفة التبريد.

ظهر بطاقة NVIDIA ConnectX 7G OSFP

فيما يلي عرض جانبي للبطاقة من موصل PCIe Gen5 x16.

زاوية موصل NVIDIA ConnectX 7G OSFP

هذا عرض آخر للبطاقة من أعلى البطاقة.

NVIDIA ConnectX 7G OSFP الزاوية العلوية

هذه وجهة نظر من اتجاه تدفق الهواء في معظم الخوادم.

هذه بطاقة مسطحة أحادية المنفذ تعمل بسرعة 400 جيجابت في الثانية. يوفر قدرًا هائلاً من النطاق الترددي.

تثبيت محول NVIDIA ConnectX-7 400G

أحد أهم جوانب هذه البطاقة هو تثبيتها في نظام يمكنه الاستفادة من سرعتها.

يتضمن إجراء تثبيت بطاقات محول ConnectX-7 الخطوات التالية:

1. تحقق من متطلبات الأجهزة والبرامج الخاصة بالنظام.
2. انتبه إلى اعتبارات تدفق الهواء داخل النظام المضيف.
3. اتبع احتياطات السلامة.
4. فك العبوة.
5. اتبع قائمة التحقق الخاصة بالتثبيت المسبق.
6. (اختياري) استبدل كتيفة التركيب ذات الارتفاع الكامل بالحامل القصير المزود.
7. قم بتثبيت بطاقة محول ConnectX-7 PCle x16 / بطاقة محول ConnectX-7 2x PCle x16 Socket Direct في النظام.
8. قم بتوصيل الكابلات أو الوحدات النمطية بالبطاقة.
9. حدد ConnectX-7 في النظام.

Supermicro SYS 111C NR مع محول NVIDIA ConnectX 7 جيجابت في الثانية 400

لحسن الحظ ، لقد نجحنا في تثبيت هذه الأجهزة على خوادم Supermicro SYS-111C-NR 1U و Supermicro SYS-221H-TNR 2U وهي تعمل بشكل جيد.

Supermicro SYS 111C NR مع محول NVIDIA ConnectX 7 جيجابت في الثانية 400

SYS-111C-NR هو خادم ذو فتحة واحدة يوفر لنا مزيدًا من المرونة لأننا لا داعي للقلق بشأن الاتصالات بين الفتحات عند إعداد النظام. بسرعة 10/40 جيجابت في الثانية أو حتى 25/50 جيجابت في الثانية ، كانت هناك مناقشات حول تحديات الأداء من خلال الاتصالات بين فتحات وحدة المعالجة المركزية. مع ظهور 100 جيجابت ، أصبحت مشكلة وجود محول شبكة لكل وحدة معالجة مركزية لتجنب الاتصالات عبر الفتحات أكثر وضوحًا وانتشارًا. يكون التأثير أكثر وضوحًا وشدة عند استخدام شبكات بسرعات 400 جيجابت. بالنسبة للخوادم ذات الفتحات المزدوجة التي تستخدم بطاقة واجهة شبكة واحدة 400 جيجابت ، قد يكون البحث عن محولات مضيف متعددة تتصل مباشرة بكل وحدة معالجة مركزية خيارًا يستحق النظر فيه.

OSFP مقابل QSFP-DD

بمجرد تركيب البطاقات، كان لدينا التحدي التالي. تستخدم هذه البطاقات أقفاص OSFP، ولكن محول 400 جيجابت الخاص بنا يستخدمها QSFP-DD.

Supermicro SYS 111C NR مع محول NVIDIA ConnectX 7 جيجابت في الثانية 400

هذان المعياران لهما بعض الاختلافات في مستويات الطاقة والتصميم المادي. من الممكن التحويل QSFP-DD إلى OSFP ، ولكن العكس غير ممكن. إذا لم تكن قد رأيت بصريات OSFP أو DACs من قبل ، فلديهم حلول إدارة حرارية فريدة خاصة بهم. يستخدم QSFP-DD عادةً المشتت الحراري أعلى المقبس ، بينما يشتمل OSFP عادةً على حل تبريد على OSFP DACs والبصريات في المختبر.

موصلات OSFP و QSFP-DD 1

هذا صعب يستخدم كل من OSFP DAC و OSFP إلى QSFP-DD DAC حل تبريد خافض للحرارة. وبسبب التبريد المباشر على DAC ، لن يتم إدخال قابس OSFP في منفذ OSFP الخاص بـ بطاقة واجهة الشبكة ConnectX-7.

من المحتمل أن تستخدم NVIDIA OSFP لأنها تتمتع بمستوى طاقة أعلى. يسمح OSFP بالبصريات 15 وات ، بينما يدعم QSFP-DD 12 وات فقط. يمكن أن يؤدي وجود سقف طاقة أعلى إلى تسهيل التبني المبكر خلال مرحلة التبني المبكر ، وهذا أحد أسباب توفر منتجات مثل وحدة 24W CFP8.

كلما كان ذلك ممكنًا ، كن على دراية بحجم غرفة التبريد على جانب OSFP من ملحق ConnectX-7. إذا كنت معتادًا على QSFP / QSFP-DD ، فسيتم توصيل جميع الأجهزة وتعمل بشكل جيد ، ولكن مواجهة مشكلة بسيطة مثل حجم الموصل يمكن أن يمثل تحديًا أكبر. ومع ذلك ، إذا كنت مقدم حلول ، فهذه أيضًا فرصة لتقديم دعم خدمة احترافي. يبيع الموزعون مثل NVIDIA و PNY أيضًا كبلات LinkX ، والتي كان من الممكن أن تكون خيارًا أكثر ملاءمة. هذا درس قيم.

بعد ذلك ، دعنا نجهز كل هذا ونبدأ في العمل.

إعداد البرنامج NDR InfiniBand مقابل 400 جيجابت

بالإضافة إلى إجراء التثبيت المادي ، عملنا أيضًا على البرنامج على الخادم. لحسن الحظ ، كان هذا هو الجزء الأسهل. استخدمنا محول سلسلة MT2910 من Supermicro's ConnectX-7.

نفيديا MT2910 Lshw

من خلال إجراء تثبيت وإعادة تشغيل سريع لـ OFED (OpenFabrics Enterprise Distribution) ، فإن ملف

لقد جهزنا النظام.

NVIDIA MT2910 Lshw بعد تثبيت OFED

نظرًا لأننا نستخدم محول Broadcom Tomahawk 4 في Ethernet ونعمل مباشرة في وضع InfiniBand ، نحتاج أيضًا إلى تغيير نوع الارتباط.

العملية بسيطة وتشبه تغيير منفذ Mellanox ConnectX VPI إلى Ethernet أو InfiniBand في Linux.

ما يلي هو العملية الأساسية:

0. تثبيت OFED وتحديث البرامج الثابتة

هذه خطوة مطلوبة لضمان عمل البطاقة بشكل صحيح.

أثناء تثبيت MLNX_OFED_LINUX ، سلسلة NVIDIA ConnectX 7 Mellanox Technologies MT2910 MT2910

عملية بسيطة نسبيا. أولاً ، قم بتنزيل الإصدار المطلوب لنظام التشغيل الخاص بك واستخدم البرنامج النصي المتوفر في التنزيل لتثبيت برنامج التشغيل. سيقوم المثبت القياسي أيضًا بتحديث البرنامج الثابت للبطاقة.

NVIDIA ConnectX 7 MT2910 MT2910 MLNX_OFED_LINUX تثبيت تحديث البرنامج الثابت

بمجرد تثبيت OFED بعد إعادة تشغيل الخادم ، يمكننا أن نرى أن NVIDIA ConnectX-7 MCX75310AAS-NEAT قادر على 400 جيجابت و NDR IB (InfiniBand). تم تعيين NDR IB على الوضع الافتراضي.

NVIDIA ConnectX 7 MCX75310AAS NEAT Mlxconfig

إذا أردنا تحويله إلى Ethernet ، فهناك ثلاث خطوات بسيطة فقط:

1. ابحث عن جهاز ConnectX-7

خاصة إذا كانت لديك أجهزة أخرى في نظامك ، فستحتاج إلى العثور على الجهاز المناسب لتغييره. إذا كان لديك بطاقة واحدة فقط ، فمن السهل القيام بذلك.

lspci | جريب ميلانوكس

16: 00.0 وحدة تحكم Infiniband: Mellanox Technologies MT2910 Family [ConnectX-7]

هنا ، نعلم الآن أن أجهزتنا في 16: 00.0 (كما ترون من لقطة الشاشة أعلاه).

2. استخدم mlxconfig لتغيير جهاز ConnectX-7 من NDR Infiniband إلى Ethernet.

بعد ذلك ، سوف نستخدم معرف الجهاز لتغيير نوع ارتباط Infiniband.

sudo mlxconfig -d 16: 00.0 مجموعة LINK_TYPE_P1 = 2

NVIDIA ConnectX 7 MCX75310AAS يعين NEAT Mlxconfig نوع الارتباط إلى Ethernet

هنا LINK_TYPE_P1 = مجموعتان من P2 (المنفذ 1) إلى 1 (Ethernet). يعني LINK_TYPE_P2 الافتراضي = 1 أن P1 (المنفذ 1) مضبوط على 1 (NDR InfiniBand.) إذا كنت بحاجة إلى تغييره مرة أخرى ، يمكنك ببساطة عكس العملية.

3. إعادة تشغيل النظام

بعد إعادة التشغيل السريع ، لدينا الآن محول ConnectX-7 Ethernet.

العديد من خيارات سرعة إيثرنت لـ NVIDIA ConnectX 7 MT2910

لا يزال محول 400 جيجابت في الثانية يدعم سرعات 1 جيجابت.

Fميزة وتوافق نفيديا كونيكتكس -7

الأداء

NVIDIA ConnectX 7Gbps NDR Infiniband

بالطبع ، هناك العديد من خيارات الأداء الأخرى المتاحة. يمكننا تحقيق سرعات تتراوح بين 300 جيجابت في الثانية و 400 جيجابت في الثانية على InfiniBand و Ethernet. بالنسبة إلى Ethernet ، يتطلب الأمر بعض المساعدة للوصول إلى سرعات 400 جيجابت إيثرنت ، حيث أن الاتصال الأولي يبلغ 200 جيجابت فقط ، لكننا لا نفعل الكثير من حيث ضبط الأداء.

أداء NVIDIA ConnectX 7GbE

هذه السرعات في حدود 400 جيجابت في الثانية التي يمكن تحقيقها ، أي أكثر من ثلاثة أضعاف السرعة التي اعتدنا عليها. محولات 100 جيجابت في الثانية، وفي وقت قصير جدًا. ومع ذلك ، من المهم التأكيد على ذلك offالتحميل بسرعة 400 جيجابت مهم جدًا. بسرعات 25 جيجابت و 100 جيجابت ، رأينا أجهزة مثل DPU offتحميل وحدات المعالجة المركزية لمهام الشبكات الشائعة. في السنوات الثلاث الماضية ، زادت سرعة أنوية وحدة المعالجة المركزية الحديثة بنسبة 20 إلى 40 بالمائة ، بينما زاد عرض النطاق الترددي للشبكة من 100 جيجابت إلى 400 جيجابت. نتيجة لذلك ، تقنيات مثل RDMA offالأحمال و OVS / الشيك offأصبحت الأحمال ضرورية لتقليل استخدام وحدات المعالجة المركزية. هذا هو السبب في أن قسم Nvidia Mellanox السابق هو أحد الشركات القليلة offإيرينغ محولات 400 جيجابت في الثانية اليوم.