كم عدد أجهزة الإرسال والاستقبال الضوئية اللازمة لوحدة معالجة الرسومات؟

في السوق ، توجد إصدارات مختلفة من نسبة أجهزة الإرسال والاستقبال الضوئية إلى عدد وحدات معالجة الرسومات ، وأرقام الإصدارات المختلفة غير متسقة بشكل أساسي لأن كمية الوحدات الضوئية المطلوبة بموجب بنى الشبكات المختلفة ليست متماثلة. يعتمد العدد الفعلي للوحدات البصرية المستخدمة بشكل أساسي على الجوانب التالية.

1) نماذج NIC

تتضمن بشكل أساسي نوعين من بطاقات الشبكة ، ConnectX-6 (200 جيجابت / ثانية ، تستخدم بشكل رئيسي مع A100) الوحدات البصرية المستخدمة بشكل أساسي هي MMA1T00-HS (200G Infiniband HDR QSFP56 SR4 PAM4 850 نانومتر 100 متر) و ConnectX-7 (400 جيجا بايت / ثانية ، تستخدم بشكل رئيسي مع H100).

2) نماذج التبديل

يشتمل نموذج محول ConnectX-8 800Gb / s من الجيل التالي بشكل أساسي على نوعين من المحولات ، سلسلة QM9700 (32 منفذ OSFP (2 * 400 جيجابت / ثانية) ، بإجمالي 64 قناة بمعدل نقل 400 جيجابت / ثانية ، بإجمالي 51.2 معدل نقل البيانات Tb / s) وسلسلة QM8700 (40 منفذ QSFP56 ، بإجمالي 40 قناة بسرعة 200 جيجابت / ثانية ، بإجمالي معدل نقل 16 تيرابايت / ثانية).

3) عدد الوحدات (وحدة قابلة للتطوير SU)

يؤثر عدد الوحدات على مستوى هندسة التبديل ، يتم استخدام بنية من طبقتين فقط عندما يكون عدد الوحدات صغيرًا ، ويتم استخدام بنية ثلاثية الطبقات عندما يكون عدد الوحدات كبيرًا.

H100 SuperPOD: تتكون كل وحدة من 32 عقدة (خوادم DGX H100) ، وتدعم 4 وحدات كحد أقصى لتشكيل كتلة بهندسة تبديل من طبقتين.

A100 SuperPOD: تتضمن كل وحدة 20 عقدة (خادم DGX A100) ، وتدعم 7 وحدات كحد أقصى لتشكيل مجموعة ، وتتطلب أكثر من 5 وحدات بنية تحويل ثلاثية المستويات.

الخلاصة:

(1) شبكة ثلاثية الطبقات A100 + ConnectX6 + QM8700: نسبة 1: 6 ، جميعها مزودة بوحدات بصرية 200G QSFP56

(2) شبكة من طبقتين A100 + ConnectX6 + QM9700: 1: 0.75 800G OSFP + 1: 1G QSFP200 وحدات بصرية

(3) H100 + ConnectX7 + QM9700 شبكة من طبقتين: 1: 1.5 800G OSFP وحدات بصرية + 1: 1 400G OSFP وحدة بصرية

(4) H100 + ConnectX8 (لم يتم إصداره بعد) + شبكة QM9700 ثلاثية الطبقات: نسبة 1: 6 ، جميعها مزودة 800 جرام OSFP أجهزة إرسال واستقبال

بافتراض أنه سيتم شحن 300,000 H100 + 900,000 A100 في عام 2023 ، سيتم إنشاء إجمالي 3.15 مليون 200G QSP56 + 300,000 400G OSFP + 787,500 800G OSFP ، مما ينتج عنه مساحة سوقية متزايدة للذكاء الاصطناعي تبلغ 1.38 مليار دولار.

بافتراض أنه سيتم شحن 1.5 مليون H100 + 1.5 مليون A100 في عام 2024، أي ما مجموعه 750,000 200G QSFP56يتم إنشاء طلب + 750,000 400G OSFPs + 6.75 مليون 800G OSFPs، مما يوفر مساحة سوقية إضافية تبلغ 4.97 مليار دولار أمريكي للذكاء الاصطناعي (ما يعادل تقريبًا مجموع حجم سوق الوحدات الضوئية الرقمية للتمرير لعام 2021).

فيما يلي عملية القياس التفصيلية لكل من السيناريوهات المذكورة أعلاه.

السيناريو 1: A100 + ConnectX6 + QM8700 شبكة ثلاثية الطبقات.

يحتوي A100 على إجمالي ثماني واجهات حوسبة ، أربعة على اليسار وأربعة على اليمين في الشكل. حاليًا ، يتم إقران شحنات A100 بشكل أساسي مع ConnectX6 للاتصالات الخارجية ، بمعدل واجهة يبلغ 200 جيجابت / ثانية.

في بنية الطبقة الأولى ، تحتوي كل عقدة (عقدة) على 8 واجهات (منفذ) ، كل عقدة متصلة بـ 8 مفاتيح ورقية (Leaf) ، وتشكل كل 20 عقدة وحدة (SU) ، لذلك في الطبقة الأولى ما مجموعه 8 * هناك حاجة إلى مفاتيح ورقية SU ، يلزم وجود 8 * SU * 20 كبل (كبل) ، وهناك حاجة إلى 2 * 8 * SU * 20G أجهزة إرسال واستقبال بصرية.

في معمارية الطبقة 2 ، يكون معدل الوصلة الصاعدة مساويًا لمعدل الوصلة الهابطة بسبب الهندسة المعمارية غير المحظورة. في الطبقة 1 ، يبلغ إجمالي معدل النقل أحادي الاتجاه 200G * عدد الكابلات. نظرًا لأن الطبقة 2 تعتمد أيضًا معدل نقل كابل واحد 200G ، يجب أن يكون عدد الكابلات في الطبقة 2 هو نفسه الموجود في الطبقة 1 ، والتي تتطلب كبلات 8 * SU * 20 (كبل) و 2 * 8 * SU * 20G أجهزة إرسال واستقبال. عدد مفاتيح التلال المطلوبة (Spine) هو عدد الكابلات مقسومًا على عدد مفاتيح الأوراق ، والتي تتطلب (200 * SU * 8) / (20 * SU) مفاتيح التلال. ولكن عندما لا يكون عدد مفاتيح التبديل الورقية كبيرًا بما يكفي ، يمكن إجراء أكثر من اتصالين بين المصراع والحافة من أجل الاقتصاد في عدد مفاتيح التلال (طالما لم يتم تجاوز حد 8 واجهة). لذلك ، عندما يكون عدد الوحدات 40/1/2/4 على التوالي ، فإن عدد مفاتيح التلال المطلوبة هو 5/4/10/20 ، وعدد الوحدات البصرية المطلوبة هو 20/320/640/1280 على التوالي ، لن يتم زيادة عدد مفاتيح تبديل التلال بنفس النسبة ، ولكن سيتم زيادة عدد أجهزة الإرسال والاستقبال بنفس النسبة.

عندما يصل عدد الوحدات إلى 7 ، تكون الطبقة الثالثة من العمارة مطلوبة ، بسبب البنية غير المحجوبة ، وبالتالي فإن عدد الكابلات المطلوبة للطبقة الثالثة من العمارة هو نفس رقم الطبقة الثانية.

التكوين الموصى به من NVIDIA SuperPOD: أوصت NVIDIA بـ 7 وحدات للشبكات ، وتحتاج إلى زيادة بنية الطبقة 3 وزيادة المفتاح الأساسي (Core) ، ومجموعة متنوعة من الوحدات المختلفة لكل طبقة من عدد المحولات ، وعدد الكابلات المتصلة بـ الشكل الموضح.

140 خادمًا ، بإجمالي 140 * 8 = 1120 A100s ، بإجمالي 56 + 56 + 28 = 140 مفتاحًا (QM8790) ، 1120 + 1120 + 1120 = 3360 كبلًا ، 3360 * 2 = 6720G QSFP200 وحدات بصرية ، التعيين بين أجهزة الإرسال والاستقبال A56 و 100 G QSFP200 هي 56/1120 = 6720: 1.

السيناريو 2: شبكة A100 + ConnectX6 + QM9700 Layer 2

في الوقت الحالي ، لا يتوفر هذا الحل في التكوين الموصى به ، ولكن في المستقبل ، قد يختار المزيد والمزيد من A100 شبكة QM9700 ، مما سيقلل من عدد أجهزة الإرسال والاستقبال الضوئية المستخدمة ، ولكنه يجلب متطلبات الوحدة الضوئية 800G OSFP. الاختلاف الأكبر هو أن اتصال الطبقة الأولى يتم تحويله من 8 اتصال خارجي كابلات 200 جرام إلى واجهة QSFP إلى OSFP مع 2 و 1 إلى 4.

في الطبقة الأولى: بالنسبة للكتلة المكونة من 7 وحدات ، تحتوي 140 خادمًا على 140 * 8 = 1120 واجهة ، بإجمالي 1120/4 = 280 1-tow-4 كابلات متصلة خارجيًا ، مما ينتج عنه 280G OSFP و 800 1120G OSFP200 البصرية متطلبات الوحدة. مطلوب ما مجموعه 56 مفتاح QM12.

في الطبقة 2: مع توصيلات 800G فقط ، يلزم 280 * 2 = 560G أجهزة إرسال واستقبال OSFP ، وتتطلب 800 محولات QM9.

لذلك ، تتطلب 140 خادمًا و 1120 A100s 12 + 9 = 21 محولًا ، و 560 + 280 = 840 800 جيجا من الوحدات الضوئية OSFP ، وأجهزة الإرسال والاستقبال الضوئية 1120G QSFP200.

التعيين بين الوحدة البصرية A100 و 800G OSFP هو 1120: 840 = 1: 0.75 ، والتعيين بين الوحدة البصرية A100 و 200G QSFP56 هو 1: 1

السيناريو 3: H100 + ConnectX7 + QM9700 Layer 2 network

النقطة الخاصة في تصميم H100 هي أنه على الرغم من أن بطاقة الشبكة هي ثمانية Gpus مع ثماني بطاقات شبكة 400G ، فإن الواجهة مدمجة في أربع واجهات 800G ، والتي ستجلب عددًا كبيرًا من متطلبات الوحدة الضوئية 800G OSFP.

في الطبقة 1 ، وفقًا لتكوين NVIDIA الموصى به ، يوصى بتوصيل وحدة بصرية واحدة [2 * 400G] 800G OSFP بواجهة الخادم: MMA4Z00-NS (800Gb / s Twin-port OSFP 2x400G SR8 PAM4 850nm 100m DOM Dual MPO-12 MMF) أو MMS4X00-NM (800Gb / s Twin-port OSFP 2x400G PAM4 1310nm 500m DOM Dual MTP / MPO-12 MMF) ، عبر منفذ مزدوج . ) ، يتم توصيل اثنين من كابلات الألياف الضوئية (MPOs) عبر منفذ مزدوج ويتم توصيلهما بكل من المفتاحين.

لذلك بالنسبة للطبقة الأولى ، تحتوي وحدة واحدة على 32 خادمًا ، وخادم واحد متصل بـ 2 * 4 = 8 مفاتيح ، ويتضمن SuperPOD 4 وحدات ، الأمر الذي يتطلب إجمالي 4 * 8 = 32 مفتاحًا جانبيًا ليتم توصيلها في الطبقة الأولى.

تقترح NVIDIA أنك بحاجة إلى تخصيص عقدة لأغراض الإدارة (UFM) ، نظرًا للتأثير المحدود على استخدام أجهزة الإرسال والاستقبال الضوئية ، فإننا نتبع فقط 4 وحدات من 128 خادمًا وفقًا للحساب المختصر.

في الطبقة الأولى ، ما مجموعه 4 * 128 = 512 جيجا وحدات بصرية OSFP ، و 800 * 2 * 4 = 128 جيجا وحدات بصرية OSFP: MMA1024Z400-NS4 (00G OSFP SR400 PAM400 4nm 4m على OM850 / 30m على OM3 MTP / MPO -50) أو NVIDIA MMS4X12-NS4 (00G OSFP DR400 PAM400 4nm MTP / MPO-4m).

في الطبقة الثانية ، تكون المفاتيح متصلة ببعضها البعض مباشرة بوحدات بصرية 2 جيجا ، ويتم توصيل مفتاح طرفي واحد لأسفل بمعدل أحادي الاتجاه 800 * 32 جرام. من أجل التأكد من أن معدلات المنبع والمصب هي نفسها ، لذلك يتطلب الاتصال الصاعد 400 * 16G معدل أحادي الاتجاه ، ويتطلب 800 مفتاحًا للتلال ، إجمالي 16 * 4 * 8 * 16 = 2G أجهزة إرسال واستقبال بصرية.

لذلك، في ظل هذه البنية، تحتاج الطبقتان إلى إجمالي 512+1024=1536 وحدة بصرية 800G OSFP و1024x400 جرام OSFP أجهزة الإرسال والاستقبال الضوئية بإجمالي 4*32*8=1024H100. ولذلك، فإن التعيين بين وحدة معالجة الرسومات والوحدة الضوئية 800G OSFP هو 1024/1536 → 1:1.5، والتعيين بين وحدة معالجة الرسومات والوحدة الضوئية 400G OSFP هو 1024/1024 → 1:1.

السيناريو 4: H100 + ConnectX8 (لم يتم إصداره بعد) + شبكة QM9700 Layer 3

لم يتم إصدار هذا السيناريو بعد ، ولكن لنفترض أنه بعد ترقية H100 أيضًا إلى 800G NIC ، يجب ترقية الواجهات الخارجية من 4 واجهات OSFP إلى 8 واجهات OSFP. يتم توصيل الاتصال بين كل طبقة بـ 800G ، وتشبه بنية الشبكة بالكامل السيناريو الأول ، يتم استبدال الوحدة الضوئية 200G فقط بوحدة بصرية 800G. لذلك ، فإن نسبة وحدات معالجة الرسومات إلى الوحدات الضوئية في هذه البنية هي أيضًا 1: 6.

ننظم السيناريوهات الأربعة المذكورة أعلاه في الجدول التالي.

افترض أنه سيتم شحن 300,000،100 H900,000 + 100،2023 A3.15 في عام 200 ، وبذلك يبلغ إجمالي الطلب 300,000 مليون 400 جرام + 787,500،800 XNUMX جرام + XNUMX،XNUMX XNUMX جرام من الطلب على OSFP.

افترض أنه سيتم شحن 1.5 مليون H100 + 1.5 مليون A100 في عام 2024 ، وبذلك يبلغ إجمالي الطلب 750,000 200 جرام + 750,000 400 جرام + 6.75 مليون 800 جرام من الطلب على OSFP.

* يستخدم نصف A100 مفاتيح 200G ونصفها يستخدم مفاتيح 400G.

** يستخدم نصف H100 مفاتيح 400G ونصفها يستخدم مفاتيح 800G.

التقديرات المذكورة أعلاه لكميات A100 H100 هي افتراضات فقط ولا تمثل التوقعات المستقبلية.

وفقًا للحساب البسيط لمتوسط ​​السعر البالغ 1 دولار / جيجابايت في عام 2023 و 0.85 دولارًا أمريكيًا / جيجابايت في عام 2024 ، من المتوقع أن تجلب الذكاء الاصطناعي 13.8 / 4.97 مليار دولار أمريكي من مساحة السوق الإضافية للذكاء الاصطناعي لأجهزة الإرسال والاستقبال الضوئية.