Bit News وفقا لتقرير صادر عن New Zhiyuan في 13 يناير ، يمكن لأنظمة البرامج والأجهزة من AMD أيضا تدريب النماذج الكبيرة من مستوى GPT-3.5.
يعد Frontier ، أكبر كمبيوتر عملاق في العالم في مختبر أوك ريدج الوطني ، موطنا ل 37,888 وحدة معالجة رسومات MI250X و 9,472 وحدة معالجة مركزية Epyc7A53. في الآونة الأخيرة ، قام الباحثون بتدريب نموذج مقياس GPT-3.5 باستخدام حوالي 8٪ فقط من وحدات معالجة الرسومات هذه. استخدم الباحثون بنجاح منصة برنامج ROCM للتغلب بنجاح على العديد من صعوبات نماذج التدريب الموزعة على أجهزة AMD ، وأنشأوا خوارزمية التدريب الموزعة الأكثر تقدما وإطار العمل للنماذج الكبيرة على أجهزة AMD باستخدام منصة ROCM.
يوفر بنجاح إطارا تقنيا مجديا للتدريب الفعال ل LLMs على منصات غير NVIDIA وغير CUDA.
بعد التدريب ، لخص الباحثون تجربة تدريب نماذج كبيرة على فرونتير في ورقة توضح بالتفصيل التحديات التي تمت مواجهتها والتغلب عليها.
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
يستخدم Frontier ، أكبر كمبيوتر عملاق في العالم ، 3,072 وحدة معالجة رسومات AMD لتدريب أكثر من تريليون معلمة LLMs
Bit News وفقا لتقرير صادر عن New Zhiyuan في 13 يناير ، يمكن لأنظمة البرامج والأجهزة من AMD أيضا تدريب النماذج الكبيرة من مستوى GPT-3.5.
يعد Frontier ، أكبر كمبيوتر عملاق في العالم في مختبر أوك ريدج الوطني ، موطنا ل 37,888 وحدة معالجة رسومات MI250X و 9,472 وحدة معالجة مركزية Epyc7A53. في الآونة الأخيرة ، قام الباحثون بتدريب نموذج مقياس GPT-3.5 باستخدام حوالي 8٪ فقط من وحدات معالجة الرسومات هذه. استخدم الباحثون بنجاح منصة برنامج ROCM للتغلب بنجاح على العديد من صعوبات نماذج التدريب الموزعة على أجهزة AMD ، وأنشأوا خوارزمية التدريب الموزعة الأكثر تقدما وإطار العمل للنماذج الكبيرة على أجهزة AMD باستخدام منصة ROCM.
يوفر بنجاح إطارا تقنيا مجديا للتدريب الفعال ل LLMs على منصات غير NVIDIA وغير CUDA.
بعد التدريب ، لخص الباحثون تجربة تدريب نماذج كبيرة على فرونتير في ورقة توضح بالتفصيل التحديات التي تمت مواجهتها والتغلب عليها.