* مصدر الصورة: تم إنشاؤه بواسطة أداة Unbounded AI *
لا تزال جولة SamAltman الأوروبية جارية. منذ وقت ليس ببعيد ، في لندن ، أجرى مناقشة مغلقة مع الرئيس التنفيذي لشركة AI HumanLooop. HumanLoop هي شركة تساعد المطورين على بناء تطبيقات على نماذج لغة كبيرة.
سجل الرئيس التنفيذي لشركة HumanLoop ، رضا حبيب ، النقاط البارزة في المحادثة ونشرها على موقع الشركة على الإنترنت. ولكن بعد ذلك بناءً على طلب OpenAI ، تم سحب المحضر. أدى هذا بدوره إلى زيادة فضول العالم الخارجي بشأن المحادثة. تكهن البعض بأن بعض أفكار أوبن إيه آي كانت متورطة في هذا التغيير.
وجد Geek Park ، بعد تصفح الدقائق المحذوفة من المحادثة ، أنه لا يشمل فقط التخطيط قصير المدى لـ OpenAI في عيون Sam ، ولكنه أخفى أيضًا الضغط على OpenAI بعد تلقي دعم قوي من موارد الحوسبة السحابية من Microsoft. بعد كل شيء ، لا يزال ضبط النموذج والتفكير يستهلك الكثير من موارد الحوسبة. وفقًا للمعلومات ، كلف نموذج Open AI Microsoft Azure 1.2 مليار دولار ، مع تركيز موارد الحوسبة على دعم OpenAI والحد من الخوادم المتاحة لأقسام Microsoft الأخرى.
وفي هذا الصدد ، قال سام إن خفض التكلفة هو الهدف الأساسي في الوقت الحالي.
بالإضافة إلى ذلك ، كشف Sam أيضًا أنه في الوقت الحالي ، فإن الخدمات مثل فتح إطارات سياق أطول وتوفير واجهات برمجة تطبيقات ضبط دقيقة محدودة بموارد وحدة معالجة الرسومات ؛
في هذه المحادثة ، استجاب سام التمان للعديد من الاهتمامات الخارجية ، مثل المنافسة والتسويق:
على الرغم من تعيين مدير منتج عالمي المستوى ، بيتر دينغ ، فإن شركة OpenAI لن تفكر في طرح المزيد من المنتجات ؛
يتمثل اتجاه التطبيق المستقبلي في تضمين وظائف النموذج الكبير في المزيد من التطبيقات بدلاً من زيادة المزيد من المكونات الإضافية على ChatGPT ، لأن معظم المكونات الإضافية في الواقع لا تظهر PMF (المنتج / السوق المناسب ، أي مناسب لسوق المنتج ) ؛
في السنوات القليلة الماضية ، وسعت شركة OpenAI حجم النموذج بملايين المرات ، لكن هذه السرعة ليست مستدامة. بعد ذلك ، ستستمر OpenAI في زيادة حجم النموذج بمعدل 1 إلى 3 مرات لتحسين أداء النموذج.
تم الإعلان عن محضر المحادثة في 29 مايو ، وتم حذفها في 3 يونيو تقريبًا وفقًا لسجلات مستخدمي الإنترنت. إليك ما تحصل عليه من النسخة الاحتياطية:
01 ، OpenAI حاليًا مقيد بشدة بواسطة GPU
مع زيادة حجم المحادثات ، تنمو موارد الحوسبة المطلوبة بشكل كبير
تمتلك OpenAI حاليًا وحدات معالجة رسومات محدودة للغاية ، مما أدى إلى تأخير العديد من خططها قصيرة الأجل. أكبر الشكاوى من العملاء هي موثوقية وسرعة واجهة برمجة التطبيقات. أقر سام بمخاوفهم ، موضحًا أن معظم المشكلات كانت بسبب نقص وحدات معالجة الرسومات.
لا يمكن نشر سياق 32 كيلو بايت الأطول لعدد أكبر من الأشخاص. لم يتغلب OpenAI على مقياس O (n ^ 2) للانتباه ، ولذا في حين أنه يبدو من المعقول أن يكون لديهم 100k - 1M نافذة سياق رمزية قريبًا (هذا العام) أي شيء أكبر سيتطلب تقدمًا بحثيًا.
لا تتوفر سياقات 32K الأطول لعدد أكبر من الأشخاص. لم يتغلب OpenAI على مشكلة قياس O (n ^ 2) لآلية الانتباه ، على الرغم من أنه يبدو أنه سيكون لديهم قريبًا (هذا العام) نافذة سياق من 100k-1M Token. تتطلب أي نافذة أكبر إنجازات بحثية.
ملاحظة: O (n ^ 2) تعني أنه كلما زاد طول التسلسل ، زادت موارد الحوسبة المطلوبة لإجراء حسابات الانتباه بشكل كبير. يستخدم O لوصف الحد الأعلى أو أسوأ حالة لمعدل نمو وقت الخوارزمية أو تعقيد المكان ؛ (n ^ 2) يعني أن التعقيد يتناسب مع مربع حجم الإدخال. *
كما أن واجهة برمجة التطبيقات للضبط الدقيق محدودة حاليًا بتوفر وحدة معالجة الرسومات. لم يستخدموا أساليب ضبط فعالة مثل المحولات أو LoRa ، لذا فإن التشغيل والإدارة (النموذج) من خلال الضبط الدقيق أمر مكثف للغاية من الناحية الحسابية. سيتم توفير دعم أفضل للضبط الدقيق في المستقبل. قد يستضيفون حتى سوقًا مجتمعيًا للمساهمات النموذجية.
يقتصر توفير السعة المخصصة على توفر وحدة معالجة الرسومات. تقدم OpenAI سعة مخصصة ، مما يوفر للعملاء نسخة خاصة من النموذج. للحصول على الخدمة ، يجب أن يكون العملاء على استعداد للالتزام بدفع 100000 دولار مقدمًا.
كما شارك سام ما يراه كخريطة طريق مؤقتة على المدى القريب لواجهة OpenAI API.
** 2023: **
GPT-4 الأرخص والأسرع - هذه هي أولويتهم القصوى. بشكل عام ، هدف OpenAI هو تقليل "تكلفة الذكاء" قدر الإمكان ، لذلك سيعملون بجد لمواصلة تقليل تكلفة API بمرور الوقت.
نافذة سياق أطول - في المستقبل القريب ، قد تصل نافذة السياق إلى مليون رمز مميز.
صقل واجهة برمجة التطبيقات (API) - سيتم توسيع واجهة برمجة التطبيقات للضبط الدقيق لتشمل أحدث الطرز ، لكن الشكل الدقيق سيعتمد على ما يقول المطورون إنهم يريدونه حقًا.
واجهة برمجة تطبيقات ذات حالة - عند استدعاء واجهة برمجة تطبيقات الدردشة اليوم ، يجب أن تمر بنفس سجل الجلسة مرارًا وتكرارًا ، ودفع نفس الرموز مرارًا وتكرارًا. سيكون هناك إصدار مستقبلي من API يتذكر محفوظات الجلسة.
** 2024 **
متعدد الوسائط - يتم عرض هذا كجزء من إصدار GPT-4 ، ولكن لن يتم توسيعه ليشمل الجميع حتى يتم توفير المزيد من وحدات معالجة الرسومات عبر الإنترنت.
03. التنبؤ والتفكير التجاريين: قد لا تظهر المكونات الإضافية "بدون PMF" في واجهة برمجة التطبيقات قريبًا
يهتم العديد من المطورين بإتاحة إمكانية الوصول إلى مكونات ChatGPT الإضافية من خلال واجهة برمجة التطبيقات ، لكن سام قال إنه لا يعتقد أنه سيتم إصدارها في أي وقت قريبًا. بالإضافة إلى المكوِّن الإضافي Brosing ، يُظهر استخدام المكونات الإضافية الأخرى عدم وجود PMF (Product / Market Fit). وأشار إلى أن الكثير من الناس يعتقدون أنهم يريدون أن يكون تطبيقهم داخل ChatGPT ، لكن ما يريدونه حقًا هو ChatGPT داخل التطبيق.
04. باستثناء ChatGPT ، ستتجنب OpenAI التنافس مع عملائها
الشركات الكبرى لديها تطبيق قاتل
قال العديد من المطورين إنهم قلقون بشأن التطوير باستخدام OpenAI API ، لأن OpenAI قد تطلق في النهاية منتجات قادرة على المنافسة معهم. قال Sam أن OpenAI لن تصدر المزيد من المنتجات خارج ChatGPT. من الناحية التاريخية ، كان لدى شركات المنصات العظيمة تطبيق قاتل ، كما قال. سيسمح ChatGPT للمطورين بأن يصبحوا عملاء لمنتجاتهم الخاصة لتحسين واجهة برمجة التطبيقات. تتمثل رؤية ChatGPT في أن تصبح مساعد عمل فائق الذكاء ، ولكن هناك العديد من حالات استخدام GPT الأخرى التي لن تشارك OpenAI فيها.
05. التنظيم مطلوب ، لكن ليس الآن
"أنا متشكك بشأن عدد الأشخاص والشركات القادرة على امتلاك نماذج كبيرة"
بينما دعا سام إلى تنظيم النماذج المستقبلية ، إلا أنه لا يعتقد أن النماذج الحالية خطيرة وأن تنظيمها أو حظرها سيكون خطأً كبيرًا. وأكد على أهمية المصدر المفتوح وقال إن OpenAI تدرس جعل GPT-3 مفتوح المصدر. لم تكن مفتوحة المصدر بعد ، ويرجع ذلك جزئيًا إلى شكوكه في عدد الأفراد والشركات القادرة على الاحتفاظ بنماذج اللغة الكبيرة (LLMs) وتقديمها.
06. لا تزال قوانين الميزان سارية
لا يمكن أن تستمر سرعة التوسع التي تبلغ ملايين المرات في بضع سنوات إلى الأبد.
هناك الكثير من المقالات التي تزعم مؤخرًا أن "عصر نماذج الذكاء الاصطناعي العملاقة قد انتهى". هذا ليس دقيقا. (ملاحظة: في حدث أقيم في معهد ماساتشوستس للتكنولوجيا في أبريل ، قال سام ألتمان: نحن الآن نقترب من نهاية عصر النماذج العملاقة.)
تُظهر البيانات الداخلية لـ OpenAI أن قوانين التحجيم الخاصة بأداء النموذج لا تزال سارية ، وستستمر زيادة حجم النموذج في تحسين الأداء.
نظرًا لأن OpenAI قامت بتوسيع نطاق النماذج بملايين المرات في بضع سنوات فقط ، فلا يمكن الحفاظ على معدل التوسع هذا. هذا لا يعني أن OpenAI لن تستمر في محاولة جعل النماذج أكبر ، ولكن هذا يعني أنه من المحتمل أن يتضاعف حجمها أو يتضاعف ثلاث مرات كل عام ، بدلاً من العديد من الطلبات من حيث الحجم.
إن حقيقة أن قوانين المقياس سارية لها آثار مهمة على الجدول الزمني لتطوير الذكاء الاصطناعي العام. افتراض قانون المقياس هو أنه من المحتمل أن يكون لدينا بالفعل معظم المكونات اللازمة لبناء الذكاء الاصطناعي العام ، وأن باقي العمل يهدف بشكل أساسي إلى توسيع نطاق الأساليب الحالية لتشمل النماذج الأكبر ومجموعات البيانات الأكبر. إذا انتهى عصر المقياس ، فقد نبتعد عن الذكاء الاصطناعي العام. حقيقة أن قوانين الحجم تستمر في التطبيق تعني بقوة وجود جدول زمني أقصر.
شاهد النسخة الأصلية
المحتوى هو للمرجعية فقط، وليس دعوة أو عرضًا. لا يتم تقديم أي مشورة استثمارية أو ضريبية أو قانونية. للمزيد من الإفصاحات حول المخاطر، يُرجى الاطلاع على إخلاء المسؤولية.
دقائق محادثة Sam Altman المحذوفة: يفتقر Open AI أيضًا إلى وحدة معالجة الرسومات ، وخفض التكلفة هو الهدف الأساسي
** المؤلف | مقاطعة Lingzi **
** المحرر | Wei Shijie **
** المصدر 丨 Geek Park **
لا تزال جولة SamAltman الأوروبية جارية. منذ وقت ليس ببعيد ، في لندن ، أجرى مناقشة مغلقة مع الرئيس التنفيذي لشركة AI HumanLooop. HumanLoop هي شركة تساعد المطورين على بناء تطبيقات على نماذج لغة كبيرة.
سجل الرئيس التنفيذي لشركة HumanLoop ، رضا حبيب ، النقاط البارزة في المحادثة ونشرها على موقع الشركة على الإنترنت. ولكن بعد ذلك بناءً على طلب OpenAI ، تم سحب المحضر. أدى هذا بدوره إلى زيادة فضول العالم الخارجي بشأن المحادثة. تكهن البعض بأن بعض أفكار أوبن إيه آي كانت متورطة في هذا التغيير.
وجد Geek Park ، بعد تصفح الدقائق المحذوفة من المحادثة ، أنه لا يشمل فقط التخطيط قصير المدى لـ OpenAI في عيون Sam ، ولكنه أخفى أيضًا الضغط على OpenAI بعد تلقي دعم قوي من موارد الحوسبة السحابية من Microsoft. بعد كل شيء ، لا يزال ضبط النموذج والتفكير يستهلك الكثير من موارد الحوسبة. وفقًا للمعلومات ، كلف نموذج Open AI Microsoft Azure 1.2 مليار دولار ، مع تركيز موارد الحوسبة على دعم OpenAI والحد من الخوادم المتاحة لأقسام Microsoft الأخرى.
وفي هذا الصدد ، قال سام إن خفض التكلفة هو الهدف الأساسي في الوقت الحالي.
بالإضافة إلى ذلك ، كشف Sam أيضًا أنه في الوقت الحالي ، فإن الخدمات مثل فتح إطارات سياق أطول وتوفير واجهات برمجة تطبيقات ضبط دقيقة محدودة بموارد وحدة معالجة الرسومات ؛
في هذه المحادثة ، استجاب سام التمان للعديد من الاهتمامات الخارجية ، مثل المنافسة والتسويق:
على الرغم من تعيين مدير منتج عالمي المستوى ، بيتر دينغ ، فإن شركة OpenAI لن تفكر في طرح المزيد من المنتجات ؛
يتمثل اتجاه التطبيق المستقبلي في تضمين وظائف النموذج الكبير في المزيد من التطبيقات بدلاً من زيادة المزيد من المكونات الإضافية على ChatGPT ، لأن معظم المكونات الإضافية في الواقع لا تظهر PMF (المنتج / السوق المناسب ، أي مناسب لسوق المنتج ) ؛
في السنوات القليلة الماضية ، وسعت شركة OpenAI حجم النموذج بملايين المرات ، لكن هذه السرعة ليست مستدامة. بعد ذلك ، ستستمر OpenAI في زيادة حجم النموذج بمعدل 1 إلى 3 مرات لتحسين أداء النموذج.
تم الإعلان عن محضر المحادثة في 29 مايو ، وتم حذفها في 3 يونيو تقريبًا وفقًا لسجلات مستخدمي الإنترنت. إليك ما تحصل عليه من النسخة الاحتياطية:
01 ، OpenAI حاليًا مقيد بشدة بواسطة GPU
مع زيادة حجم المحادثات ، تنمو موارد الحوسبة المطلوبة بشكل كبير
تمتلك OpenAI حاليًا وحدات معالجة رسومات محدودة للغاية ، مما أدى إلى تأخير العديد من خططها قصيرة الأجل. أكبر الشكاوى من العملاء هي موثوقية وسرعة واجهة برمجة التطبيقات. أقر سام بمخاوفهم ، موضحًا أن معظم المشكلات كانت بسبب نقص وحدات معالجة الرسومات.
لا يمكن نشر سياق 32 كيلو بايت الأطول لعدد أكبر من الأشخاص. لم يتغلب OpenAI على مقياس O (n ^ 2) للانتباه ، ولذا في حين أنه يبدو من المعقول أن يكون لديهم 100k - 1M نافذة سياق رمزية قريبًا (هذا العام) أي شيء أكبر سيتطلب تقدمًا بحثيًا.
لا تتوفر سياقات 32K الأطول لعدد أكبر من الأشخاص. لم يتغلب OpenAI على مشكلة قياس O (n ^ 2) لآلية الانتباه ، على الرغم من أنه يبدو أنه سيكون لديهم قريبًا (هذا العام) نافذة سياق من 100k-1M Token. تتطلب أي نافذة أكبر إنجازات بحثية.
كما أن واجهة برمجة التطبيقات للضبط الدقيق محدودة حاليًا بتوفر وحدة معالجة الرسومات. لم يستخدموا أساليب ضبط فعالة مثل المحولات أو LoRa ، لذا فإن التشغيل والإدارة (النموذج) من خلال الضبط الدقيق أمر مكثف للغاية من الناحية الحسابية. سيتم توفير دعم أفضل للضبط الدقيق في المستقبل. قد يستضيفون حتى سوقًا مجتمعيًا للمساهمات النموذجية.
يقتصر توفير السعة المخصصة على توفر وحدة معالجة الرسومات. تقدم OpenAI سعة مخصصة ، مما يوفر للعملاء نسخة خاصة من النموذج. للحصول على الخدمة ، يجب أن يكون العملاء على استعداد للالتزام بدفع 100000 دولار مقدمًا.
02 ، خارطة طريق OpenAI الأخيرة
2023 ، تخفيض ذكي للتكلفة ؛ 2024 ، عرض محدود للوسائط المتعددة
كما شارك سام ما يراه كخريطة طريق مؤقتة على المدى القريب لواجهة OpenAI API.
** 2023: **
GPT-4 الأرخص والأسرع - هذه هي أولويتهم القصوى. بشكل عام ، هدف OpenAI هو تقليل "تكلفة الذكاء" قدر الإمكان ، لذلك سيعملون بجد لمواصلة تقليل تكلفة API بمرور الوقت.
نافذة سياق أطول - في المستقبل القريب ، قد تصل نافذة السياق إلى مليون رمز مميز.
صقل واجهة برمجة التطبيقات (API) - سيتم توسيع واجهة برمجة التطبيقات للضبط الدقيق لتشمل أحدث الطرز ، لكن الشكل الدقيق سيعتمد على ما يقول المطورون إنهم يريدونه حقًا.
واجهة برمجة تطبيقات ذات حالة - عند استدعاء واجهة برمجة تطبيقات الدردشة اليوم ، يجب أن تمر بنفس سجل الجلسة مرارًا وتكرارًا ، ودفع نفس الرموز مرارًا وتكرارًا. سيكون هناك إصدار مستقبلي من API يتذكر محفوظات الجلسة.
** 2024 **
متعدد الوسائط - يتم عرض هذا كجزء من إصدار GPT-4 ، ولكن لن يتم توسيعه ليشمل الجميع حتى يتم توفير المزيد من وحدات معالجة الرسومات عبر الإنترنت.
03. التنبؤ والتفكير التجاريين: قد لا تظهر المكونات الإضافية "بدون PMF" في واجهة برمجة التطبيقات قريبًا
يهتم العديد من المطورين بإتاحة إمكانية الوصول إلى مكونات ChatGPT الإضافية من خلال واجهة برمجة التطبيقات ، لكن سام قال إنه لا يعتقد أنه سيتم إصدارها في أي وقت قريبًا. بالإضافة إلى المكوِّن الإضافي Brosing ، يُظهر استخدام المكونات الإضافية الأخرى عدم وجود PMF (Product / Market Fit). وأشار إلى أن الكثير من الناس يعتقدون أنهم يريدون أن يكون تطبيقهم داخل ChatGPT ، لكن ما يريدونه حقًا هو ChatGPT داخل التطبيق.
04. باستثناء ChatGPT ، ستتجنب OpenAI التنافس مع عملائها
الشركات الكبرى لديها تطبيق قاتل
قال العديد من المطورين إنهم قلقون بشأن التطوير باستخدام OpenAI API ، لأن OpenAI قد تطلق في النهاية منتجات قادرة على المنافسة معهم. قال Sam أن OpenAI لن تصدر المزيد من المنتجات خارج ChatGPT. من الناحية التاريخية ، كان لدى شركات المنصات العظيمة تطبيق قاتل ، كما قال. سيسمح ChatGPT للمطورين بأن يصبحوا عملاء لمنتجاتهم الخاصة لتحسين واجهة برمجة التطبيقات. تتمثل رؤية ChatGPT في أن تصبح مساعد عمل فائق الذكاء ، ولكن هناك العديد من حالات استخدام GPT الأخرى التي لن تشارك OpenAI فيها.
05. التنظيم مطلوب ، لكن ليس الآن
"أنا متشكك بشأن عدد الأشخاص والشركات القادرة على امتلاك نماذج كبيرة"
بينما دعا سام إلى تنظيم النماذج المستقبلية ، إلا أنه لا يعتقد أن النماذج الحالية خطيرة وأن تنظيمها أو حظرها سيكون خطأً كبيرًا. وأكد على أهمية المصدر المفتوح وقال إن OpenAI تدرس جعل GPT-3 مفتوح المصدر. لم تكن مفتوحة المصدر بعد ، ويرجع ذلك جزئيًا إلى شكوكه في عدد الأفراد والشركات القادرة على الاحتفاظ بنماذج اللغة الكبيرة (LLMs) وتقديمها.
06. لا تزال قوانين الميزان سارية
لا يمكن أن تستمر سرعة التوسع التي تبلغ ملايين المرات في بضع سنوات إلى الأبد.
هناك الكثير من المقالات التي تزعم مؤخرًا أن "عصر نماذج الذكاء الاصطناعي العملاقة قد انتهى". هذا ليس دقيقا. (ملاحظة: في حدث أقيم في معهد ماساتشوستس للتكنولوجيا في أبريل ، قال سام ألتمان: نحن الآن نقترب من نهاية عصر النماذج العملاقة.)
تُظهر البيانات الداخلية لـ OpenAI أن قوانين التحجيم الخاصة بأداء النموذج لا تزال سارية ، وستستمر زيادة حجم النموذج في تحسين الأداء.
نظرًا لأن OpenAI قامت بتوسيع نطاق النماذج بملايين المرات في بضع سنوات فقط ، فلا يمكن الحفاظ على معدل التوسع هذا. هذا لا يعني أن OpenAI لن تستمر في محاولة جعل النماذج أكبر ، ولكن هذا يعني أنه من المحتمل أن يتضاعف حجمها أو يتضاعف ثلاث مرات كل عام ، بدلاً من العديد من الطلبات من حيث الحجم.
إن حقيقة أن قوانين المقياس سارية لها آثار مهمة على الجدول الزمني لتطوير الذكاء الاصطناعي العام. افتراض قانون المقياس هو أنه من المحتمل أن يكون لدينا بالفعل معظم المكونات اللازمة لبناء الذكاء الاصطناعي العام ، وأن باقي العمل يهدف بشكل أساسي إلى توسيع نطاق الأساليب الحالية لتشمل النماذج الأكبر ومجموعات البيانات الأكبر. إذا انتهى عصر المقياس ، فقد نبتعد عن الذكاء الاصطناعي العام. حقيقة أن قوانين الحجم تستمر في التطبيق تعني بقوة وجود جدول زمني أقصر.