استكشف روعة المحول المولد مسبق التدريب 2

المحول المولد مسبق التدريب 2 (بالإنجليزية: Generative Pre-trained Transformer 2 (GPT-2)) هو نموذج لغوي كبير من أوبن أيه آي والثاني في سلسلة نماذج محول مولد مسبق التدريب الأساسية الخاصة بهم. تم تدريب المحول المولد مسبق التدريب 2 مسبقًا على مجموعة بيانات مكونة من 8 ملايين صفحة ويب. تم إصداره جزئيًا في فبراير 2019، تلاه الإصدار الكامل للنموذج الذي يحتوي على 1.5 مليار معلمة في 5 نوفمبر 2019.

تم إنشاء المحول المولد مسبق التدريب 2 باعتباره «تطويرًا مباشرًا» للمحول المولد مسبق التدريب 1 مع زيادة بمقدار عشرة أضعاف في كل من عدد المعلمات وحجم مجموعة بيانات التدريب الخاصة به. إنه متعلم عام الغرض، وكانت قدرته على أداء المهام المختلفة نتيجة لقدرته العامة على التنبؤ بدقة بالعنصر التالي في التسلسل، مما مكنه من ترجمة النصوص، والإجابة على أسئلة حول موضوع من نص، وتلخيص مقاطع من نص أكبر، وتوليد إخراج نصي على مستوى لا يمكن تمييزه أحيانًا عن مستوى البشر؛ ومع ذلك، يمكن أن يصبح متكررًا أو غير منطقي عند توليد مقاطع طويلة. وقد تم استبداله بنماذج المحول المولد مسبق التدريب 3 والمحول المولد مسبق التدريب 4، والتي لم تعد مفتوحة المصدر.

يحتوي المحول المولد مسبق التدريب 2، مثل سابقه المحول المولد مسبق التدريب 1 وخلفائه المحول المولد مسبق التدريب 3 والمحول المولد مسبق التدريب 4، على بنية محول مُدرَّبة مسبقًا، تنفذ شبكة عصبية عميقة، وبشكل خاص نموذج محول، والذي يستخدم الانتباه بدلاً من البنيات القديمة القائمة على التكرار والالتفاف. تسمح آليات الاهتمام للنموذج بالتركيز بشكل انتقائي على أجزاء من النص المدخل الذي يتوقع أن يكون الأكثر صلة. يسمح هذا النموذج بزيادة كبيرة في التوازي، ويتفوق على المعايير السابقة للنماذج المستندة إلى RNN/CNN/LSTM.

قراءة المقال الكامل على ويكيبيديا ←