أبعاد خفية في الانحدار العشوائي التدرجي

الانحدار العشوائي التدرّجي (بالإنجليزية: Stochastic gradient descent)، وغالبًا ما يُختصر بـ SGD، هو طريقة تكرارية تُستخدم لتحسين دالة الخسارة التي تمتلك خصائص نعومة دالة مناسبة (مثل دالة قابلة للاشتقاق أو مشتقة شبهية). ويمكن اعتباره تقريبًا عشوائيًا لخوارزمية أصل التدرج، حيث يتم استبدال التدرج الحقيقي (المحسوب من مجموعة بيانات كاملة) بتقدير له يُحسب من مجموعة فرعية عشوائية من البيانات. وتحديدًا في مسائل التحسين ذات الأبعاد العالية، يقلل هذا من التعقيد الحسابي العالي جدًا، محققًا تكرارات أسرع على حساب تقليل سرعة التقارب.

يمكن تتبع الفكرة الأساسية وراء التقريب العشوائي إلى خوارزمية روبنز-مونرو في خمسينيات القرن العشرين. واليوم، أصبح الانحدار العشوائي التدرّجي أداة تحسين مهمة في تعلم الآلة.

قراءة المقال الكامل على ويكيبيديا ←