ما هو التعلم الجمعي؟
التعلم الجمعي هي تقنية لدمج عدة نماذج لتحسين الأداء الإجمالي لنموذج التنبؤ في مهام تعلم الآلة والتنبؤ بالبيانات.
يمكن تصنيف طرق التعلم الجمعي إلى ثلاث تصنيفات رئيسية: تشكيل الحِزَم (Bagging)، والتعزيز (Boosting)، والتكديس (Stacking). يمكن استخدام هذه الطرق في مشكلات التصنيف والانحدار، وتعد هذه الطرق فعالة جدًا في للمشاكل المعقدة التي تحتوي على حدود قرار غير خطية.
1- تشكيل الحزم (Bagging)
تشكيل الحزم (المختصر لتجميع الحزم التمهيدية) (bootstrap aggregating) هي تقنية تتضمن تدريب عدة نماذج على مجموعات مختلفة من بيانات التدريب، ثم يتم حساب المتوسط على نتائج التنبؤ.
يمكن إنشاء المجموعات من البيانات عن طريق استبدال بعض العينات بعينات عشوائية، وذلك يعرف بالاعتماد الجزئي. من خلال تدريب النماذج على مجموعات مختلفة من البيانات، يمكن لطريقة تشكيل الحزم الحد من تحيز النموذج وجعله أفضل في التنبؤ، عن طريق تفادي الإفراط في تحليل بيانات التدريب.
الطريقة المتعارف عليها لتجميع النماذج التي تعتمد على تشكيل الحزم هي الغابة العشوائية.
الغابة العشوائية: هي مجموعة من أشجار القرار المدربة على مجموعات مختلفة من البيانات. التوقع النهائي يتم بطريقة تصويت الأغلبية.
2- التعزيز (Boosting)
التعزيز هي طريقة تعادل أوزان عينات التدريب بناءً على أداء النماذج السابقة. وينقسم إلى نوعين التعزيز التكيفي والتعزيز الاشتقاقي.
- التعزيز التكيفي (AdaBoost)
ما يميز طريقة التعزيز هو أنه يركز على العينات الأكثر صعوبة التي يتم تصنيفها بشكل خاطئ من قبل النماذج السابقة. من خلال تعيين أوزان أعلى لهذه العينات، يمكن للتعزيز تخفيف قيمة العتبة بهدف زيادة عينات صحيحة التنبؤ في النموذج وجعله أكثر مرونة. الخوارزمية المتعارف عليها التي تعتمد على التعزيز هي ادابوست (AdaBoost) وهو مصطلح مختصر من(Adaptive Boosting) ومعناه التعزيز التكيفي.
يدرب التعزيز التكيفي مجموعة من النماذج بشكل تدريجي على البيانات ويعين قيم الأوزان الأعلى للعينات التي يتم تصنيفها بشكل خاطئ من قبل النماذج السابقة.
- التعزيز الاشتقاقي (Gradient Boosting)
الخوارزمية الأخرى المتعارف عليها التي تعتمد على التعزيز هي التعزيز الاشتقاقي. هذه الخوارزمية تدمج التنبؤات من عدة نماذج ضعيفة، مثل أشجار القرار، من خلال التدريب على نموذج مرتفع المستوى لإجراء التنبؤ النهائي.
3- التكديس (Stacking)
التكديس هي تقنية تدمج تنبؤات النماذج من خلال التدريب على نموذج مرتفع المستوى لإجراء التنبؤ النهائي. يمكن القيام بذلك عن طريق التدريب على نموذج ميتا لاتخاذ التنبؤات من النماذج الأساسية كمدخلات وإجراء التنبؤ النهائي. يمكن للتكديس تحسين الأداء النهائي للنموذج من خلال الاستفادة من قوة النماذج الأساسية المختلفة. على سبيل المثال، إذا كان هناك نموذج واحد قوي في التعرف على ميزات معينة، ولكنه ضعيف في التعرف على ميزات أخرى، وكان هناك نموذج آخر قوي في التعرف على الميزات التي تصعب على النموذج الأول، هنا يمكن استخدام التكديس لدمج التنبؤات من كلا النموذجين لتحقيق دقة أعلى بشكل عام على جميع الميزات.
تطبيقات التعلم الجمعي ومجالات استخدامه
يختلف تطبيق التعلم الجمعي باختلاف المشكلة، ولكن الفكرة العامة هي دمج التنبؤات من نماذج متعددة لتحقيق أداء أفضل من أي نموذج متفرد. يمكن أن تكون مفيدة بشكل خاص عند التعامل مع المشاكل المعقدة التي تحتوي على حدود القرار غير الخطية، حيث قد لا يتمكن نموذج واحد من التعبئة بجميع المعلومات الملائمة.
رؤية الحاسوب
- التعرف على الكائنات
يمكن رؤية تطبيق التعلم الجمعي في مجال التعرف على الكائنات، حيث قد تكون النماذج المتنوعة قوية في التعرف على خواص الأشياء والتفريق بينها. على سبيل المثال، قد يكون نموذج واحد قويا في التعرف على الوجوه، في حين يكون نموذج آخر قويا في التعرف على السيارات. يمكن الحصول على دقة أعلى من خلال التدريب على مجموعة من النماذج ودمج التنبؤات الخاصة بها، مقارنة مع دقة تنبؤات النموذج المتفرد.
معالجة اللغات الطبيعية
يستخدم التعلم الجمعي أيضا في مجال معالجة اللغة الطبيعية، مثل الترجمة اللغوية وتصنيف النص.
- الترجمة اللغوية
على سبيل المثال، في الترجمة الآلية، يمكن تدريب عدة نماذج على لغات مختلفة ودمج التنبؤات الخاصة بها لتحسين الأداء العام.
- تصنيف النص
في تصنيف النص، يمكن تدريب عدة نماذج على ميزات مختلفة، مثل لاحقة-ن في الكلمات (n-gram) وعلامات الترقيم، ويمكن دمج التنبؤات الخاصة بها لتحسين أداء نموذج التصنيف النهائي.
الأمن السيبراني
- الكشف عن الشذوذ
مثال آخر لتطبيقات التعلم الجمعي هو الكشف عن الشذوذ، وهو التعرف على نقاط البيانات غير العادية أو غير الطبيعية. يمكن استخدام التعلم الجمعي لدمج التنبؤات من عدة نماذج لتحقيق أداء أعلى بشكل عام على البيانات الجديدة. يمكن استخدام طرق التعلم الجمعي لدمج تنبؤات من عدة نماذج مثلا نماذج قد تم تدريبها بخوارزميات التصنيف، ونماذج تم تدريبها بخوارزميات التعزيز ثم دمج التنبؤات الصادرة من جميع تلك النماذج.
مجالات أخرى في التعلم الآلي
يوجد فوائد أخرى للتعلم الجمعي حيث يمكن أن يستخدم في تكييف النموذج والتعامل معه بمرونة (Interpretability) وإعداده ليكون مستقبلًا لبيانات ومشاكل مختلفة عن التي تم تدريبه عليها. على سبيل المثال، من خلال التدريب على عدة نماذج مع هياكل أو معاملات أساسية (Hyperparameters) مختلفة، يمكن التعرف على الميزات أو المعاملات الأساسية الأكثر أهمية للتوقع النهائي. هذا يمكن أن يكون مفيدا لفهم الآليات الأساسية للنظام، أو لتحديد المناطق المحتملة للتحسين.
يمكن استخدام التعلم الجمعي أيضا لتحسين قدرة استقبال النموذج لبيانات جديدة والتنبؤ بها بشكل صحيح، يمكن القيام بذلك عن طريق إنشاء تنوع نماذج من خلال استخدام طرق التعلم الجمعي المختلفة على النماذج ثم دمج النماذج مرة أخرى والتصويت لأعلى تنبؤ.
بدافع الخبرة، يشكل اختيار الطريقة الصحيحة للتعلم الجمعي والتركيب الصحيح من النماذج للدمج مهمة صعبة. يتطلب فهما جيدًا للمشكلة، والهدف، والبيانات، وأداء النماذج المختلفة. كما يهم أيضًا إجراء تقييم وتعديل مناسب لطريقة التعلم الجمعي لضمان الأداء الأمثل.
خلاصة
- يعتبر التعلم الجمعي في معالجة الصور الآلية تقنية فاعلة وقوية لاستخدامها في تحسين أداء النظام، وصلابته، ومرونة التعامل معه، وتحسين استقباله لبيانات جديدة وصحة التنبؤ لها.
- التعلم الجمعي فعال بشكل خاص في المشاكل المعقدة مع مشاكل حدود القرار غير خطية
- يستخدم التعلم الجمعي على نطاق واسع من المجالات مثل كشف الشذوذ، التعليم الآلي، تصنيف النصوص الطبيعية.
- يشكل اختيار الطريقة الصحيحة التعلم الجمعي والتركيب الصحيح من النماذج للدمج مهمة صعبة تتطلب فهما جيدا للمشكلة والبيانات.
المصادر
- Banerjee, A., Roy, S., Kundu, R. et al. An ensemble approach for still image-based human action recognition. Neural Comput & Applic 34, 19269–19282 (2022). https://doi.org/10.1007/s00521-022-07514-9
- https://dataaspirant.com/ensemble-methods-bagging-vs-boosting-difference/
- https://towardsdatascience.com/ensemble-methods-in-machine-learning-what-are-they-and-why-use-them-68ec3f9fef5f
