تقنية تحديد نقاط معالم الوجه

مقدمة

لقد قدمت سابقًا مقال يشرح عن تقنية تحديد الوجوه بشكل عام عن طرق نموذج التتالي هاار يمكنك قراءة مقال نموذج التتالي هاار لتحديد الوجوه والكائنات من هنا، في هذا المقال سأشرح عن تقنية أحدث من تقنية نموذج التتالي والذي يتعرف على الوجه بشكل عام فقط، أما نماذج تحديد معالم الوجوه هي مرحلة مضافة إلى نموذج التتالي استخراج النقاط المعلمية في الوجه مثل زاوية العين وحدقة العين وزاوية الفم.

هدف التقنية هو تحديد معالم الوجه بشكل دقيق. تتنوع الخوارزميات المستخدمة في نماذج تحديد المعالم منها البسيطة ومنها المعقدة التي تبني نموذج ثلاثي الأبعاد عن طريق التعرف على تلك النقاط.

ما هي معالم الوجه؟

معالم الوجه هي أن نقطة تعبر عن شيء مميز في الوجه، مثل زاوية الفم، زاوية العين، النقاط الواقعة على رسمة الحاجب، النقاط الواقعة على محيط الذقن، ويمكن أن تقل أو تكثر بناءً على عدد النقاط المطلوب من خلال نماذج تعرف مختلفة. (الصورة 1 اليسار) هو نموذج لاستخراج 64 معلم من الوجه و(الصورة 1 اليمين) هي التطبيق العملي لذلك وكما نرى نجح النموذج بتحديد المعالم بدقة.

الصورة 1. اليمين: تطبيق عملي للمعالم. اليسار: نموذج استخراج 64 معلم من الوجه، مصدر الصورة (Amos,2016) (المصدر رقم 1)

يمكن اختيار النموذج بناءً على عدد النقاط فمثلا، بناءً على النموذج المدرَب على مجموعة بيانات FRGC-V2، يتم استخراج خمس نقاط فقط وفي تلك الحالة تكون نقطتين على العينين، نقطة على الفم، نقطة على الفم، نقطة على نهاية الذقن من الأسفل، كما هو موضح في (الصورة 2، c).  النموذج الذي سيتم استخدامه في آخر قسم من هذا المقال يحدد 64 معلم كما هو موضح في الصورة التالية وهذه النقاط تم تعريفها في النموذج كما هي مرقمة، ويعتبر كل رقم من 0 إلى 64 هو اسم أو عنوان لتلك النقطة، فحينما يتعرف النموذج على النقطة 36 فهو بذلك وجد معلم الزاوية اليسرى للعين اليمنى.

تطبيقات وأمثلة لتقنية تحديد معالم الوجه

• التعرف على الوجه

من خلال تحديد معالم الوجه يمكن التفريق بين ملامح شخص وآخر بدقة ومعرفة شخص بعينه، على سبيل المثال: أنظمة فتح الهواتف الذكية من خلال بصمة الوجه

• التعرف على تعابير الوجه

من خلال هذه التقنية أيضًا يمكن اكتشاف التعابير مثل الضحك والحزن والغضب والدهشة

• تتبع الوجه

من خلال هذه التقنية يمكن تتبع شخص ما بناءً على ملامح وجهه بشكل خاص أو على أي شخص بشكل عام بشكل أدق من نموذج التتالي هاار المعروف

• اكتشاف النعاس أثناء القيادة

من خلال تقنية تحديد معالم العين يمكن تحديد ما إذا كانت العين مغلقة أم مفتوحة وبهذه الطريقة يمكن تحذير السائق وتنبيهه من أجل أن يستيقظ أو أن يتوقف عن القيادة، كما هو موضح في (الصورة 3).

• نمذجة الوجه على شكل ثلاثي الأبعاد

عند تحديد معالم الوجه وخواص الملامح بشكل دقيق، يمكن التنبؤ بشكل الوجه ثلاثي الأبعاد، كما هو موضح في (الصورة 4)

• تجميل الوجه

أو بما يعرف بفلاتر الوجه في تطبيقات التواصل الاجتماعي، وهو تطبيق لتجميل الوجه من خلال تطبيق مصفوفات التفافية تغير من شكل الملامح إلى شكل أجمل أو حسب اختيار المستخدم بناء على موقع الملامح. مثلا، عندما يحدد نموذج نقاط معالم العينين يجعلهما أكبر ولامعتين، كما في (الصورة 5).

تحديات تواجه نماذج تحديد معالم الوجه

يوجد العديد من التحديات التي تواجه نماذج تحديد المعالم وهنا ذكرت أشهرها كما هو موضح في (الصورة 6):

• قياس الصورة

يؤثر حجم وقياس الصورة على نتيجة نموذج تحديد المعالم، فعندما تكون الصورة صغيرة جدًا لا تستطيع بعض النماذج تحديد نقاط معالم الوجه مثل ما هو موضح في الصورة.

• وضعية الصورة

تؤثر وضعية أخذ الصورة على جودة تحديد المعالم، مثلًا في حالة التصوير من الأعلى يختلف عن حالة التصوير من الجانب ويختلفان في حالة التصوير من أسفل الوجه.

• اجتزاء الصورة

في بعض الأحيان يكون الوجه مغطى بلثام أو كمامة أو نظارة شمسية وذلك يؤثر على عمل نماذج استخراج معالم الوجه

• تعابير الوجه

في بعض الأحيان تتأثر النماذج بحالات تعبير الوجه، مثلا عند الاندهاش الشديد أو الضحك الشديد ربما يتأثر النموذج بالتعرف على النقاط المعلمية في الوجه.

• مستحضرات التجميل

بعض نماذج استخراج التقاط المعلمية في الوجه تكون ضعيفة لدرجة أنها تخطئ في استخراج النقاط المعلمية نظرا لتغير الألوان أو كثرة مساحق التجميل، وفي حال كانت المساحيق كثيرة لدرجة تتغير فيها الملامح كتغيير الشكل إلى مخلوق آخر عن طريق مساحيق التجميل، حين إذٍ حتى النماذج القوية من الممكن أن لا تتعرف على الملامح.

• تأثير السطوع على الوجه

يؤثر تأثير السطوع على عمل النموذج، حيث أن الضوء يلغي بعض الألوان وبذلك يلغي خواص الوجه من منظور الرؤية الحاسوبية.

الخطوات العامة لسير خوارزميات تحديد معالم الوجه

يوجد ثلاثة مراحل أساسية لأي خوارزمية تحديد معالم كما هو ممثل في (الصورة 7).

المرحلة الأولى: هي مرحلة إدخال الصورة ومعالجتها وتحضيرها للمرحلة التالية، مثل قص الصورة وتحويلها للون الرمادي ثم تحويلها لمصفوفة رقمية.

المرحلة الثانية: هي مرحلة البحث والتعرف على وجه في الصورة المدخلة وهذه المرحلة تكون مهمة نموذج التتالي في التعرف على الوجوه ويتم استخدام نماذج تتالي للتعرف على خواص الوجه ثم على الوجه كاملًا، وأشهر هذه النماذج هو نموذج التتالي لخواص هاار المستطيلة.

المرحلة الثالثة: هي مرحلة اكتشاف وتحديد نقاط معالم الوجه الذي تم اكتشافه في المرحلة السابقة، وفي حال عدم اكتشاف أي وجه في المرحلة السابقة فإن المرحلة هذه لا تعمل.

طرق تحديد المعالم

يوجد عدة خوارزميات لتحديد المعالم منها القديمة ومنها الحديثة

الطرق القديمة

الطرق الشمولية

الطرق القديمة هي الطرق التي تعتمد على الوجه بشكل شامل وعام. ويرمز لها باسم الطرق الشمولية (Holistic Methods).

• نموذج المظهر النشط (Active Appearance Model) (AAM)

نموذج المظهر النشط هو نموذج إحصائي تم تقديمه بواسطة ( تايلور و كوتوز عام 1998)(رقم 9).  وهو يحدد الملامح بناءً على شكل الوجه عن طريق تطبيق عدد قليل من المعاملات على الوجه.

في مرحلة بناء نموذج المظهر النشط، تبني الخوارزمية المظهر والشكل الشامل للوجه تسلسليًّا بناءً على تقنية تحليل العنصر الأساسي (Principal Component Analysis) (PCA). في مرحلة التعرف وتحديد المعالم، تُعَرِّف الخوارزمية مواقع مواقع المعالم في الوجه بناءً على ما تعلمته في مرحلة المظهر والشكل الكامل للوجه

• نموذج المعلم المحلي المُقيَّد (Constrained Local Model) (CLM)

نقطة التقييد (Constraint) أو المعلم المحلي المقيد (Constrained Local): هما مصطلحان يرمزان إلى الموقع المتوقع لنقطة المعلم بحيث لا يمكن مجاوزتها في التنبؤ لمعلم وجه ما.

قدم (ساراجيه وباحثون عام 2011)(رقم11) نموذج المعلم المحلي المقيد لأول مرة. يشير نموذج المعلم المحلي المقيد إلى مواقع المعالم بناءً على أنماط شكل الوجه الشامل وعلى معلومات المظهر المعلم المحلي حول كل مَعلَم، ويتميز هذا النموذج عن سابقه بأنه أسهل لالتقاط المعالِم وأكثر صلابة ضد تأثير السطوع على صورة الوجه مثل التصوير أمام الشمس أو أضواء المسرح وضد أثر اقتطاع أو تشويش جزء من صورة الوجه مثل لبس الكمامة أو النظارات الشمسية.

الطرق الحديثة

الطرق المبنية على الانحدار (Regression-based Methods)

تتعلم الطرق المبنية على الانحدار تعيين نقاط المعالم من مظهر الصورة بشكل مباشر. خلافًا للطرق الشمولية ونماذج المعلم المحلي المقيد، لا يتم بناء أي نموذج شامل لشكل الوجه، وإنما يتم تضمين قيود شكل الوجه.

بشكل عام، الطرق المبنية على الانحدار تصنف إلى ثلاثة أنواع:

• خوارزميات الانحدار المباشرة
• خوارزميات الانحدار المتوالية
• خوارزميات الانحدار المبنية على التعلم العميق

تتميز طرق لانحدار بأنها سريعة جدًا مقارنة ببقية الطرق حتى أن ورقة بحث …. استطاعت تحديد 194 معلم بمعدل  1لقطة لكل واحد ميلي ثانية

• خوارزميات الانحدار المباشرة

خوارزميات الانحدار المباشرة تتنبأ بمعالم الوجه من خلال خطوة واحدة دون وضع معاملات أساسية كتوقع مبدئي لمواقع معالم الوجه مثل قيم المتوسط الحسابي لكل معلم.

• خوارزميات الانحدار المتوالية

على عكس خوارزميات الانحدار المباشرة، تبدأ خوارزميات الانحدار المتوالية بتخمين مبدئي عن مواقع معالم الوجه، ثم تُحدث مواقع المعالم تدريجيًّا من خلال عدة مراحل في سير الخوارزمية. في كل مرحلة من مراحل التدريب تتكون من دالة انحدار تعلمت من دوال انحدار سابقة.

• خوارزميات الانحدار المبنية على التعلم العميق

في السنوات الأخيرة، خوارزميات التعلم العميق وخصوصا خوارزميات الشبكات الصعبة الالتفافية أصبحت الخوارزميات المسيطرة في مجال تحديد معالم الوجه والتي تكون مدمجة مع خوارزميات الانحدار المباشرة والمتوالية.

الطرق العميقة الهجينة

الطرق العميق الهجينة (Hybrid deep methods): هي طرق تدمج بين الشبكات العصبية الالتفافية وبين الرؤية ثلاثية الأبعاد، مثل نموذج الإسقاط ونموذج الشكل ثلاثي الأبعاد القابل للتشوه كما هو موضح في (الصورة 9).

في هذه الخوارزمية، يتم التنبؤ بالشكل الثلاثي الأبعاد للوجه مباشرة دون البدء بالتنبؤ ثنائي الأبعاد. بعد ذلك، يتم تحديد المواقع ثنائية الأبعاد عن طريق نموذج إسقاط مبني على الرؤية الحاسوبية.

مثال من أشهر النماذج المستخدمة

تم نشر ورقة بحثية بواسطة (كاظمي وسوليفان، 2014) (رقم 11). تتناول الورقة نموذج تم إنشاؤه ليقوم بتحديد 194 نقطة معلمية في الوجه في جزء من الألف من الثانية! استخدموا نموذج مجموعات أشجار الانحدار (Ensemble of Regression Trees). يميز هذه الخوارزمية هو طريقة التقليل من قيم خسارة الخطأ التربيعية لقيم الانحدار وبالتالي تعالج البيانات غير المسماة أو المسماة جزئيًا.

التطبيق العملي عن طريق المكتبتين dlib وOpenCV

يمكنك تجريب هذه التقنية بنفسك عن طريق تطبيق بعض السطور البرمجية واستدعاء مكتبة dlib، تم تطبيق الكود الخاص بالمصدر (رقم 12).

ملخص

• نماذج تحديد معالم الوجوه هي مرحلة مضافة إلى نموذج التتالي استخراج النقاط المعلمية في الوجه مثل زاوية العين وحدقة العين وزاوية الفم.
• عدد معالم الوجه يمكن أن تقل أو تكثر بناءً على عدد النقاط المطلوب من خلال نماذج تحديد مختلفة.
• يوجد ثلاثة مراحل أساسية لأي خوارزمية تحديد معالم: مرحلة إدخال الصورة ومعالجتها وتحضيرها، ومرحلة البحث والتعرف على وجه في الصورة المدخلة، ومرحلة اكتشاف وتحديد نقاط معالم الوجه.
• يوجد العديد من التحديات التي تواجه نماذج تحديد معالم الوجه مثل قياس الصورة، ووضعية الصورة، واجتزاء الصورة، واختلاف تعابير الوجه ووضع مستحضرات التجميل.
• أشهر الطرق المستخدمة في تحديد معالم الوجه هي طرق الانحدار، وطرق التعلم العميق.
• يمكن تجريب تقنية تحديد معالم الوجه عن طريق تطبيق بعض السطور البرمجية واستدعاء المكتبتين dlib، وOpenCV.

المصادر

1. صورة النقاط المعلمية ال64 للوجه

Amos, B., Ludwiczuk, B., & Satyanarayanan, M. (2016). OpenFace: A general-purpose face recognition library with mobile applications.

2. ورقة تنوع عدد المعالم بناءً على مجموعة البيانات المدربة

Sagonas, C., Antonakos, E., Tzimiropoulos, G., Zafeiriou, S., & Pantic, M. (2016). 300 Faces In-The-Wild Challenge: database and results. Image Vis. Comput., 47, 3-18.

3. ورقة تحديد النعاس

Sathasivam, S., Mahamad, A.K., Saon, S., Sidek, A., Som, M.M., & Ameen, H.A. (2020). Drowsiness Detection System using Eye Aspect Ratio Technique. 2020 IEEE Student Conference on Research and Development (SCOReD), 448-452.

4. ورقة نمذجة الوجه بشكل ثلاثي الأبعاد

R, Mallikarjun & Tewari, Ayush & Seidel, Hans-Peter & Elgharib, Mohamed & Theobalt, Christian. (2020). Learning Complete 3D Morphable Face Models from Images and Videos.

5. مقال تحديد النقاط المفتاحية في الوجه عن طريق التعلم العميق

https://towardsdatascience.com/facial-keypoints-detection-deep-learning-737547f73515

6. ورقة استطلاع التعمق في تحديد الوجه وذكرت التحديات

Minaee, Shervin & Luo, Ping & Lin, Zhe & Bowyer, Kevin. (2021). Going Deeper Into Face Detection: A Survey.

7. ورقة استطلاع: تحديد معالم الوجه

Wu, Y., Ji, Q. Facial Landmark Detection: A Literature Survey. Int J Comput Vis 127, 115–142 (2019). https://doi.org/10.1007/s11263-018-1097-z

8. ورقة نموذج المظهر النشط

Edwards, G.J., Taylor, C.J., Cootes, T.F.: Interpreting face images using active appearance models. In: IEEE International Conference on Face and Gesture Recognition, pp. 300–305. IEEE Computer Society (1998)

9. فيديو مقدمة عن تحديد معالم الوجه وشرح كود تطبيقي

https://www.youtube.com/watch?v=YM7XTGwpBVQ

10. ورقة نموذج المعلم المحلي المقيد

Saragih, J.M., Lucey, S., Cohn, J.F.: Deformable model fitting by regularized landmark mean-shift. International Journal of Computer Vision 91(2), 200–215 (2011)

11. ورقة تحديد 194 معلم في جزء من الألف في الثانية.              Kazemi, Vahid & Sullivan, Josephine. (2014). One Millisecond Face Alignment with an Ensemble of Regression Trees. 10.13140/2.1.1212.2243.
12. مصدر الكود

https://vigneshs4499.medium.com/face-detection-and-landmarks-using-dlib-and-opencv-8c824f50cc78