عملية تجزئة الصورة أو تقسيم الصورة (Image Segmentation)
تطبيقات تقنية تقسيم الصورة
يحتوي تقسيم الصور على مجموعة واسعة من التطبيقات، مثل:
- التعرف على الأشياء
- تحليل الصور الطبية
- الملاحة المستقلة للمركبات ذاتية القيادة.
أنواع تقسيم الصورة
تقسيم الكائنات (Instance Segmentation) والتقسيم الدلالي (Semantic Segmentation) هما نوعا من تجزيء الصور الشائعة المستخدمة في الرؤية الحاسوبية ومعالجة الصور.
تقسيم الكائنات (Instance Segmentation)
تقسيم الكائنات هو نوع متقدم من تقسيم الصورة وهو يتضمن تحديد وتقسيم الأجسام الفردية في الصورة. بمعنى أخر، يتم تعيين كل كائن في الصورة بعلامة مميزة أو مُعرِّف ويتم فصله عن بقية الصورة. يستخدم هذا النوع في مهام كشف الأجسام وتتبع الأجسام، حيث من المهم التمييز بين نسخ متعددة من نفس فئة الكائن.
التقسيم الدلالي (Semantic Segmentation)
على الجانب الآخر، التقسيم الدلالي هو نوع أبسط ويتضمن تعيين كل مربع بكسل في الصورة بعلامة صنف محدد. الهدف من تقسيم الدلالة هو تعيين علامة تصنيفية لكل مربع بكسل في الصورة، بغض النظر عن وجود نسخ متعددة من نفس فئة الكائن الموجودة.
يستخدم هذا النوع في مهام لا يهم فيها تحديد الهوية مثل فهم المشهد، حيث من المهم فهم التخطيط والهيكل العام للصورة.
الصورة التالية توضح الفرق بين التقسيم الدلالي والتقسيم اعتمادًا على الكائنات، حيث يلاحظ أن التقسيم الكائنات اعتبر وجود 5 أشخاص وكل شخص بلون مختلف وبالتقسيم الدلالي كل الأشخاص اعتبروا بتصنيف إنسان أو شخص.
طرق تقسيم الصورة
هناك العديد من الطرق المختلفة التي يمكن استخدامها لتجزئة الصور، مثل:
- التقسيم الحدي أو تقسيم العتبة (Threshold Segmentation)
- التقسيم عن طريق الألوان (Color-based Segmentation)
- التقسيم عن طريق الأشكال (Shape-based Segmentation)
بالإضافة إلى العديد من الطرق الأخرى مثل التي يمكن استخدامها لتجزئة الصور، مثل التجزئة القائمة على النسيج ونمو المنطقة. تعتمد الطريقة المناسبة للاستخدام على الخصائص المحددة للصورة والتطبيق المطلوب
وتعتمد الطريقة المناسبة تبعًا لخصائص محددة في الصورة والتطبيق المرغوب به. في هذا المقال، سوف نركز على الأساليب الثلاثة الرئيسية التي تم ذكرها
التقسيم الحدي
وهو اختيار قيمة لتكون هي الحد الفاصل بين قيمتين أو إجراءين.
أنواع التقسيم الحدّي
- التقسيم الحدّي العام
- التقسيم الحدّي المتحول
- التقسيم الحدّي المتعدد.
التقسيم الحدي العام
يتضمن التقسيم الحدي العام اختيار قيمة حد واحدة للصورة كلها. يتم استخدام هذه القيمة لفصل الصورة إلى أجزاء مختلفة، حيث يتم تعيين جميع البكسلات التي فوق قيمة الحد الذكوري إلى فئة واحدة، ويتم تعيين جميع البكسلات التي تحت قيمة الحد الذكوري إلى فئة أخرى.
الصورة التالية توضح أن قيمة العتبة تساوي 90، وذلك يعني أن أي بكسل قيمته أقل من 90 يجب يتم تحويله إلى اللون الأبيض، حيث أنّ قيم 90 وما تحتها أقرب إلى اللون الأسود.
التقسيم الحدي المتحول
يتضمن التقسيم الحدي المتحول حساب قيمة حد منفصلة لكل بكسل على أساس القيم الموجودة في مربعات بكسل المجاورة. تعد هذه الطريقة مفيدة للصور التي تتميز بظروف توضيح مختلفة، كما أنه يسمح لحساب قيمة حد أكثر دقة لكل بكسل.
التقسيم الحدّي المتعدد
يتضمن التقسيم الحدّي المتعدد استخدام قيم حدية متعددة لفصل الصورة إلى فئات أكثر من فئتين. هذه الطريقة مفيدة للصور التي تحتوي على مناطق متميزة متعددة لا يمكن فصلها بدقة باستخدام قيمة حد واحدة.
التقسيم المبني على الألوان
يتضمن التقسيم الحدّي المبني على الألوان فصل الصورة إلى مناطق مختلفة بناء على ألوان مربعات بكسل. هذه الطريقة مفيدة للصور التي تتميز بمناطق متميزة يمكن التعرف عليها بسهولة عن طريق ألوانها، مثل الفاكهة في سلة الفاكهة أو أنواع مختلفة من الزهور في الحديقة. والصورة التالية توضح فصل الألوان من درجات الأخضر والرمادي ثم يستنتج العشب والشجر والطريق فقط بالنظر إلى الألوان.
لتطبيق هذه الطريقة، يتبع الخطوات التالية:
- تحويل نظام الألوان: يتم تحويل الصورة من نظام الألوان ار جي بي (RGB Color Space) إلى نظام ألوان مختلف مثل نظام ال أي بي (LAB) أو نظام اتش اس في (HSV). وأنسب نظام ألوان للتقسيم الحدي المبني على الألوان هو نظام HSV.
- تقسيم العتبة: يتم اختيار قيمة حد لكل قناة لون (Color Channel) في الصورة. يتم تعيين مربعات بكسل التي تحتوي على قيم فوق حد العتبة إلى فئة واحدة، في حين يتم تعيين مربعات بكسل التي تحتوي على قيم أقل من حد العتبة إلى فئة أخرى.
- دمج المناطق: يتم دمج المناطق المجاورة التي تحتوي على ألوان مشابهة معاً لتشكيل مناطق أكبر.
التقسيم المبني على الشكل
يتضمن التقسيم الذي يعتمد على الشكل تقسيم الصورة إلى مناطق مختلفة بناءً على أشكال الأجسام في الصورة. هذه الطريقة مفيدة للصور التي تحتوي على أجسام غير مكتملة وذات أشكال غير واضحة مثل السيارات في موقف السيارات أو الخلايا في صورة المجهر. كما هو موضح بالصورة التالية.
تقنيات تقسيم الصورة بناءً على الشكل
خوارزميات تقسيم الصور
يوجد العديد من الخوارزميات المختلفة التي يمكن استخدامها لتقسيم الصور، والتي تتراوح بين الطرق البسيطة لتحديد العتبة والتجميع وبين طرق أكثر تعقيدًا مثل التعلم العميق. بعض الهياكل الأكثر شيوعًا لتقسيم الصور هي:
- الشبكات الالتفافية بشكل كامل (FCN)
- الشبكات العصبية المدمجة بالتداخل المنطقي مع المنطقة المحددة (Mask RCNN)
الشبكات الالتفافية بشكل كامل (FCN)
الشبكات الالتفافية بشكل كامل (Fully Convolutional Networks) (FCN) هي شبكات عصبية تم تصميمها خصيصًا لمهام تقسيم الصور وتتألف من مجموعة من الطبقات الالتفافية والتجميع تليها مجموعة من الطبقات التي تضخم حجم العينات بتزايد (up-sampling layers)، والتي تساعد في استعادة الدقة المكانية للصورة الأصلية. تعتبر الشبكات الالتفافية بشكل كامل مفيدة جدًا لمهام تقسيم الصور الكبيرة كتقسيم الدلالة للصور عالية الدقة. الصورة التالية توضح هيكل شبكة التفافية تعالج تقسيم صورة القط تقسيم دلالي.
شبكة U-Net
هي نوع من الشبكات الالتفافية بشكل كامل والتي تم تطويرها لتقسيم الصور الطبية. تتألف شبكة U-Net من مجموعة من كتل التشفير والترميز، التي تساعد في استخراج الخواص المميزة العليا من الصورة المدخلة ثم استخدام هذه الخواص لإعادة إنشاء صورة مقسمة في المخرجات. تعتبر هذه الشبكة مفيدة جدًا في التعامل مع الأجسام الصغيرة والتفاصيل اللامعة في الصور.
الشبكات العصبية المدمجة بالتداخل المنطقي مع المنطقة المحددة (Mask RCNN )
تعتبر الشبكات العصبية المدمجة بالتداخل المنطقي مع المنطقة المحددة (Mask Region-based Convolutional Neural Networks) نوعاً من الشبكات العصبية المدمجة متعددة الطبقات، وتستخدم في مهام الكشف عن العناصر والتقسيم المثير للجدل. تتكون شبكات Mask RCNN)) من طبقات عصبية متفاوتة الأبعاد ملحقة بطبقات متصلة بشكل كامل (Fully Connected Layers).
تستخدم هذه الشبكات لتوقع التصنيف ومربع التحديد وطريقة عرض التداخل المنطقي أو ما يكنى بالقناع (Mask) لكل عنصر في الصورة. وتعتبر شبكات (Mask RCNN) ذات تأثير كبير على التعرف والتقسيم المتعدد للعناصر لنفس الفئة في الصورة.
ملخص
- التقسيم الصوري هو عملية فصل الصورة إلى عدة أجزاء أو مناطق، اعتمادًا على التقسيم الكائني أو الدلالي أو اللوني أو الشكلي.
- يوجد العديد من تقنيات التقسيم الصوري، مثل التبويب والتجمع وكشف الحواف ونمو المناطق والخوارزمية العليا المائية.
- هناك نوعان من التقسيم الصوري: تقسيم الكائنات وتقسيم الدلالة. ويمكن أن يستند التقسيم الصوري على الشكل واللون وميزات أخرى للكائنات أو المناطق في الصورة.
- العديد من النماذج والخوارزميات المختلفة التي يمكن استخدامها في التقسيم الصوري، بما في ذلك الشبكات العصبية المدمجة بشكل كامل والشبكات العصبية المدمجة بالتداخل المنطقي مع المنطقة المحددة.
المصادر
- Dwivedi,2019, Semantic Segmentation — Popular Architectures, Medium, https://towardsdatascience.com/semantic-segmentation-popular-architectures-dff0a75f39d0 .
- Mwiti, (Yi) Li, 2022, Image Segmentation: Architectures, Losses, Datasets, and Frameworks, MLOps Blog, https://neptune.ai/blog/image-segmentation#:~:text=The%20basic%20architecture%20in%20image,an%20encoder%20and%20a%20decoder.&text=The%20encoder%20extracts%20features%20from,the%20outline%20of%20the%20object.
- Sharma , 2019, Computer Vision Tutorial: A Step-by-Step Introduction to Image Segmentation Techniques (Part 1), Analytics Vidhya, https://www.analyticsvidhya.com/blog/2019/04/introduction-image-segmentation-techniques-python/ .
