رونمایی از Mask R-CNN: چگونه فراتر از تشخیص اشیاء، به درک دقیق صحنه می‌رسد؟

نگاهی عمیق به معماری، عملکرد و کاربردهای الگوریتم پیشگام بخش‌بندی نمونه‌ای.

الگوریتم Mask R-CNN (شبکه عصبی کانولوشنی مبتنی بر منطقه با ماسک) یکی از تأثیرگذارترین پیشرفت‌ها در حوزه بینایی کامپیوتر است. این مدل قدرتمند یادگیری عمیق، نه تنها قادر به تشخیص اشیاء مختلف در یک تصویر است، بلکه می‌تواند مرز دقیق هر شیء را به صورت پیکسل به پیکسل مشخص کند. در این مطلب، به طور جامع به بررسی این الگوریتم، معماری، نحوه عملکرد و کاربردهای آن خواهیم پرداخت.

نکات برجسته کلیدی

بخش‌بندی نمونه‌ای دقیق: Mask R-CNN فراتر از تشخیص اشیاء (مشخص کردن مکان با جعبه محدود کننده) رفته و مرزهای دقیق پیکسلی هر نمونه از شیء را ترسیم می‌کند.
تکامل یافته Faster R-CNN: این الگوریتم بر پایه معماری موفق Faster R-CNN ساخته شده و با افزودن یک شاخه موازی برای پیش‌بینی ماسک، قابلیت‌های آن را گسترش داده است.
نوآوری RoIAlign: جایگزینی RoIPool با RoIAlign، مشکل عدم تطابق مکانی را حل کرده و دقت استخراج ویژگی‌ها برای تولید ماسک‌های باکیفیت‌تر را به طور قابل توجهی افزایش داده است.

Mask R-CNN چیست: درک تفاوت‌ها

تشخیص اشیاء در مقابل بخش‌بندی نمونه‌ای

پیش از پرداختن به Mask R-CNN، درک تفاوت بین وظایف مختلف در بینایی کامپیوتر مهم است:

طبقه‌بندی تصویر (Image Classification): تعیین یک برچسب کلی برای کل تصویر (مثلاً "این تصویر حاوی یک گربه است").
تشخیص اشیاء (Object Detection): شناسایی اشیاء در تصویر و مشخص کردن مکان آن‌ها با استفاده از جعبه‌های محدود کننده (Bounding Boxes) به همراه برچسب کلاس (مثلاً "یک گربه در این جعبه و یک سگ در آن جعبه وجود دارد"). مدل‌هایی مانند Faster R-CNN در این دسته قرار می‌گیرند.
بخش‌بندی معنایی (Semantic Segmentation): طبقه‌بندی هر پیکسل در تصویر بر اساس کلاس شیء مربوطه، بدون تفکیک نمونه‌های مختلف از یک کلاس (مثلاً "این پیکسل‌ها متعلق به گربه هستند، آن پیکسل‌ها متعلق به چمن هستند").
بخش‌بندی نمونه‌ای (Instance Segmentation): وظیفه‌ای که Mask R-CNN در آن برتری دارد. این روش نه تنها هر پیکسل را طبقه‌بندی می‌کند، بلکه نمونه‌های مختلف از یک کلاس شیء را نیز از هم تفکیک می‌کند (مثلاً "این پیکسل‌ها متعلق به گربه شماره ۱ هستند، آن پیکسل‌ها متعلق به گربه شماره ۲ هستند").

مقایسه انواع وظایف در بینایی کامپیوتر: طبقه‌بندی، تشخیص اشیاء، بخش‌بندی معنایی و بخش‌بندی نمونه‌ای. Mask R-CNN در بخش‌بندی نمونه‌ای تخصص دارد.

Mask R-CNN: تکامل یافته Faster R-CNN

Mask R-CNN به عنوان یک گسترش هوشمندانه از الگوریتم محبوب Faster R-CNN طراحی شده است. Faster R-CNN یک مدل دو مرحله‌ای قدرتمند برای تشخیص اشیاء بود که شامل یک شبکه پیشنهاد منطقه (RPN) برای یافتن نواحی محتمل حاوی شیء و یک بخش برای طبقه‌بندی و تعیین دقیق جعبه محدود کننده برای آن نواحی بود. Mask R-CNN این معماری را حفظ کرده و یک مؤلفه کلیدی دیگر به آن افزوده است: یک شاخه موازی که وظیفه تولید ماسک‌های بخش‌بندی با وضوح بالا برای هر شیء شناسایی شده را بر عهده دارد.

نگاهی عمیق به معماری Mask R-CNN

اجزای اصلی

معماری Mask R-CNN از چندین مؤلفه کلیدی تشکیل شده است که با هم کار می‌کنند تا به نتایج دقیق بخش‌بندی نمونه‌ای دست یابند:

۱. شبکه پایه (Backbone Network)

این بخش، ستون فقرات مدل است و وظیفه استخراج نقشه‌های ویژگی (Feature Maps) از تصویر ورودی را بر عهده دارد. معمولاً از شبکه‌های عصبی کانولوشنی عمیق و از پیش آموزش‌دیده مانند ResNet (شبکه‌های پسماند) به همراه FPN (شبکه هرم ویژگی) به عنوان Backbone استفاده می‌شود. FPN به ویژه مفید است زیرا امکان استخراج ویژگی‌ها در مقیاس‌های مختلف را فراهم می‌کند که به تشخیص اشیاء با اندازه‌های متفاوت کمک می‌کند.

۲. شبکه پیشنهاد منطقه (Region Proposal Network - RPN)

این جزء که از Faster R-CNN به ارث رسیده است، بر روی نقشه‌های ویژگی تولید شده توسط Backbone عمل می‌کند. RPN به سرعت تصویر را اسکن کرده و مجموعه‌ای از "پیشنهادات منطقه" یا "مناطق مورد علاقه" (Regions of Interest - RoIs) را تولید می‌کند. این RoI ها، نواحی مستطیلی شکلی هستند که احتمال بالایی برای حضور یک شیء در آن‌ها وجود دارد.

۳. هم‌ترازی منطقه مورد علاقه (RoIAlign): کلید دقت پیکسلی

یکی از مهم‌ترین نوآوری‌های Mask R-CNN، معرفی لایه RoIAlign است که جایگزین لایه RoIPool مورد استفاده در Faster R-CNN شد. RoIPool از کوانتیزاسیون (گرد کردن) مختصات برای استخراج ویژگی‌ها از RoI ها استفاده می‌کرد که منجر به عدم تطابق بین RoI و ویژگی‌های استخراج‌شده می‌شد. این عدم تطابق، هرچند برای تشخیص با جعبه محدود کننده قابل قبول بود، اما برای تولید ماسک‌های دقیق در سطح پیکسل مشکل‌ساز بود. RoIAlign با استفاده از درون‌یابی دوخطی (bilinear interpolation) از کوانتیزاسیون اجتناب می‌کند و ویژگی‌ها را با دقت بسیار بالاتری از مکان‌های دقیق نمونه‌برداری شده در RoI استخراج می‌کند. این امر به طور قابل توجهی کیفیت ماسک‌های پیش‌بینی شده را بهبود می‌بخشد.

۴. سرهای پیش‌بینی موازی (Parallel Prediction Heads)

پس از استخراج ویژگی‌های دقیق با RoIAlign برای هر پیشنهاد منطقه، این ویژگی‌ها به چندین "سر" (Head) موازی ارسال می‌شوند:

سر طبقه‌بندی (Classification Head): پیش‌بینی می‌کند که شیء داخل RoI به کدام کلاس تعلق دارد (مثلاً گربه، سگ، ماشین) و یک امتیاز اطمینان ارائه می‌دهد.
سر جعبه محدود کننده (Bounding Box Head): مختصات جعبه محدود کننده پیشنهاد شده توسط RPN را برای تطابق دقیق‌تر با مرزهای واقعی شیء، اصلاح (Refine) می‌کند.
سر ماسک (Mask Head): این بخش، افزودنی اصلی Mask R-CNN است. این سر یک شبکه عصبی کاملاً کانولوشنی (FCN) کوچک است که برای هر RoI، یک ماسک باینری (معمولاً با ابعاد کم، مثلاً ۲۸x۲۸ پیکسل) پیش‌بینی می‌کند. این ماسک نشان می‌دهد کدام پیکسل‌ها در داخل RoI به شیء تعلق دارند. این ماسک سپس به اندازه RoI اصلی بزرگ‌نمایی می‌شود تا بخش‌بندی نهایی در وضوح تصویر اصلی حاصل شود.

نکته مهم این است که پیش‌بینی ماسک به صورت موازی با پیش‌بینی کلاس و جعبه محدود کننده انجام می‌شود و پیش‌بینی ماسک برای هر کلاس به طور مستقل صورت می‌گیرد (برخلاف FCN های سنتی که بخش‌بندی و طبقه‌بندی را همزمان انجام می‌دادند). این جداسازی وظایف به بهبود عملکرد کمک می‌کند.

نمای کلی معماری Mask R-CNN، نشان‌دهنده Backbone، RPN، RoIAlign و سرهای موازی برای طبقه‌بندی، جعبه محدود کننده و پیش‌بینی ماسک.

نحوه عملکرد Mask R-CNN: فرآیند دو مرحله‌ای

عملکرد Mask R-CNN را می‌توان به دو مرحله اصلی تقسیم کرد:

مرحله اول: پیشنهاد مناطق (Region Proposal)

تصویر ورودی به شبکه پایه (Backbone) داده می‌شود تا نقشه‌های ویژگی غنی استخراج شوند.
شبکه پیشنهاد منطقه (RPN) این نقشه‌های ویژگی را بررسی کرده و لیستی از مناطق مستطیلی (RoIs) که احتمالاً حاوی اشیاء هستند را پیشنهاد می‌دهد.

مرحله دوم: طبقه‌بندی، اصلاح و تولید ماسک

برای هر RoI پیشنهادی، لایه RoIAlign ویژگی‌های دقیق و هم‌تراز شده را از نقشه‌های ویژگی استخراج می‌کند.
این ویژگی‌های هم‌تراز شده به طور موازی به سه سر پیش‌بینی ارسال می‌شوند:
- سر طبقه‌بندی، کلاس شیء را پیش‌بینی می‌کند (مثلاً "خودرو").
- سر جعبه محدود کننده، موقعیت جعبه را دقیق‌تر می‌کند.
- سر ماسک، یک ماسک باینری پیکسلی برای شیء درون RoI تولید می‌کند.
در نهایت، برای هر شیء شناسایی شده، مدل خروجی‌هایی شامل برچسب کلاس، امتیاز اطمینان، جعبه محدود کننده دقیق و ماسک بخش‌بندی پیکسلی ارائه می‌دهد.

تجسم جنبه‌های کلیدی

مقایسه وظایف بینایی کامپیوتر (نمودار راداری)

برای درک بهتر جایگاه Mask R-CNN (بخش‌بندی نمونه‌ای) در میان سایر وظایف بینایی کامپیوتر، نمودار راداری زیر ابعاد مختلفی مانند پیچیدگی، جزئیات خروجی، هزینه محاسباتی و معماری مدل را مقایسه می‌کند. بخش‌بندی نمونه‌ای به دلیل نیاز به تفکیک نمونه‌ها و تولید ماسک‌های دقیق، معمولاً پیچیده‌تر و پرهزینه‌تر است اما جزئیات بسیار بیشتری را در خروجی ارائه می‌دهد.

نقشه ذهنی مفاهیم Mask R-CNN

نقشه ذهنی زیر، مفاهیم اصلی و ارتباطات بین اجزای مختلف الگوریتم Mask R-CNN را به صورت بصری نمایش می‌دهد.

mindmap root["الگوریتم Mask R-CNN"] id1["ایده اصلی: بخش‌بندی نمونه‌ای"] id1_1["تشخیص + ماسک دقیق پیکسلی"] id1_2["تفکیک نمونه‌های هم‌کلاس"] id2["معماری"] id2_1["پایه: Faster R-CNN"] id2_2["اجزای کلیدی"] id2_2_1["شبکه پایه (Backbone)
مانند ResNet + FPN"] id2_2_2["شبکه پیشنهاد منطقه (RPN)"] id2_2_3["**RoIAlign**
(جایگزین RoIPool)"] id2_2_4["سرهای موازی"] id2_2_4_1["سر طبقه‌بندی"] id2_2_4_2["سر جعبه محدود کننده"] id2_2_4_3["سر ماسک (FCN)"] id3["نوآوری‌ها"] id3_1["RoIAlign (دقت مکانی)"] id3_2["شاخه ماسک موازی"] id3_3["جداسازی طبقه‌بندی و ماسک"] id4["خروجی"] id4_1["کلاس شیء"] id4_2["جعبه محدود کننده"] id4_3["ماسک باینری پیکسلی"] id5["کاربردها"] id5_1["خودروهای خودران"] id5_2["تصاویر پزشکی (تومور)"] id5_3["تصاویر ماهواره‌ای"] id5_4["رباتیک"] id5_5["تحلیل ویدئو"] id6["عملکرد"] id6_1["دقت بالا"] id6_2["سرعت (~2 fps)
کندتر از تشخیص تنها"]

مزایا و ملاحظات عملکردی

مزایای کلیدی

دقت بالا در بخش‌بندی: به لطف RoIAlign و معماری FCN در سر ماسک، Mask R-CNN می‌تواند مرزهای اشیاء را با دقت پیکسلی بالایی مشخص کند.
خروجی غنی: ارائه همزمان کلاس، جعبه محدود کننده و ماسک پیکسلی برای هر نمونه، اطلاعات بسیار کاملی از صحنه را فراهم می‌کند.
انعطاف‌پذیری: می‌توان از شبکه‌های پایه مختلف استفاده کرد و مدل را برای کاربردهای خاص و مجموعه داده‌های سفارشی آموزش داد.
پایه قوی: ساختار آن بر اساس Faster R-CNN است که خود یک مدل تشخیص شیء بسیار موفق و اثبات شده است.

ملاحظات عملکردی

دستیابی به این سطح از دقت و جزئیات، بدون هزینه نیست. افزودن شاخه ماسک و محاسبات مربوط به آن، به ویژه RoIAlign، باعث می‌شود Mask R-CNN از نظر محاسباتی سنگین‌تر و در نتیجه کندتر از مدل‌های تشخیص شیء صرف (مانند Faster R-CNN یا YOLO) باشد. سرعت استنتاج (inference speed) آن معمولاً در حدود چند فریم در ثانیه (منابعی به حدود ۲ فریم در ثانیه اشاره کرده‌اند) روی پردازنده‌های گرافیکی (GPU) مدرن است. این سرعت ممکن است برای کاربردهای بلادرنگ (real-time) با نرخ فریم بالا محدودیت ایجاد کند، اما برای بسیاری از وظایف که دقت در اولویت قرار دارد (مانند تحلیل تصاویر پزشکی یا ماهواره‌ای)، کاملاً قابل قبول است.

کاربردهای متنوع Mask R-CNN

قابلیت منحصربه‌فرد Mask R-CNN در ارائه بخش‌بندی دقیق نمونه‌ای، آن را به ابزاری ارزشمند در طیف گسترده‌ای از حوزه‌ها تبدیل کرده است:

حوزه کاربرد	مثال‌های خاص
خودروهای خودران	تشخیص و بخش‌بندی دقیق عابران پیاده، خودروها، دوچرخه‌سواران، خطوط جاده و علائم راهنمایی برای درک بهتر محیط و ناوبری ایمن.
تصویربرداری پزشکی	جداسازی تومورها از بافت سالم در تصاویر MRI یا CT، بخش‌بندی اندام‌ها یا ساختارهای آناتومیک خاص برای کمک به تشخیص و برنامه‌ریزی درمان.
تحلیل تصاویر ماهواره‌ای و هوایی	شناسایی و استخراج دقیق ساختمان‌ها، جاده‌ها، زمین‌های کشاورزی، پوشش گیاهی یا سایر عوارض زمینی از تصاویر ماهواره‌ای یا پهپادی (UAV).
رباتیک	توانمندسازی ربات‌ها برای درک بهتر اشیاء در محیط، گرفتن و دستکاری دقیق اشیاء با استفاده از اطلاعات مرزهای پیکسلی آن‌ها.
خرده‌فروشی و مدیریت انبار	تحلیل قفسه‌های فروشگاه، شمارش و شناسایی محصولات، مدیریت موجودی.
کشاورزی دقیق	شمارش میوه‌ها روی درختان، تشخیص بیماری‌های گیاهی، ارزیابی سلامت محصول.
ویرایش تصویر و واقعیت افزوده	جداسازی دقیق پیش‌زمینه از پس‌زمینه، اعمال افکت‌ها به اشیاء خاص، قرار دادن اشیاء مجازی به صورت واقع‌گرایانه در صحنه.

نمونه‌ای از کاربرد Mask R-CNN (با بهبود PointRend) برای استخراج دقیق عوارض در تحلیل‌های مکانی.

توضیح ویدیویی

برای درک شهودی بهتر از نحوه عملکرد Mask R-CNN، ویدیوی زیر مقدمه‌ای عالی ارائه می‌دهد که مفاهیم اصلی پشت این الگوریتم قدرتمند را توضیح می‌دهد:

این ویدیو (Mask RCNN - How it Works - Intuition Tutorial | OpenCV) به زبان ساده، مراحل کار Mask R-CNN را مرور کرده و به درک بهتر تفاوت آن با سایر روش‌ها کمک می‌کند.

سوالات متداول (FAQ)

تفاوت اصلی بین Mask R-CNN و Faster R-CNN چیست؟

تفاوت اصلی در خروجی و معماری است. Faster R-CNN فقط اشیاء را با جعبه‌های محدود کننده تشخیص می‌دهد. Mask R-CNN علاوه بر جعبه محدود کننده و کلاس، یک ماسک بخش‌بندی دقیق در سطح پیکسل برای هر نمونه شیء نیز تولید می‌کند. این قابلیت با افزودن یک "شاخه ماسک" موازی به معماری Faster R-CNN و استفاده از RoIAlign به جای RoIPool برای دقت بیشتر، امکان‌پذیر شده است.

RoIAlign چیست و چرا اهمیت دارد؟

RoIAlign یک لایه است که برای استخراج ویژگی‌های کوچک از یک نقشه ویژگی بزرگ بر اساس مناطق پیشنهادی (RoIs) استفاده می‌شود. برخلاف RoIPool که از گرد کردن (کوانتیزاسیون) استفاده می‌کرد و باعث عدم تطابق مکانی می‌شد، RoIAlign از درون‌یابی (مانند درون‌یابی دوخطی) برای محاسبه دقیق مقادیر ویژگی در نقاط نمونه‌برداری استفاده می‌کند. این دقت مکانی برای تولید ماسک‌های بخش‌بندی با کیفیت بالا که مرزهای اشیاء را به درستی دنبال می‌کنند، حیاتی است.

آیا Mask R-CNN سریع است؟

Mask R-CNN به دلیل معماری پیچیده‌تر و وظیفه اضافی تولید ماسک، نسبت به الگوریتم‌های تشخیص شیء سریع‌تر مانند YOLO یا SSD، کندتر است. سرعت استنتاج آن معمولاً حدود 2 تا 5 فریم در ثانیه روی GPU های مدرن است (بسته به Backbone و اندازه تصویر). بنابراین، برای کاربردهای بلادرنگ که نیاز به نرخ فریم بسیار بالا دارند، ممکن است بهترین گزینه نباشد، اما دقت بالای آن این کندی را در بسیاری از کاربردها جبران می‌کند.

آیا می‌توان از Mask R-CNN برای بخش‌بندی معنایی استفاده کرد؟

Mask R-CNN اساساً برای بخش‌بندی نمونه‌ای (Instance Segmentation) طراحی شده است، یعنی تفکیک نمونه‌های مختلف اشیاء (حتی اگر از یک کلاس باشند). بخش‌بندی معنایی (Semantic Segmentation) فقط پیکسل‌ها را بر اساس کلاس طبقه‌بندی می‌کند و نمونه‌ها را تفکیک نمی‌کند. اگرچه خروجی Mask R-CNN می‌تواند برای ایجاد یک نقشه بخش‌بندی معنایی ترکیب شود، اما مدل‌های تخصصی‌تری مانند FCN، U-Net یا DeepLab برای بخش‌بندی معنایی بهینه شده‌اند.

چه شبکه‌های پایه‌ای (Backbones) معمولاً با Mask R-CNN استفاده می‌شوند؟

شبکه‌های ResNet (مانند ResNet-50 یا ResNet-101) به همراه FPN (Feature Pyramid Network) رایج‌ترین انتخاب‌ها به عنوان Backbone برای Mask R-CNN هستند. ResNet ها به دلیل عمق و قابلیت یادگیری ویژگی‌های پیچیده مؤثر هستند و FPN به مدل امکان می‌دهد اشیاء را در مقیاس‌های مختلف به خوبی تشخیص دهد.