در دنیای هوش مصنوعی، توانایی درک و توصیف محتوای بصری توسط ماشین‌ها، از اهمیت ویژه‌ای برخوردار است. شرح‌نویسی تصویر (Image Captioning)، به عنوان یک وظیفه کلیدی در این حوزه، پلی بین بینایی کامپیوتر (Computer Vision) و پردازش زبان طبیعی (Natural Language Processing) ایجاد می‌کند. این فرایند، نه تنها امکان تولید متون توصیفی برای تصاویر را فراهم می‌آورد، بلکه کاربردهای گسترده‌ای در فناوری‌های کمکی، نمایه سازی تصاویر و بهبود عملکرد موتورهای جستجو دارد.

مقاله “آزمایش خودنظارتی با پیش‌بینی چرخش برای شرح‌نویسی تصویر”، به بررسی یک رویکرد نوین در حوزه شرح‌نویسی تصویر می‌پردازد. این رویکرد، با هدف کاهش وابستگی به داده‌های برچسب‌گذاری شده توسط انسان، از یادگیری خودنظارتی (Self-Supervised Learning) بهره می‌برد. با توجه به هزینه بالا و زمان‌بر بودن فرایند برچسب‌گذاری داده‌ها، توسعه روش‌هایی که بتوانند از اطلاعات موجود در خود تصاویر برای آموزش مدل‌ها استفاده کنند، اهمیت بسزایی دارد.

مسئله شرح‌نویسی تصویر، به دلیل ماهیت چندوجهی آن (ترکیب تصاویر و متون)، چالش‌های خاصی را پیش روی محققان قرار می‌دهد. این مقاله، با ارائه یک معماری رمزگذار-رمزگشا (Encoder-Decoder) مبتنی بر پیش‌بینی چرخش، گامی مهم در جهت رفع این چالش‌ها برمی‌دارد.

این مقاله توسط احمد الهجری و کریمه کاداوی نگاشته شده است. زمینه تحقیقاتی این نویسندگان، به طور خاص، بینایی کامپیوتر و الگو شناسی است. آنها با ارائه راهکارهای نوآورانه در زمینه یادگیری خودنظارتی، تلاش می‌کنند تا موانع موجود در مسیر توسعه سیستم‌های هوشمند بینایی را برطرف کنند.

تخصص این محققان در زمینه شبکه‌های عصبی عمیق (Deep Neural Networks) و الگوریتم‌های یادگیری ماشین، به آن‌ها امکان می‌دهد تا مدل‌های پیچیده‌ای را طراحی و پیاده‌سازی کنند که قادر به درک و تفسیر اطلاعات بصری باشند.

چکیده این مقاله، بر چالش‌های موجود در آموزش مدل‌های شرح‌نویسی تصویر با استفاده از داده‌های برچسب‌گذاری شده توسط انسان تاکید دارد. برچسب‌گذاری دستی تصاویر، فرآیندی زمان‌بر، پرهزینه و مستعد خطا است. به منظور کاهش وابستگی به این نوع داده‌ها، نویسندگان یک روش یادگیری خودنظارتی را پیشنهاد می‌کنند که از چرخش تصاویر به عنوان یک وظیفه پیش‌متنی (Pretext Task) استفاده می‌کند.

معماری پیشنهادی شامل یک رمزگذار CNN (شبکه عصبی کانولوشنی) است که بر روی مجموعه داده OpenImages آموزش داده شده و ویژگی‌های تصویر را به صورت خودنظارتی با استفاده از وظیفه پیش‌متنی چرخش یاد می‌گیرد. رمزگشا نیز یک LSTM (شبکه حافظه کوتاه مدت طولانی) است که به همراه مدل شرح‌نویسی تصویر بر روی مجموعه داده MS COCO آموزش داده شده و مسئول تولید توضیحات است.

به طور خلاصه، این مقاله یک رویکرد جدید برای آموزش مدل‌های شرح‌نویسی تصویر با استفاده از یادگیری خودنظارتی ارائه می‌دهد که هدف آن کاهش وابستگی به داده‌های برچسب‌گذاری شده و بهبود کارایی و دقت مدل‌ها است.

روش‌شناسی تحقیق در این مقاله، بر پایه استفاده از یک معماری رمزگذار-رمزگشا است.

• رمزگذار: یک شبکه CNN که برای استخراج ویژگی‌های بصری از تصاویر استفاده می‌شود. این شبکه، به صورت خودنظارتی با استفاده از وظیفه پیش‌متنی چرخش آموزش داده می‌شود. به این معنی که شبکه آموزش داده می‌شود تا تشخیص دهد که یک تصویر چقدر چرخیده است (مثلاً 90 درجه، 180 درجه، 270 درجه). این کار به شبکه کمک می‌کند تا ویژگی‌های مهم تصاویر را یاد بگیرد بدون اینکه به برچسب‌های دستی نیاز باشد.
• رمزگشا: یک شبکه LSTM که برای تولید توضیحات متنی بر اساس ویژگی‌های استخراج شده توسط رمزگذار استفاده می‌شود. LSTM یک نوع شبکه عصبی بازگشتی (Recurrent Neural Network) است که برای پردازش داده‌های ترتیبی مانند متن بسیار مناسب است.

مجموعه داده OpenImages برای آموزش خودنظارتی رمزگذار استفاده می‌شود، در حالی که مجموعه داده MS COCO برای آموزش رمزگشا و مدل شرح‌نویسی تصویر به طور کلی مورد استفاده قرار می‌گیرد. این انتخاب مجموعه داده‌ها، به دلیل حجم بزرگ و تنوع بالای تصاویر در OpenImages و وجود توضیحات متنی برای تصاویر در MS COCO صورت گرفته است.

این روش به این صورت کار می کند: ابتدا، شبکه CNN (رمزگذار) با تشخیص میزان چرخش تصاویر آموزش می بیند. سپس، این شبکه CNN آموزش دیده برای استخراج ویژگی های تصاویر استفاده می شود. در نهایت، شبکه LSTM (رمزگشا) بر اساس این ویژگی ها و توضیحات موجود در مجموعه داده MS COCO آموزش می بیند تا بتواند توضیحات مناسب برای تصاویر جدید تولید کند.

به عنوان مثال، فرض کنید یک تصویر از یک سگ در حال بازی در پارک داریم. رمزگذار CNN ویژگی‌های بصری کلیدی مانند شکل سگ، رنگ آن، و اجزای موجود در پس زمینه (درختان، چمن، و غیره) را استخراج می‌کند. سپس، رمزگشا LSTM با استفاده از این ویژگی‌ها و دانش خود از زبان، یک توضیح متنی مانند “یک سگ قهوه‌ای در حال بازی در پارک است” را تولید می‌کند.

یافته‌های کلیدی این تحقیق، نشان می‌دهد که استفاده از یادگیری خودنظارتی با پیش‌بینی چرخش، می‌تواند به بهبود عملکرد مدل‌های شرح‌نویسی تصویر کمک کند. اگرچه نتایج به دست آمده ممکن است هنوز به سطح مدل‌هایی که با داده‌های برچسب‌گذاری شده آموزش داده شده‌اند نرسیده باشد، اما این رویکرد، گامی مهم در جهت کاهش وابستگی به برچسب‌های دستی و توسعه سیستم‌های هوشمندتر و مستقل‌تر است.

به طور خاص، محققان نشان داده‌اند که آموزش رمزگذار CNN با استفاده از وظیفه پیش‌متنی چرخش، منجر به یادگیری ویژگی‌های بصری بهتری می‌شود که برای تولید توضیحات دقیق‌تر و مرتبط‌تر مفید هستند. این ویژگی‌ها، نه تنها به تشخیص اشیاء موجود در تصویر کمک می‌کنند، بلکه به درک روابط بین آن‌ها و توصیف صحنه به طور کلی نیز کمک می‌کنند.

کاربردهای شرح‌نویسی تصویر بسیار گسترده و متنوع هستند. از جمله مهم‌ترین آن‌ها می‌توان به موارد زیر اشاره کرد:

• فناوری‌های کمکی: تولید توضیحات متنی برای تصاویر به افراد نابینا یا کم‌بینا کمک می‌کند تا محتوای بصری را درک کنند.
• نمایه سازی تصاویر: استفاده از توضیحات متنی برای سازماندهی و جستجوی تصاویر در پایگاه‌های داده بزرگ.
• بهبود عملکرد موتورهای جستجو: ارائه نتایج جستجوی دقیق‌تر و مرتبط‌تر بر اساس محتوای بصری تصاویر.
• شبکه‌های اجتماعی: تولید توضیحات خودکار برای تصاویر آپلود شده توسط کاربران، به منظور بهبود دسترسی‌پذیری و تعامل.

دستاورد اصلی این مقاله، ارائه یک روش عملی و موثر برای استفاده از یادگیری خودنظارتی در حوزه شرح‌نویسی تصویر است. این روش، می‌تواند به توسعه سیستم‌هایی منجر شود که قادر به درک و توصیف تصاویر بدون نیاز به حجم زیادی از داده‌های برچسب‌گذاری شده باشند.

مقاله “آزمایش خودنظارتی با پیش‌بینی چرخش برای شرح‌نویسی تصویر”، یک گام مهم در جهت توسعه سیستم‌های هوشمندتر و مستقل‌تر در حوزه بینایی کامپیوتر است. با ارائه یک روش نوآورانه برای استفاده از یادگیری خودنظارتی، این مقاله نشان می‌دهد که می‌توان با بهره‌گیری از اطلاعات موجود در خود تصاویر، مدل‌های قدرتمندی را آموزش داد که قادر به درک و توصیف محتوای بصری باشند.

اگرچه این رویکرد هنوز در مراحل اولیه توسعه قرار دارد، اما پتانسیل بالایی برای بهبود عملکرد و کارایی مدل‌های شرح‌نویسی تصویر و کاهش وابستگی به داده‌های برچسب‌گذاری شده دارد. با ادامه تحقیقات در این زمینه، می‌توان انتظار داشت که در آینده‌ای نزدیک، شاهد توسعه سیستم‌های هوشمندی باشیم که قادر به درک و توصیف تصاویر با دقت و سرعت بالا باشند و در طیف گسترده‌ای از کاربردها مورد استفاده قرار گیرند.

کد منبع این تحقیق در GitHub در دسترس است.