مقاله حاضر به بررسی روشی کارآمد برای شرح‌نگاری خودکار تصاویر با استفاده از معماری شبکه‌های عصبی کانولوشنی (CNN) و حافظه کوتاه‌مدت بلند (LSTM) و تکنیک‌های فشرده‌سازی شبکه‌های عصبی می‌پردازد. این مقاله با عنوان اصلی “Efficient CNN-LSTM based Image Captioning using Neural Network Compression” به چالش مهم استقرار مدل‌های یادگیری عمیق بزرگ در دستگاه‌های با منابع محدود (edge devices) می‌پردازد.

در دهه‌های اخیر، شبکه‌های عصبی عمیق (DNN) به طور فزاینده‌ای در زمینه‌های مختلف از جمله بینایی ماشین، پردازش زبان طبیعی و سایر حوزه‌های مرتبط به کار گرفته شده‌اند. این شبکه‌ها در انجام وظایف پیچیده عملکرد فوق‌العاده‌ای از خود نشان داده‌اند و به نتایج پیشرفته‌ای دست یافته‌اند. با این حال، این شبکه‌ها معمولاً بسیار بزرگ و پیچیده هستند و نیاز به منابع محاسباتی و حافظه قابل توجهی دارند. این مسئله، استقرار آن‌ها را در دستگاه‌های با منابع محدود مانند تلفن‌های همراه، دستگاه‌های اینترنت اشیا (IoT) و سیستم‌های نهفته دشوار می‌کند.

شرح‌نگاری تصویر، وظیفه‌ای است که هدف آن تولید شرحی متنی است که محتوای یک تصویر را توصیف کند. این وظیفه کاربردهای گسترده‌ای در زمینه‌های مختلف از جمله جستجوی تصویر، رباتیک، و کمک به افراد نابینا دارد. مدل‌های شرح‌نگاری تصویر معمولاً از ترکیبی از شبکه‌های CNN برای استخراج ویژگی‌های بصری از تصویر و شبکه‌های LSTM برای تولید شرح متنی استفاده می‌کنند.

این مقاله به اهمیت کاهش حجم و پیچیدگی مدل‌های شرح‌نگاری تصویر می‌پردازد تا بتوان آن‌ها را در دستگاه‌های با منابع محدود مستقر کرد. محققان برای دستیابی به این هدف، از تکنیک‌های فشرده‌سازی شبکه‌های عصبی مانند هرس (pruning) و کوانتیزاسیون (quantization) استفاده می‌کنند.

اهمیت این مقاله در این است که روشی عملی و کارآمد برای استقرار مدل‌های شرح‌نگاری تصویر پیشرفته در دستگاه‌های با منابع محدود ارائه می‌دهد، و از این طریق امکان استفاده از این فناوری را در طیف گسترده‌تری از کاربردها فراهم می‌کند.

این مقاله توسط Harshit Rampal و Aman Mohanty نوشته شده است. زمینه تحقیقاتی این نویسندگان در حوزه‌های بینایی ماشین، پردازش تصویر، یادگیری عمیق و به طور خاص، فشرده‌سازی شبکه‌های عصبی برای استقرار در دستگاه‌های با منابع محدود است. تخصص آن‌ها در زمینه طراحی و بهینه‌سازی معماری‌های شبکه‌های عصبی برای وظایف مختلف، به ویژه در حوزه بینایی ماشین و پردازش زبان طبیعی است.

زمینه تحقیقاتی این مقاله در راستای تلاش‌های گسترده‌تری برای کاهش هزینه‌های محاسباتی و حافظه مدل‌های یادگیری عمیق و تسهیل استقرار آن‌ها در دستگاه‌های مختلف قرار دارد. این موضوع در سال‌های اخیر به دلیل افزایش روزافزون کاربردهای یادگیری عمیق در دستگاه‌های تلفن همراه، دستگاه‌های اینترنت اشیا و سایر سیستم‌های نهفته، اهمیت فزاینده‌ای یافته است.

چکیده این مقاله به این صورت است: شبکه‌های عصبی مدرن در دستیابی به عملکرد عالی در وظایف مربوط به بینایی ماشین، پردازش زبان طبیعی و حوزه‌های مرتبط برجسته هستند. با این حال، آن‌ها به دلیل مصرف بالای حافظه و نیاز به محاسبات سنگین بدنام هستند که این امر مانع از استقرار آن‌ها در دستگاه‌های با منابع محدود می‌شود. به منظور دستیابی به استقرار در این دستگاه‌ها، محققان الگوریتم‌های هرس و کوانتیزاسیون را برای فشرده‌سازی این شبکه‌ها بدون به خطر انداختن کارایی آن‌ها توسعه داده‌اند. این الگوریتم‌های فشرده‌سازی به طور گسترده‌ای روی معماری‌های مستقل CNN و RNN آزمایش شده‌اند، در حالی که در این مقاله، ما یک خط لوله فشرده‌سازی end-to-end غیر متعارف از یک مدل شرح‌نگاری تصویر مبتنی بر CNN-LSTM را ارائه می‌دهیم.

مدل با استفاده از VGG16 یا ResNet50 به عنوان رمزگذار و یک رمزگشای LSTM روی مجموعه داده flickr8k آموزش داده می‌شود. سپس اثرات معماری‌های مختلف فشرده‌سازی را روی مدل بررسی می‌کنیم و یک معماری فشرده‌سازی را طراحی می‌کنیم که در مقایسه با نسخه غیر فشرده خود، به 73.1٪ کاهش در اندازه مدل، 71.3٪ کاهش در زمان استنتاج و 7.7٪ افزایش در امتیاز BLEU دست می‌یابد.

به طور خلاصه، این مقاله نشان می‌دهد که چگونه می‌توان با استفاده از تکنیک‌های فشرده‌سازی شبکه‌های عصبی، مدل‌های شرح‌نگاری تصویر مبتنی بر CNN-LSTM را به طور قابل توجهی کوچک‌تر و سریع‌تر کرد، بدون اینکه دقت آن‌ها به طور چشمگیری کاهش یابد.

روش‌شناسی تحقیق در این مقاله شامل چندین مرحله کلیدی است:

• انتخاب مدل پایه: انتخاب یک مدل شرح‌نگاری تصویر مبتنی بر CNN-LSTM به عنوان مدل پایه. در این مقاله، از VGG16 و ResNet50 به عنوان رمزگذار CNN و از LSTM به عنوان رمزگشا استفاده شده است.
• آماده‌سازی داده‌ها: استفاده از مجموعه داده flickr8k برای آموزش و ارزیابی مدل. این مجموعه داده شامل تصاویری است که هر یک با چند شرح متنی مرتبط هستند.
• آموزش مدل پایه: آموزش مدل پایه با استفاده از مجموعه داده flickr8k.
• اعمال تکنیک‌های فشرده‌سازی: اعمال تکنیک‌های مختلف فشرده‌سازی شبکه‌های عصبی مانند هرس و کوانتیزاسیون روی مدل پایه.
• ارزیابی عملکرد: ارزیابی عملکرد مدل فشرده شده با استفاده از معیارهای ارزیابی استاندارد مانند امتیاز BLEU. امتیاز BLEU معیاری است برای سنجش کیفیت متون تولید شده توسط مدل نسبت به شرح‌های مرجع.
• مقایسه نتایج: مقایسه نتایج مدل فشرده شده با مدل پایه از نظر اندازه مدل، زمان استنتاج و دقت.
• طراحی معماری فشرده‌سازی بهینه: طراحی یک معماری فشرده‌سازی بهینه که تعادل مناسبی بین اندازه مدل، زمان استنتاج و دقت ایجاد کند.

برای مثال، تکنیک هرس به حذف اتصالات غیرضروری در شبکه عصبی اشاره دارد. این کار با حذف وزن‌های اتصالات که مقدار آن‌ها به صفر نزدیک است، انجام می‌شود. تکنیک کوانتیزاسیون نیز به کاهش تعداد بیت‌های مورد استفاده برای نمایش وزن‌ها و فعال‌سازی‌های شبکه عصبی اشاره دارد. این کار باعث کاهش اندازه مدل و افزایش سرعت استنتاج می‌شود.

یافته‌های کلیدی این تحقیق به شرح زیر است:

• کاهش قابل توجه اندازه مدل: معماری فشرده‌سازی طراحی شده در این مقاله توانسته است اندازه مدل را به میزان 73.1٪ کاهش دهد.
• کاهش زمان استنتاج: زمان استنتاج مدل فشرده شده به میزان 71.3٪ کاهش یافته است.
• بهبود دقت: امتیاز BLEU مدل فشرده شده به میزان 7.7٪ افزایش یافته است.

این یافته‌ها نشان می‌دهند که با استفاده از تکنیک‌های فشرده‌سازی شبکه‌های عصبی، می‌توان مدل‌های شرح‌نگاری تصویر مبتنی بر CNN-LSTM را به طور قابل توجهی کوچک‌تر و سریع‌تر کرد، بدون اینکه دقت آن‌ها به طور چشمگیری کاهش یابد. در واقع، در این تحقیق، دقت مدل حتی پس از فشرده‌سازی افزایش یافته است.

کاربردها و دستاوردهای این تحقیق عبارتند از:

• استقرار در دستگاه‌های با منابع محدود: امکان استقرار مدل‌های شرح‌نگاری تصویر پیشرفته در دستگاه‌های با منابع محدود مانند تلفن‌های همراه، دستگاه‌های اینترنت اشیا و سیستم‌های نهفته.
• بهبود کارایی: افزایش سرعت استنتاج و کاهش مصرف انرژی مدل‌های شرح‌نگاری تصویر.
• گسترش کاربردها: امکان استفاده از مدل‌های شرح‌نگاری تصویر در طیف گسترده‌تری از کاربردها، از جمله جستجوی تصویر، رباتیک و کمک به افراد نابینا.
• ارائه یک خط لوله فشرده‌سازی کارآمد: ارائه یک خط لوله فشرده‌سازی end-to-end کارآمد برای مدل‌های شرح‌نگاری تصویر مبتنی بر CNN-LSTM.

به عنوان مثال، فرض کنید یک شرکت تولیدکننده دستگاه‌های کمک‌بینایی، می‌خواهد یک ویژگی شرح‌نگاری تصویر را به دستگاه خود اضافه کند تا به افراد نابینا در درک محیط اطراف کمک کند. با استفاده از تکنیک‌های فشرده‌سازی ارائه شده در این مقاله، این شرکت می‌تواند یک مدل شرح‌نگاری تصویر پیشرفته را در دستگاه خود مستقر کند، بدون اینکه عملکرد دستگاه به طور قابل توجهی کاهش یابد.

در این مقاله، یک روش کارآمد برای شرح‌نگاری خودکار تصاویر با استفاده از معماری شبکه‌های عصبی کانولوشنی (CNN) و حافظه کوتاه‌مدت بلند (LSTM) و تکنیک‌های فشرده‌سازی شبکه‌های عصبی ارائه شد. نتایج نشان داد که با استفاده از این روش، می‌توان مدل‌های شرح‌نگاری تصویر را به طور قابل توجهی کوچک‌تر و سریع‌تر کرد، بدون اینکه دقت آن‌ها به طور چشمگیری کاهش یابد. این امر امکان استقرار این مدل‌ها را در دستگاه‌های با منابع محدود فراهم می‌کند و کاربردهای آن‌ها را گسترش می‌دهد.

این تحقیق گامی مهم در جهت توسعه مدل‌های یادگیری عمیق کارآمدتر و قابل دسترس‌تر است. با ادامه پیشرفت در زمینه فشرده‌سازی شبکه‌های عصبی، می‌توان انتظار داشت که مدل‌های یادگیری عمیق در طیف گسترده‌تری از دستگاه‌ها و کاربردها مورد استفاده قرار گیرند.