مانگا، هنر داستان‌گویی تصویری ژاپنی، یکی از محبوب‌ترین اشکال سرگرمی در سراسر جهان است که میلیون‌ها خواننده را با روایت‌های بصری و متنی خود مجذوب می‌کند. این رسانه ذاتاً چندوجهی (Multimodal) است، به این معنا که برای انتقال داستان به ترکیبی از تصاویر، دیالوگ‌ها، افکت‌های صوتی و روایت‌های متنی متکی است. با این حال، بسیاری از آثار کلاسیک و حتی مدرن مانگا با چالش‌هایی جدی روبرو هستند. عواملی مانند فرسودگی نسخه‌های چاپی قدیمی، آسیب‌های فیزیکی، خطاهای اسکن دیجیتال و حتی حذف عمدی صفحات، منجر به از بین رفتن یا ناخوانا شدن محتوای متنی می‌شود. این نقص، درک کامل داستان را برای خوانندگان دشوار یا حتی غیرممکن می‌سازد.

مقاله علمی «M2C: گامی به سوی تکمیل خودکار مانگای چندوجهی» به طور مستقیم به این مشکل می‌پردازد. این مقاله یک حوزه تحقیقاتی جدید به نام تکمیل چندوجهی مانگا (Multimodal Manga Complement – M2C) را معرفی می‌کند. هدف اصلی این حوزه، توسعه سیستم‌های هوش مصنوعی است که بتوانند با تحلیل تصاویر و محتوای بصری موجود در صفحات مانگا، متون از دست رفته را به طور خودکار بازسازی و تکمیل کنند. اهمیت این پژوهش نه تنها در حفظ و بازسازی میراث فرهنگی مانگا، بلکه در پیشبرد مرزهای هوش مصنوعی، به‌ویژه در زمینه درک همزمان زبان و تصویر، نهفته است. این فناوری می‌تواند درک ماشین از روایت‌های پیچیده انسانی را به سطح جدیدی ارتقا دهد.

این مقاله حاصل همکاری گروهی از پژوهشگران برجسته به نام‌های هانگ‌چنگ گو (Hongcheng Guo)، بویانگ وانگ (Boyang Wang)، جیاکی بای (Jiaqi Bai)، جیاهنگ لیو (Jiaheng Liu)، جیان یانگ (Jian Yang) و ژوجون لی (Zhoujun Li) است. این تحقیق در حوزه «محاسبات و زبان» (Computation and Language) طبقه‌بندی شده و در نقطه تلاقی دو شاخه مهم هوش مصنوعی، یعنی پردازش زبان طبیعی (NLP) و بینایی کامپیوتر (Computer Vision)، قرار می‌گیرد. تخصص نویسندگان در این دو حوزه به آن‌ها امکان داده است تا یک رویکرد نوآورانه برای حل مسئله‌ای پیچیده ارائه دهند که نیازمند درک عمیق هر دو وجه بصری و متنی است.

چکیده مقاله به روشنی مسئله اصلی را بیان می‌کند: تحلیل چندوجهی مانگا با هدف بهبود درک آن از طریق ویژگی‌های بصری و متنی، توجه زیادی را در جوامع علمی به خود جلب کرده است. با این حال، مشکلاتی مانند صفحات گمشده، آلودگی متن، و فرسودگی فیزیکی باعث از بین رفتن محتوای متنی در مانگاها شده و درک داستان را مختل می‌کند. نویسندگان اشاره می‌کنند که وظیفه تکمیل چندوجهی مانگا (M2C) پیش از این مورد بررسی قرار نگرفته بود.

برای حل این مشکل، محققان دو گام اساسی برداشته‌اند:

• ایجاد یک مجموعه داده استاندارد (Benchmark Dataset): آنها اولین مجموعه داده معیار M2C را ایجاد کردند که به دو زبان مختلف ارائه شده است. این مجموعه داده به عنوان یک بستر استاندارد برای آموزش و ارزیابی مدل‌های هوش مصنوعی در این حوزه عمل می‌کند.
• توسعه یک روش پایه قدرتمند: آنها یک مدل پایه مؤثر به نام FVP-M² را پیشنهاد می‌کنند که از «پرامپت‌های بصری دقیق» برای پشتیبانی از تکمیل مانگا استفاده می‌کند. علاوه بر این، یک روش استدلال به نام MCoT برای استخراج دانش رویدادها از کمیک‌ها با کمک مدل‌های زبان بزرگ (LLM) طراحی شده است.

نتایج تجربی گسترده نشان می‌دهد که روش FVP-M² در انجام وظیفه تکمیل مانگا بسیار مؤثر عمل کرده و می‌تواند متون مرتبط و منسجمی را بر اساس محتوای بصری تولید کند.

روش‌شناسی این مقاله بر سه ستون اصلی استوار است: تعریف وظیفه و ایجاد مجموعه داده، استخراج دانش روایی، و مدل تکمیل متن.

الف) مجموعه داده معیار M2C

یکی از بزرگترین موانع در تحقیقات جدید هوش مصنوعی، نبود داده‌های مناسب و استاندارد است. نویسندگان با درک این موضوع، اولین گام را با ایجاد یک مجموعه داده جامع و تخصصی برای وظیفه M2C برداشتند. این مجموعه داده شامل نمونه‌هایی از صفحات مانگا است که بخشی از متن آن‌ها (مانند دیالوگ‌ها یا کادرهای روایت) به صورت مصنوعی حذف شده است. هدف مدل، بازسازی دقیق همین متن حذف شده است. پوشش دو زبان در این مجموعه داده، امکان ارزیابی قابلیت تعمیم‌پذیری مدل‌ها را در فرهنگ‌ها و زبان‌های مختلف فراهم می‌آورد و این خود یک دستاورد مهم است.

ب) روش استدلال MCoT: زنجیره تفکر مانگا

درک یک داستان صرفاً با نگاه کردن به تصاویر ممکن نیست. یک سیستم هوشمند باید بتواند روابط علت و معلولی، احساسات شخصیت‌ها و توالی رویدادها را استنتاج کند. برای این منظور، نویسندگان روشی به نام MCoT (Manga Chain of Thought) یا «زنجیره تفکر مانگا» را طراحی کرده‌اند. این روش از قدرت مدل‌های زبان بزرگ (LLMs) برای «استدلال» در مورد محتوای مانگا استفاده می‌کند.

در این فرآیند، مدل به جای تولید مستقیم متن گمشده، ابتدا یک سری مراحل استدلالی را طی می‌کند. برای مثال، به سؤالاتی مانند این پاسخ می‌دهد:

• در این پنل چه شخصیتی حضور دارد؟
• حالت چهره و زبان بدن او چیست؟ (مثلاً خوشحال، عصبانی، متعجب)
• چه کنشی در حال وقوع است؟ (مثلاً دویدن، صحبت کردن، مبارزه کردن)
• رابطه این پنل با پنل قبلی و بعدی چیست؟

پاسخ به این سؤالات یک «زنجیره تفکر» ایجاد می‌کند که دانش رویدادی و مفهومی عمیقی را از داستان استخراج می‌کند. این دانش سپس به عنوان یک راهنمای غنی برای مدل اصلی جهت تولید متن دقیق و مرتبط به کار می‌رود.

ج) مدل FVP-M²: تکمیل مانگا با پرامپت‌های بصری دقیق

مدل اصلی این مقاله، FVP-M² (Fine-grained Visual Prompts for Multimodal Manga Complement) نام دارد. این مدل برای تولید متن گمشده، از مفهومی به نام «پرامپت‌های بصری دقیق» (Fine-grained Visual Prompts) بهره می‌برد. برخلاف روش‌های قدیمی که کل تصویر را به عنوان ورودی در نظر می‌گرفتند، FVP-M² بر جزئیات کلیدی و معنادار در تصویر تمرکز می‌کند.

این جزئیات می‌توانند شامل موارد زیر باشند:

• چهره شخصیت‌ها: برای تشخیص احساسات.
• اشیاء خاص: یک شمشیر، یک تلفن یا یک نامه می‌تواند سرنخ مهمی برای دیالوگ باشد.
• حباب‌های گفتار خالی: شکل و اندازه حباب می‌تواند نوع دیالوگ (فریاد، زمزمه) را نشان دهد.
• پس‌زمینه: مکان وقوع داستان (جنگل، شهر، اتاق) بر محتوای متن تأثیرگذار است.

این جزئیات بصری به عنوان «پرامپت» یا سرنخ‌های دقیق به مدل زبان داده می‌شوند. این کار به مدل کمک می‌کند تا به جای حدس‌های کلی، خروجی خود را بر اساس شواهد بصری مشخص و دقیق تولید کند. در واقع، این مدل یاد می‌گیرد که مانند یک انسان، با دقت به تصویر نگاه کند و از جزئیات آن برای درک زمینه و تولید متن مناسب استفاده نماید.

آزمایش‌های انجام شده در این پژوهش، موفقیت چشمگیر رویکرد پیشنهادی را تأیید می‌کنند. یافته‌های اصلی عبارتند از:

• اثربخشی بالای مدل FVP-M²: نتایج نشان داد که مدل FVP-M² در مقایسه با سایر روش‌های پایه، عملکرد بسیار بهتری در تولید متون دقیق، مرتبط با زمینه و از نظر دستوری صحیح دارد. متون تولید شده توسط این مدل، انسجام روایی بالایی با تصاویر داشتند.
• اهمیت روش MCoT: استفاده از روش «زنجیره تفکر مانگا» (MCoT) به طور قابل توجهی کیفیت خروجی را بهبود بخشید. این یافته نشان می‌دهد که وادار کردن مدل به استدلال گام به گام در مورد محتوای بصری، قبل از تولید متن، به درک عمیق‌تر و خروجی بهتر منجر می‌شود.
• کارایی پرامپت‌های بصری دقیق: آزمایش‌ها ثابت کردند که تمرکز بر جزئیات بصری کلیدی (Fine-grained Prompts) بسیار مؤثرتر از استفاده از کل تصویر به صورت یکجا است. این رویکرد به مدل اجازه می‌دهد تا نویزهای بصری غیرمرتبط را نادیده گرفته و روی اطلاعات حیاتی تمرکز کند.

این پژوهش صرفاً یک پیشرفت نظری نیست، بلکه دستاوردها و کاربردهای عملی گسترده‌ای را به همراه دارد:

• حفظ و بازسازی دیجیتال: مهم‌ترین کاربرد این فناوری، بازسازی دیجیتالی مانگاهای قدیمی و آسیب‌دیده است. با استفاده از این سیستم، می‌توان نسخه‌های ناقص را تکمیل کرد و آن‌ها را برای نسل‌های آینده حفظ نمود.
• ابزارهای ترجمه و بومی‌سازی: این سیستم می‌تواند به مترجمان کمک کند تا با درک بهتر زمینه بصری، ترجمه‌های دقیق‌تری ارائه دهند، به‌ویژه در مواردی که متن اصلی ناخوانا است.
• افزایش دسترسی: برای افرادی که به دلیل کیفیت پایین اسکن یا مشکلات بینایی قادر به خواندن متون نیستند، این فناوری می‌تواند متون را بازسازی و حتی به صورت صوتی ارائه دهد.
• ابزارهای کمکی برای هنرمندان: نویسندگان و طراحان مانگا می‌توانند از این سیستم به عنوان یک ابزار خلاق برای دریافت پیشنهادهای متنی بر اساس طرح‌های اولیه خود استفاده کنند.
• پیشرفت در هوش مصنوعی چندوجهی: این تحقیق گامی مهم در جهت ساخت سیستم‌های هوش مصنوعی است که می‌توانند اطلاعات را از منابع مختلف (مانند تصویر و متن) به طور یکپارچه درک کرده و با یکدیگر ترکیب کنند؛ مهارتی که برای دستیابی به هوش مصنوعی عمومی ضروری است.

مقاله M2C: Towards Automatic Multimodal Manga Complement یک مسئله جدید و مهم را در دنیای هوش مصنوعی مطرح و راه‌حلی نوآورانه و مؤثر برای آن ارائه می‌دهد. با معرفی وظیفه تکمیل چندوجهی مانگا، ایجاد اولین مجموعه داده استاندارد در این زمینه، و توسعه مدل قدرتمند FVP-M² با پشتیبانی روش استدلال MCoT، این پژوهش مسیری جدید را برای تحلیل و درک خودکار رسانه‌های روایی پیچیده باز کرده است. این کار نه تنها به حفظ و احیای یکی از محبوب‌ترین اشکال هنری جهان کمک می‌کند، بلکه ما را یک قدم به ساخت ماشین‌هایی نزدیک‌تر می‌سازد که می‌توانند مانند انسان‌ها داستان‌ها را بفهمند، تفسیر کنند و حتی در خلق آن‌ها مشارکت داشته باشند. آینده این حوزه تحقیقاتی بسیار روشن به نظر می‌رسد و می‌توان انتظار داشت که مدل‌های پیشرفته‌تری با درک عمیق‌تر از ظرایف فرهنگی و روایی توسعه یابند.