در عصر حاضر، یادگیری چندوجهی (Multimodal Learning) به طور فزاینده‌ای در وظایف مهم و حساس اجتماعی به کار گرفته می‌شود. این وظایف شامل تحلیل احساسات در شبکه‌های اجتماعی، تشخیص وضعیت‌های اضطراری در شرایط بحرانی، و یا حتی تصمیم‌گیری‌های پزشکی مبتنی بر داده‌های تصویربرداری و متنی است. با گسترش کاربرد این مدل‌ها در زمینه‌های حیاتی، بررسی و اطمینان از استحکام و پایداری آن‌ها در برابر انواع مختلف اختلالات و تغییرات، اهمیت بسزایی پیدا می‌کند. به عبارت دیگر، باید اطمینان حاصل شود که این مدل‌ها در شرایط واقعی و با وجود نویز و ابهام در داده‌ها، همچنان قادر به ارائه نتایج دقیق و قابل اعتماد هستند.

مقاله حاضر به بررسی استحکام طبقه‌بندهای چندوجهی (Multimodal Classifiers) در برابر نوع خاصی از اختلال به نام “تضعیف محتوای بین‌وجهی” (Cross-Modal Content Dilutions) می‌پردازد. به طور خلاصه، تضعیف محتوای بین‌وجهی به معنای افزودن اطلاعات نامربوط یا گمراه‌کننده به یکی از وجه‌های ورودی (مثلاً متن) است، در حالی که وجه دیگر (مثلاً تصویر) دست نخورده باقی می‌ماند. هدف از این کار، بررسی میزان آسیب‌پذیری مدل در برابر چنین تغییراتی و توانایی آن در حفظ دقت و صحت در این شرایط است.

اهمیت این تحقیق از آنجا ناشی می‌شود که مدل‌های چندوجهی اغلب برای وظایفی طراحی می‌شوند که به دقت و قابلیت اطمینان بالایی نیاز دارند. به عنوان مثال، در تشخیص احساسات در متن و تصویر، افزودن یک متن نامربوط می‌تواند به راحتی منجر به اشتباه در طبقه‌بندی احساسات شود. به همین ترتیب، در سیستم‌های هشدار اولیه در شرایط بحرانی، یک تصویر مرتبط با یک رویداد واقعی همراه با یک متن گمراه‌کننده می‌تواند منجر به تصمیم‌گیری‌های اشتباه و عواقب ناگواری شود.

این مقاله توسط Gaurav Verma, Vishwa Vinay, Ryan A. Rossi و Srijan Kumar نوشته شده است. این محققان در زمینه یادگیری ماشین، هوش مصنوعی و به طور خاص، یادگیری چندوجهی فعالیت دارند. تخصص آن‌ها در تحلیل داده‌های چندوجهی و توسعه مدل‌هایی است که قادر به درک و ترکیب اطلاعات از منابع مختلف (مانند متن، تصویر، صدا و ویدیو) هستند.

زمینه‌های تحقیقاتی پیشین این محققان شامل موارد زیر است:

• توسعه مدل‌های یادگیری عمیق برای پردازش داده‌های چندوجهی
• بررسی استحکام مدل‌های یادگیری ماشین در برابر حملات خصمانه (Adversarial Attacks)
• کاربرد یادگیری چندوجهی در حل مسائل واقعی در زمینه‌های مختلف مانند بهداشت و درمان، امنیت و علوم اجتماعی

چکیده مقاله به این صورت است: “با توجه به کاربردهای گسترده یادگیری چندوجهی در وظایف مهم اجتماعی، بررسی استحکام آن‌ها حائز اهمیت است. تحقیقات پیشین بر درک استحکام مدل‌های دیداری-زبانی در برابر تغییرات نامحسوس در وظایف محک متمرکز شده‌اند. در این مقاله، ما استحکام طبقه‌بندهای چندوجهی را در برابر تضعیف محتوای بین‌وجهی – یک تغییر محتمل – بررسی می‌کنیم. ما مدلی را توسعه می‌دهیم که با دریافت یک ورودی چندوجهی (تصویر + متن)، متن تضعیف‌کننده اضافی تولید می‌کند که (الف) ارتباط و انسجام موضوعی خود را با تصویر و متن موجود حفظ می‌کند، و (ب) هنگامی که به متن اصلی اضافه می‌شود، منجر به طبقه‌بندی نادرست ورودی چندوجهی می‌شود. از طریق آزمایش‌ها بر روی وظایف بشردوستانه در بحران و تشخیص احساسات، متوجه شدیم که عملکرد طبقه‌بندهای چندوجهی مبتنی بر تلفیق ویژه وظیفه در حضور تضعیف‌های تولید شده توسط مدل ما به ترتیب 23.3% و 22.5% کاهش می‌یابد. مقایسه‌های مبتنی بر متریک با چندین خط مبنا و ارزیابی‌های انسانی نشان می‌دهد که تضعیف‌های ما ارتباط و انسجام موضوعی بالاتری را نشان می‌دهند، در حالی که همزمان در نشان دادن شکنندگی طبقه‌بندهای چندوجهی مؤثرتر هستند. هدف کار ما برجسته کردن و تشویق تحقیقات بیشتر در مورد استحکام مدل‌های عمیق چندوجهی در برابر تغییرات واقع‌بینانه، به‌ویژه در کاربردهای اجتماعی رو به رو با انسان است. کد و سایر منابع در https://claws-lab.github.io/multimodal-robustness/ در دسترس هستند.”

به طور خلاصه، این مقاله به دنبال پاسخ به این سوال است که آیا مدل‌های چندوجهی می‌توانند در برابر افزودن اطلاعات نامربوط به یکی از وجه‌های ورودی (مثلاً متن) مقاوم باشند یا خیر. نویسندگان یک مدل تولیدکننده متن تضعیف‌کننده طراحی کرده‌اند که قادر است متنی را تولید کند که ضمن حفظ ارتباط موضوعی با تصویر، باعث اشتباه در طبقه‌بندی مدل شود. نتایج آزمایش‌ها نشان می‌دهد که افزودن این متن‌های تضعیف‌کننده می‌تواند به طور قابل توجهی عملکرد مدل‌های چندوجهی را کاهش دهد.

روش‌شناسی تحقیق در این مقاله شامل مراحل زیر است:

1. جمع‌آوری داده‌ها: استفاده از مجموعه‌داده‌های استاندارد برای وظایف Humanitarianism in Crisis (کمک‌های بشردوستانه در بحران) و Sentiment Detection (تشخیص احساسات). این مجموعه‌داده‌ها شامل تصاویر و متون مرتبط هستند که برای آموزش و ارزیابی مدل‌های چندوجهی استفاده می‌شوند.
2. توسعه مدل تولیدکننده متن تضعیف‌کننده: طراحی و پیاده‌سازی یک مدل یادگیری عمیق که قادر به تولید متن‌هایی است که با حفظ ارتباط موضوعی با تصویر، باعث اشتباه در طبقه‌بندی مدل چندوجهی می‌شوند. این مدل احتمالاً از تکنیک‌های تولید متن شرطی (Conditional Text Generation) و یادگیری تقویتی (Reinforcement Learning) استفاده می‌کند.
3. آموزش و ارزیابی مدل‌های چندوجهی: آموزش چندین مدل طبقه‌بندی چندوجهی (با استفاده از تکنیک‌های تلفیق مختلف) بر روی مجموعه‌داده‌های جمع‌آوری شده. سپس، ارزیابی عملکرد این مدل‌ها در حضور و عدم حضور متن‌های تضعیف‌کننده تولید شده.
4. مقایسه با خطوط مبنا: مقایسه عملکرد مدل تولیدکننده متن تضعیف‌کننده با چندین روش پایه (Baseline) برای تولید متن، به منظور نشان دادن برتری روش پیشنهادی در ایجاد متن‌های مرتبط و مؤثر در ایجاد اشتباه در طبقه‌بندی.
5. ارزیابی انسانی: انجام ارزیابی‌های انسانی برای بررسی میزان ارتباط موضوعی و کیفیت متن‌های تضعیف‌کننده تولید شده. در این مرحله، از افراد انسانی خواسته می‌شود تا متن‌های تولید شده را ارزیابی کرده و میزان ارتباط آن‌ها با تصویر و متن اصلی را تعیین کنند.

یافته‌های کلیدی این تحقیق عبارتند از:

• افزودن متن‌های تضعیف‌کننده تولید شده توسط مدل پیشنهادی، به طور قابل توجهی عملکرد طبقه‌بندهای چندوجهی را کاهش می‌دهد. به طور خاص، عملکرد مدل‌ها در وظایف Humanitarianism in Crisis و Sentiment Detection به ترتیب 23.3% و 22.5% کاهش می‌یابد.
• متن‌های تضعیف‌کننده تولید شده توسط مدل پیشنهادی، در مقایسه با روش‌های پایه، از ارتباط موضوعی بالاتری با تصویر برخوردار هستند و در عین حال، در ایجاد اشتباه در طبقه‌بندی مؤثرتر هستند.
• ارزیابی‌های انسانی نشان می‌دهد که متن‌های تضعیف‌کننده تولید شده از کیفیت قابل قبولی برخوردار هستند و می‌توانند به طور مؤثر، مدل‌های چندوجهی را گمراه کنند.

این یافته‌ها نشان می‌دهند که مدل‌های چندوجهی، علی‌رغم عملکرد خوب در شرایط ایده‌آل، می‌توانند در برابر تغییرات کوچک و نامحسوس در داده‌ها (مانند افزودن متن‌های نامربوط) بسیار آسیب‌پذیر باشند.

کاربردهای این تحقیق را می‌توان در زمینه‌های زیر خلاصه کرد:

• بهبود استحکام مدل‌های چندوجهی: نتایج این تحقیق می‌تواند به توسعه روش‌هایی برای افزایش استحکام مدل‌های چندوجهی در برابر اختلالات و نویز در داده‌ها کمک کند. به عنوان مثال، می‌توان از تکنیک‌های یادگیری خصمانه (Adversarial Learning) برای آموزش مدل‌هایی استفاده کرد که در برابر متن‌های تضعیف‌کننده مقاوم‌تر هستند.
• ارزیابی آسیب‌پذیری مدل‌های چندوجهی: مدل تولیدکننده متن تضعیف‌کننده می‌تواند به عنوان ابزاری برای ارزیابی آسیب‌پذیری مدل‌های چندوجهی در برابر حملات خصمانه و اختلالات داده‌ها مورد استفاده قرار گیرد.
• توسعه سیستم‌های تشخیص اخبار جعلی: با توجه به اینکه متن‌های تضعیف‌کننده می‌توانند به طور مؤثر مدل‌های چندوجهی را گمراه کنند، این تحقیق می‌تواند به توسعه سیستم‌های تشخیص اخبار جعلی مبتنی بر داده‌های چندوجهی کمک کند.
• افزایش قابلیت اطمینان سیستم‌های هوش مصنوعی: با درک بهتر نقاط ضعف و آسیب‌پذیری‌های مدل‌های هوش مصنوعی، می‌توان سیستم‌هایی را طراحی کرد که در شرایط واقعی و با وجود نویز و ابهام در داده‌ها، همچنان قادر به ارائه نتایج دقیق و قابل اعتماد باشند.

دستاورد اصلی این تحقیق، ارائه یک مدل تولیدکننده متن تضعیف‌کننده است که می‌تواند به طور مؤثر، آسیب‌پذیری مدل‌های چندوجهی را در برابر تغییرات کوچک در داده‌ها نشان دهد. این مدل می‌تواند به عنوان ابزاری برای تحقیقات بیشتر در زمینه استحکام مدل‌های هوش مصنوعی و توسعه روش‌هایی برای بهبود قابلیت اطمینان آن‌ها مورد استفاده قرار گیرد.

در مجموع، این مقاله به بررسی یک جنبه مهم از استحکام مدل‌های چندوجهی، یعنی مقاومت در برابر تضعیف محتوای بین‌وجهی، پرداخته است. نتایج این تحقیق نشان می‌دهد که مدل‌های چندوجهی، علی‌رغم عملکرد خوب در شرایط ایده‌آل، می‌توانند در برابر تغییرات کوچک و نامحسوس در داده‌ها بسیار آسیب‌پذیر باشند.

این یافته‌ها اهمیت توجه به استحکام مدل‌های چندوجهی در طراحی و توسعه سیستم‌های هوش مصنوعی را برجسته می‌کنند. لازم است که محققان و توسعه‌دهندگان، در کنار بهبود دقت و کارایی مدل‌ها، به استحکام و قابلیت اطمینان آن‌ها نیز توجه ویژه‌ای داشته باشند.

به عنوان گام‌های بعدی، می‌توان به موارد زیر اشاره کرد:

• توسعه روش‌هایی برای افزایش استحکام مدل‌های چندوجهی در برابر انواع مختلف اختلالات و نویز در داده‌ها
• بررسی استحکام مدل‌های چندوجهی در زمینه‌های کاربردی مختلف، مانند بهداشت و درمان، امنیت و علوم اجتماعی
• توسعه ابزارهایی برای ارزیابی و مقایسه استحکام مدل‌های مختلف هوش مصنوعی