معرفی مقاله و اهمیت آن

در عصر اطلاعات کنونی، حجم عظیمی از داده‌ها به صورت روزانه در پلتفرم‌های رسانه‌های اجتماعی تولید می‌شود. تحلیل این داده‌ها برای شناسایی پدیده‌هایی مانند سمیت کلام (toxicity) و تعصبات اجتماعی (social bias) از اهمیت بالایی برخوردار است. با این حال، فرآیند برچسب‌زنی دستی این داده‌ها به منظور آموزش مدل‌های یادگیری ماشین، فوق‌العاده چالش‌برانگیز، زمان‌بر و نیازمند منابع انسانی زیادی است. این مقاله با عنوان “کاهش برچسب‌زنی با داده‌های خارج از حوزه: یادگیری فعال و انتقالی با دستورات اندک‌شات” به بررسی و ارائه راه‌حلی نوآورانه برای این مشکل می‌پردازد.

روش‌های موجود در حوزه یادگیری انتقالی (transfer learning) و یادگیری فعال (active learning) که هدفشان کاهش تلاش برچسب‌زنی است، اغلب نیازمند تنظیم دقیق (fine-tuning) مدل‌های از پیش آموزش‌دیده هستند. این تنظیم دقیق، خصوصاً در مواجهه با مجموعه‌داده‌های کوچک، می‌تواند منجر به مشکلاتی نظیر بیش‌برازش (over-fitting) به نویز و تغییر حوزه (domain shift) شود، که کارایی مدل را کاهش می‌دهد. اهمیت این پژوهش در ارائه یک رویکرد کاملاً جدید به نام ATF (Active Transfer Few-shot Instructions) است که این محدودیت‌ها را برطرف می‌کند و بدون نیاز به تنظیم دقیق، امکان انتقال دانش از داده‌های برچسب‌خورده موجود به داده‌های برچسب‌نخورده در حوزه‌ای جدید را فراهم می‌آورد. این دستاورد می‌تواند انقلاب بزرگی در کارایی و هزینه‌های پروژه‌های یادگیری ماشین مبتنی بر داده‌های متنی ایجاد کند.

نویسندگان و زمینه تحقیق

این مقاله توسط تیمی متشکل از متخصصان برجسته در زمینه هوش مصنوعی و پردازش زبان طبیعی به نگارش درآمده است:

• رافال کوسیلنیک (Rafal Kocielnik)
• سارا کانگاسلاهتی (Sara Kangaslahti)
• شریمای پرابهومویه (Shrimai Prabhumoye)
• مینا هاری (Meena Hari)
• آر. مایکل آلوارز (R. Michael Alvarez)
• آنیما آناندکومار (Anima Anandkumar)

این پژوهش در تقاطع دو حوزه مهم “محاسبات و زبان” (Computation and Language) و “هوش مصنوعی” (Artificial Intelligence) قرار می‌گیرد. نویسندگان با بهره‌گیری از دانش عمیق در مدل‌های زبان بزرگ (Large Language Models – LLMs) و تکنیک‌های پیشرفته یادگیری ماشین، به دنبال حل یکی از اساسی‌ترین چالش‌ها در توسعه سیستم‌های هوشمند، یعنی کاهش نیاز به داده‌های برچسب‌خورده، هستند. زمینه اصلی تحقیق شامل بررسی چگونگی استفاده بهینه از دانش زبانی درونی مدل‌های زبان از پیش آموزش‌دیده (Pre-trained Language Models – PLMs) برای تسریع و کارآمدسازی فرآیند برچسب‌زنی داده‌ها، به خصوص در سناریوهایی با داده‌های محدود یا جدید، می‌شود.

چکیده و خلاصه محتوا

این مقاله به مشکل برچسب‌زنی دشوار و پرزحمت داده‌های رسانه‌های اجتماعی برای ابعاد سفارشی‌سازی‌شده از سمیت و تعصبات اجتماعی می‌پردازد. روش‌های موجود یادگیری انتقالی و فعال که برای کاهش تلاش حاشیه‌نویسی طراحی شده‌اند، نیازمند تنظیم دقیق هستند که از بیش‌برازش به نویز رنج می‌برند و می‌توانند با حجم نمونه‌های کوچک، باعث تغییر حوزه شوند.

پژوهشگران در این مقاله، رویکرد نوین ATF (Active Transfer Few-shot Instructions) را پیشنهاد می‌کنند که نیاز به تنظیم دقیق ندارد. ATF از دانش زبانی داخلی مدل‌های زبان از پیش آموزش‌دیده (PLMs) بهره می‌گیرد تا انتقال اطلاعات از مجموعه‌داده‌های از پیش برچسب‌خورده موجود (وظیفه حوزه منبع) را با حداقل تلاش برچسب‌زنی بر روی داده‌های هدف برچسب‌نخورده (وظیفه حوزه هدف) تسهیل کند. استراتژی آن‌ها می‌تواند به انتقال مثبت منجر شود و در مقایسه با عدم انتقال، متوسط ۱۰.۵٪ افزایش AUC را با یک PLM بزرگ ۲۲ میلیارد پارامتری به دست آورد.

آن‌ها همچنین نشان می‌دهند که حاشیه‌نویسی تنها چند نمونه از حوزه هدف از طریق یادگیری فعال می‌تواند برای انتقال مفید باشد، اما این تأثیر با تلاش بیشتر برای حاشیه‌نویسی کاهش می‌یابد (کاهش ۲۶ درصدی در سود بین ۱۰۰ تا ۲۰۰۰ مثال حاشیه‌نویسی شده). در نهایت، این تحقیق نشان می‌دهد که همه سناریوهای انتقال منجر به سود مثبت نمی‌شوند، که به نظر می‌رسد به عملکرد اولیه PLM در وظیفه حوزه هدف مرتبط است. این یافته‌ها مسیرهای جدیدی را برای طراحی سیستم‌های برچسب‌زنی داده کارآمدتر و مقاوم‌تر باز می‌کنند.

روش‌شناسی تحقیق

روش‌شناسی ارائه شده در این مقاله، بر پایه رویکرد ATF (Active Transfer Few-shot Instructions) استوار است که نقطه تمایز اصلی آن، عدم نیاز به فرآیند زمان‌بر و منابع‌بر تنظیم دقیق مدل‌های زبان از پیش آموزش‌دیده (PLMs) است. این نوآوری از طریق سه محور اصلی به دست می‌آید:

1. بهره‌گیری از دانش زبانی درونی PLMs: به جای تنظیم وزن‌های مدل، ATF از قابلیت‌های استدلال و درک زبانی ذاتی PLMs برای انجام وظایف خاص بهره می‌برد. این کار معمولاً از طریق دستورات (prompts) دقیق و هدفمند انجام می‌شود که به مدل اجازه می‌دهد تا بدون تغییر ساختار داخلی خود، وظایف جدید را با استفاده از دانش از پیش آموخته شده‌اش انجام دهد. مدل‌های بزرگ مانند PLM با ۲۲ میلیارد پارامتر، توانایی بالایی در تعمیم و استنباط از دستورات محدود دارند.

2. انتقال دانش بدون تنظیم دقیق: ATF مفهوم یادگیری چند-شات (few-shot learning) را با رویکرد انتقال بدون تنظیم دقیق (zero-shot/few-shot transfer) ترکیب می‌کند. در این رویکرد، به مدل PLM تعدادی مثال اندک (few-shot) از وظیفه حوزه هدف (مثلاً چند جمله برچسب‌خورده از نظر سمیت) به همراه دستورالعمل‌های واضح ارائه می‌شود. سپس، مدل بر اساس این ورودی‌ها و دانش زبانی گسترده خود، قادر به برچسب‌زنی نمونه‌های جدید بدون نیاز به به‌روزرسانی پارامترهای داخلی خود می‌شود. این امر از مشکلات بیش‌برازش و تغییر حوزه که در تنظیم دقیق مشاهده می‌شود، جلوگیری می‌کند.

3. ادغام یادگیری فعال (Active Learning): برای بهینه‌سازی بیشتر فرآیند برچسب‌زنی، ATF از اصول یادگیری فعال نیز بهره می‌گیرد. در این چارچوب، سیستم به طور هوشمندانه، نمونه‌هایی را از داده‌های برچسب‌نخورده حوزه هدف انتخاب می‌کند که بیشترین عدم قطعیت را برای PLM دارند. با برچسب‌زنی دستی این نمونه‌های «اطلاعاتی» توسط انسان و بازگرداندن آن‌ها به PLM به عنوان مثال‌های اندک‌شات جدید، مدل می‌تواند درک خود را از وظیفه حوزه هدف با حداقل تلاش انسانی بهبود بخشد. این رویکرد تضمین می‌کند که هر برچسب دستی، بیشترین تأثیر را بر عملکرد کلی مدل داشته باشد.

پژوهشگران برای ارزیابی این روش، عملکرد ATF را در وظایف شناسایی سمیت و تعصب در داده‌های رسانه‌های اجتماعی اندازه‌گیری کرده‌اند. معیار اصلی ارزیابی، AUC (Area Under the Receiver Operating Characteristic Curve) بوده است. آن‌ها نتایج را با سناریوی “عدم انتقال” (یعنی برچسب‌زنی از صفر بدون استفاده از داده‌های حوزه منبع) مقایسه کرده‌اند تا تأثیر واقعی رویکرد ATF را نشان دهند.

یافته‌های کلیدی

این مطالعه به چندین یافته مهم و تأثیرگذار دست یافته است که می‌تواند در طراحی سیستم‌های برچسب‌زنی داده‌های کارآمدتر بسیار مفید باشد:

• انتقال مثبت و افزایش قابل توجه AUC: مهمترین یافته این است که رویکرد ATF به انتقال مثبت (positive transfer) منجر می‌شود. در مقایسه با سناریوی عدم انتقال، ATF با استفاده از یک PLM بزرگ ۲۲ میلیارد پارامتری، به متوسط ۱۰.۵٪ افزایش در امتیاز AUC دست یافت. این نشان می‌دهد که با وجود عدم تنظیم دقیق، PLM قادر است دانش زبانی خود را به طور مؤثری به وظایف جدید در حوزه هدف منتقل کند. افزایش ۱۰.۵ درصدی در AUC، بهبود قابل توجهی در عملکرد طبقه‌بندی است و به معنای کاهش چشمگیر خطاهای طبقه‌بندی است.

• تأثیر یادگیری فعال با نمونه‌های کم: نتایج نشان داد که حاشیه‌نویسی تنها چند نمونه از حوزه هدف از طریق یادگیری فعال می‌تواند برای بهبود انتقال دانش بسیار مفید باشد. این بدان معناست که حتی با تعداد بسیار کمی از برچسب‌های دستی (مثلاً ۱۰ تا ۵۰ نمونه)، می‌توان به طور قابل توجهی عملکرد مدل را ارتقا داد. این امر برای حوزه‌هایی که دستیابی به داده‌های برچسب‌خورده بسیار دشوار یا پرهزینه است، اهمیت فراوانی دارد.

• بازده کاهشی (Diminishing Returns) در یادگیری فعال: در حالی که تعداد کمی از برچسب‌های یادگیری فعال بسیار مؤثر هستند، این پژوهش نشان داد که تأثیر با افزایش تلاش حاشیه‌نویسی کاهش می‌یابد. به طور خاص، محققان شاهد کاهش ۲۶ درصدی در سود (gain) حاصل از برچسب‌زنی بین ۱۰۰ تا ۲۰۰۰ مثال بودند. این یافته حاکی از آن است که پس از یک نقطه مشخص، اضافه کردن برچسب‌های بیشتر از طریق یادگیری فعال، بازدهی کمتری دارد. این موضوع می‌تواند به دلیل این باشد که PLM به سرعت اطلاعات کلیدی را از نمونه‌های اولیه استخراج می‌کند و نمونه‌های بعدی اطلاعات جدید کمتری اضافه می‌کنند، یا اینکه با افزایش تعداد نمونه‌ها، نویز بیشتری وارد داده‌ها می‌شود.

• ارتباط با عملکرد اولیه PLM: یک نکته مهم دیگر این است که همه سناریوهای انتقال منجر به سود مثبت نمی‌شوند. این مسئله به نظر می‌رسد که به عملکرد اولیه PLM در وظیفه حوزه هدف مرتبط است. به عبارت دیگر، اگر PLM از همان ابتدا در وظیفه حوزه هدف عملکرد ضعیفی داشته باشد (حتی قبل از هر گونه انتقال)، ممکن است انتقال دانش نیز نتواند بهبود قابل توجهی ایجاد کند. این یافته به ما می‌آموزد که انتخاب PLM مناسب که از پایه درک خوبی از وظایف مشابه داشته باشد، برای موفقیت ATF حیاتی است.

کاربردها و دستاوردها

رویکرد ATF و یافته‌های این مقاله دارای کاربردها و دستاوردهای عملی گسترده‌ای در حوزه‌های مختلف هوش مصنوعی و پردازش زبان طبیعی هستند:

• کاهش چشمگیر هزینه و زمان برچسب‌زنی داده: مهمترین دستاورد، کاهش هزینه‌ها و زمان مورد نیاز برای برچسب‌زنی داده‌های بزرگ است. با حذف نیاز به تنظیم دقیق و استفاده هوشمندانه از یادگیری فعال، سازمان‌ها و تیم‌های تحقیقاتی می‌توانند با تلاش انسانی به مراتب کمتر، مدل‌های با عملکرد بالا را توسعه دهند. این امر به ویژه برای استارتاپ‌ها و پروژه‌های با بودجه محدود که به داده‌های برچسب‌خورده زیادی دسترسی ندارند، بسیار ارزشمند است.

• توسعه سریع‌تر مدل‌های تشخیص سمیت و تعصب: این روش می‌تواند سرعت توسعه سیستم‌های شناسایی سمیت کلام، نفرت‌پراکنی (hate speech) و تعصبات نژادی یا جنسیتی در پلتفرم‌های آنلاین را افزایش دهد. این مدل‌ها برای حفظ محیط‌های آنلاین سالم و ایمن حیاتی هستند و ATF امکان استقرار سریع‌تر آن‌ها را فراهم می‌کند.

• انعطاف‌پذیری در حوزه‌های کم‌منبع: ATF ابزاری قدرتمند برای ساخت مدل‌ها در حوزه‌های جدید یا کم‌منبع (low-resource domains) است که در آن‌ها داده‌های برچسب‌خورده فراوان وجود ندارد. به عنوان مثال، برای شناسایی ابعاد خاصی از نظرات مشتریان در یک صنعت نوظهور، می‌توان با چند مثال محدود و بدون تنظیم دقیق، مدل‌هایی مؤثر ساخت.

• پیشرفت در یادگیری انتقالی بدون تنظیم دقیق: این پژوهش مرزهای یادگیری انتقالی بدون تنظیم دقیق (fine-tuning-free transfer learning) را گسترش می‌دهد و نشان می‌دهد که PLMs چقدر در انتقال دانش انتزاعی از طریق دستورات قادر هستند. این یک تغییر پارادایم از رویکردهای سنتی است که بر تنظیم دقیق برای هر وظیفه جدید تأکید داشتند.

• مدل‌های مقاوم‌تر در برابر نویز: با اجتناب از تنظیم دقیق، ATF به طور بالقوه می‌تواند منجر به مدل‌های مقاوم‌تر در برابر نویز در داده‌های آموزشی شود، زیرا PLM کمتر احتمال دارد که به الگوهای خاص و نویزدار یک مجموعه داده کوچک بیش‌برازش پیدا کند.

• کاربرد در هوش مصنوعی مسئولانه (Responsible AI): با تسهیل توسعه مدل‌هایی برای شناسایی تعصبات، ATF به طور غیرمستقیم به پیشرفت در حوزه هوش مصنوعی مسئولانه کمک می‌کند و امکان ساخت سیستم‌هایی با رفتار عادلانه‌تر و کمتر تبعیض‌آمیز را فراهم می‌آورد.

نتیجه‌گیری

مقاله “کاهش برچسب‌زنی با داده‌های خارج از حوزه: یادگیری فعال و انتقالی با دستورات اندک‌شات” یک گام مهم و رو به جلو در حل مشکل برچسب‌زنی پرهزینه و زمان‌بر داده‌ها در حوزه هوش مصنوعی است. رویکرد نوآورانه ATF با ترکیب هوشمندانه یادگیری انتقالی و یادگیری فعال، و از طریق بهره‌گیری از دانش زبانی درونی مدل‌های زبان از پیش آموزش‌دیده (PLMs)، راهکاری کارآمد و بدون نیاز به تنظیم دقیق را ارائه می‌دهد.

نتایج نشان داد که ATF می‌تواند به افزایش قابل توجهی در عملکرد (۱۰.۵٪ افزایش AUC) منجر شود و نیاز به داده‌های برچسب‌خورده را به حداقل برساند. همچنین، این تحقیق بر اهمیت استفاده استراتژیک از یادگیری فعال با نمونه‌های اندک تأکید کرد و نشان داد که چگونه بازدهی این روش با افزایش تعداد نمونه‌های برچسب‌خورده کاهش می‌یابد. نکته حائز اهمیت دیگر، لزوم توجه به عملکرد اولیه PLM در وظیفه هدف برای تضمین موفقیت انتقال مثبت است.

این پژوهش نه تنها از نظر تئوری به درک عمیق‌تری از قابلیت‌های PLMs و مکانیسم‌های انتقال دانش کمک می‌کند، بلکه از نظر عملی نیز پیامدهای گسترده‌ای دارد. با کاهش چشمگیر نیاز به برچسب‌زنی دستی، ATF می‌تواند سرعت توسعه و استقرار سیستم‌های هوش مصنوعی را در حوزه‌های مختلف، به ویژه در تحلیل رسانه‌های اجتماعی و شناسایی پدیده‌هایی مانند سمیت و تعصب، به شدت افزایش دهد. این پیشرفت مسیر را برای ساخت مدل‌های هوشمندتر، کارآمدتر و مقرون‌به‌صرفه‌تر هموار می‌سازد و به محققان و توسعه‌دهندگان امکان می‌دهد تا با منابع کمتر، به دستاوردهای بزرگتری دست یابند.