مقدمه و اهمیت مقاله

در عصر حاضر، مدل‌های زبانی بزرگ (PLMs) به ابزارهای قدرتمندی در حوزه پردازش زبان طبیعی (NLP) تبدیل شده‌اند و طیف وسیعی از وظایف، از ترجمه ماشینی گرفته تا خلاصه‌سازی متن و تولید محتوا را به خوبی پوشش می‌دهند. با این حال، یکی از محدودیت‌های اساسی این مدل‌ها، توانایی ناکافی آن‌ها در درک و به‌کارگیری دانش رایج (common-sense knowledge) است. این دانش، شامل اطلاعاتی است که انسان‌ها به طور ضمنی از جهان پیرامون خود آموخته‌اند و برای استدلال منطقی و فهم عمیق‌تر متون ضروری است. حتی زمانی که این دانش به شکل قواعد منطقی تقریبی (قواعد نرم) در دسترس باشد، چگونگی انتقال مؤثر آن به مدل‌های زبانی از پیش آموزش‌دیده و بهبود عملکرد آن‌ها در وظایف استدلالی، همچنان یک چالش بزرگ محسوب می‌شود.

مقاله «رول‌برت: آموزش قواعد نرم به مدل‌های زبانی از پیش آموزش‌دیده» (RuleBert: Teaching Soft Rules to Pre-trained Language Models) به سرپرستی محمد سعید، ناصر احمدی، پرسلاو ناکوف و پائولو پاپوتی، در صدد پر کردن این شکاف برآمده است. این پژوهش با معرفی روشی نوین، به مدل‌های زبانی می‌آموزد که چگونه با قواعد منطقی نرم (soft Horn rules) استدلال کنند. این رویکرد می‌تواند گامی مهم در جهت افزایش توانایی‌های استدلالی مدل‌های هوش مصنوعی و نزدیک‌تر شدن آن‌ها به درک منطقی انسان باشد.

نویسندگان و زمینه تحقیق

این مقاله حاصل همکاری تیمی از محققان برجسته در حوزه‌های هوش مصنوعی، پردازش زبان طبیعی، یادگیری ماشین و منطق در علوم کامپیوتر است:

• محمد سعید (Mohammed Saeed)
• ناصر احمدی (Naser Ahmadi)
• پرسلاو ناکوف (Preslav Nakov)
• پائولو پاپوتی (Paolo Papotti)

حوزه تحقیق این مقاله در تقاطع رشته‌های مختلفی قرار دارد:

• هوش مصنوعی (Artificial Intelligence): تمرکز بر افزایش توانایی‌های استدلالی و هوشمندی مدل‌های محاسباتی.
• پردازش زبان طبیعی (Computation and Language): استفاده از مدل‌های زبانی برای درک، تفسیر و تولید زبان انسان.
• یادگیری ماشین (Machine Learning): توسعه الگوریتم‌ها و روش‌هایی که به مدل‌ها اجازه یادگیری از داده‌ها و بهبود عملکرد خود را می‌دهند.
• منطق در علوم کامپیوتر (Logic in Computer Science): به‌کارگیری اصول و قواعد منطقی برای ساخت سیستم‌های هوشمندتر.
• محاسبات عصبی و تکاملی (Neural and Evolutionary Computing): بررسی معماری‌های شبکه‌های عصبی و روش‌های الهام گرفته از تکامل برای حل مسائل پیچیده.

تمرکز ویژه مقاله بر روی «قواعد نرم» و نحوه ادغام آن‌ها در معماری مدل‌های زبانی است. قواعد نرم، برخلاف قواعد منطقی صلب که یا کاملاً درست هستند یا کاملاً غلط، دارای درجه‌ای از قطعیت یا احتمال هستند. این امر آن‌ها را برای نمایش دانش رایج که اغلب با ابهام و عدم قطعیت همراه است، بسیار مناسب می‌سازد.

چکیده و خلاصه محتوا

مقاله «رول‌برت» با این فرض آغاز می‌شود که مدل‌های زبانی از پیش آموزش‌دیده (PLMs) در جذب و استفاده از دانش رایج محدودیت دارند. نویسندگان چالش اصلی را در این می‌دانند که چگونه اطلاعات موجود در قالب قواعد منطقی تقریبی (نرم) را به PLM منتقل کنند تا توانایی استدلال استنتاجی (deductive reasoning) آن‌ها بهبود یابد.

برای پاسخ به این چالش، محققان رویکردی را معرفی می‌کنند که طی آن، PLMها «قواعد نرم هورن» (soft Horn rules) را می‌آموزند. قواعد هورن نوعی قاعده منطقی هستند که در منطق محاسباتی کاربرد فراوانی دارند. «نرم» بودن این قواعد به معنای آن است که صحت آن‌ها به صورت درصدی یا احتمالی بیان می‌شود، نه به صورت مطلق.

محتوای اصلی تحقیق شامل موارد زیر است:

• معرفی یک وظیفه طبقه‌بندی جدید: در این وظیفه، با در دست داشتن مجموعه‌ای از حقایق (facts) و قواعد نرم، از PLM خواسته می‌شود تا احتمال درستی یک فرضیه (hypothesis) مشخص را پیش‌بینی کند. این کار به مدل اجازه می‌دهد تا با مفاهیم احتمال و عدم قطعیت در استدلال آشنا شود.
• ایجاد اولین مجموعه داده اختصاصی: برای آموزش و ارزیابی مدل در وظیفه پیشنهادی، اولین مجموعه داده (dataset) مرتبط با استدلال با قواعد نرم ایجاد و منتشر شده است. این مجموعه داده برای سنجش توانایی مدل در یادگیری و به‌کارگیری قواعد نرم حیاتی است.
• طراحی تابع زیان بازنگری شده: برای اینکه مدل بتواند پیش‌بینی‌های احتمالی دقیقی برای وظیفه مذکور ارائه دهد، یک تابع زیان (loss function) جدید طراحی شده است. این تابع زیان، فرآیند یادگیری مدل را به سمت پیش‌بینی احتمالات صحیح هدایت می‌کند.

نتایج ارزیابی‌ها نشان می‌دهد که مدل‌های Fine-tuned شده با این روش، عملکرد بسیار بالایی از خود نشان می‌دهند، حتی بر روی قواعد منطقی که در طول فرآیند آموزش دیده نشده‌اند. علاوه بر این، نویسندگان ثابت کرده‌اند که مفاهیم منطقی بیان شده در قواعد، به مدل Fine-tuned شده منتقل شده و منجر به دستیابی به نتایج پیشرفته (state-of-the-art) در مجموعه داده‌های خارجی نیز می‌شود.

روش‌شناسی تحقیق

روش‌شناسی «رول‌برت» بر پایه ترکیب دو حوزه کلیدی استوار است: مدل‌های زبانی بزرگ از پیش آموزش‌دیده (PLMs) و نمایش دانش با استفاده از قواعد منطقی نرم.

1. مدل پایه‌: محققان از مدل‌های زبانی از پیش آموزش‌دیده موجود (مانند BERT یا مشتقات آن) به عنوان پایه و اساس کار خود استفاده می‌کنند. این مدل‌ها از قبل مقادیر زیادی از اطلاعات زبانی را آموخته‌اند.
2. یادگیری قواعد نرم (Soft Horn Rules):

   به جای نمایش دانش به صورت قواعد صلب و قطعی، در این پژوهش از قواعد نرم استفاده می‌شود. یک قاعده نرم هورن را می‌توان به شکل زیر نمایش داد:

   if (fact1 AND fact2 AND ...) then hypothesis with probability p

   در اینجا، `p` نشان‌دهنده درجه اطمینان یا احتمال درستی کل قاعده است. این رویکرد با ماهیت غالباً مبهم و احتمالی دانش در دنیای واقعی سازگارتر است.

3. وظیفه طبقه‌بندی و پیش‌بینی احتمال:

   برای آموزش مدل، وظیفه‌ای تعریف شده است که در آن:

   • ورودی شامل مجموعه‌ای از حقایق (مثلاً “باران می‌بارد”، “زمین خیس است”) و تعدادی قاعده نرم (مثلاً “اگر باران ببارد، آنگاه زمین خیس است با احتمال 0.9”) است.
   • خروجی مورد انتظار، احتمال درستی یک فرضیه مشخص (مثلاً “آیا زمین خیس است؟”) است.

   این فرمول‌بندی، مدل را مجبور می‌کند تا بین حقایق موجود و قواعد نرم، ارتباط منطقی برقرار کرده و نتایج احتمالی را پیش‌بینی کند.

4. تابع زیان بازنگری شده (Revised Loss Function):

   یکی از نوآوری‌های کلیدی مقاله، طراحی تابع زیانی است که به مدل کمک می‌کند تا پیش‌بینی‌های احتمالی دقیق‌تری ارائه دهد. تابع زیان استاندارد معمولاً بر روی به حداقل رساندن خطا تمرکز دارد، اما تابع زیان پیشنهادی، مدل را به سمت تولید مقادیر احتمالی که به درستی بازتاب‌دهنده میزان اطمینان به فرضیه باشند، هدایت می‌کند. این امر برای وظایفی که نیاز به درک عدم قطعیت دارند، حیاتی است.

5. فرآیند Fine-tuning:

   پس از آماده‌سازی داده‌ها و تعریف وظیفه، مدل پایه (PLM) با استفاده از داده‌های آموزشی و تابع زیان بازنگری شده، Fine-tune می‌شود. در این فرآیند، وزن‌های مدل به‌روزرسانی می‌شوند تا توانایی آن در درک و استدلال با قواعد نرم افزایش یابد.

6. ارزیابی عملکرد:

   عملکرد مدل Fine-tuned شده با استفاده از معیارهای مختلف، بر روی مجموعه داده‌های آموزشی و همچنین مجموعه داده‌های خارجی که شامل قواعد و حقایق ناآشنا برای مدل هستند، سنجیده می‌شود. این ارزیابی‌ها به منظور بررسی قابلیت تعمیم (generalization) مدل انجام می‌گیرد.

یافته‌های کلیدی

پژوهش «رول‌برت» دستاوردهای مهم و قابل توجهی را به همراه داشته است:

• عملکرد بالا حتی بر روی قواعد نادیده: یکی از برجسته‌ترین یافته‌ها این است که مدل‌های Fine-tuned شده با رویکرد RuleBert، قادر به انجام استدلال دقیق با قواعد منطقی هستند که در طول فرآیند آموزش هرگز با آن‌ها مواجه نشده‌اند. این نشان‌دهنده توانایی مدل در درک اصول کلی استدلال و تعمیم آن‌ها به موارد جدید است، نه صرفاً حفظ کردن مثال‌های آموزشی.
• انتقال مفاهیم منطقی: مقاله نشان می‌دهد که مفاهیم منطقی که در قواعد نرم بیان شده‌اند، به طور مؤثر به مدل Fine-tuned شده منتقل می‌شوند. این بدان معناست که مدل فقط اعداد و احتمالات را پیش‌بینی نمی‌کند، بلکه درکی از روابط منطقی مانند علیت، انطباق یا تناقض کسب می‌کند.
• نتایج پیشرفته (State-of-the-Art): با استفاده از این روش، مدل‌ها توانسته‌اند به نتایج پیشرفته در مجموعه داده‌های خارجی مرتبط با استدلال منطقی دست یابند. این موفقیت، اعتبار و اثربخشی رویکرد RuleBert را در مقایسه با روش‌های موجود تأیید می‌کند.
• ارائه اولین مجموعه داده برای استدلال با قواعد نرم: ایجاد و انتشار یک مجموعه داده اختصاصی برای این وظیفه، یک سهم مهم دیگر است. این مجموعه داده، مسیر را برای تحقیقات آینده در زمینه آموزش قواعد نرم به مدل‌های زبانی هموار می‌کند.
• قابلیت تفسیرپذیری (Implication for Interpretability): اگرچه مقاله مستقیماً به تفسیرپذیری نپرداخته است، اما توانایی مدل در استدلال با قواعد صریح، پتانسیل بهبود تفسیرپذیری تصمیمات مدل را نیز دارد. در آینده می‌توان بررسی کرد که چگونه مدل با هر قاعده تعامل دارد.

کاربردها و دستاوردها

دستاورد اصلی مقاله «رول‌برت» قابلیت بخشیدن به مدل‌های زبانی برای استدلال منطقی بر اساس دانش نرم و احتمالی است. این توانایی کاربردهای بالقوه گسترده‌ای دارد:

• سیستم‌های پرسش و پاسخ هوشمند: بهبود دقت و عمق پاسخگویی به سوالاتی که نیاز به استدلال چند مرحله‌ای یا استفاده از دانش رایج دارند. مثلاً، پاسخ به سوالاتی مانند “اگر قرار است فردا باران ببارد و من چتر نداشته باشم، احتمال خیس شدن من چقدر است؟”
• تأیید و اعتبارسنجی اطلاعات: کمک به شناسایی اطلاعات نادرست یا متناقض با استفاده از قواعد منطقی. این می‌تواند در حوزه‌هایی مانند روزنامه‌نگاری تحقیقی یا بررسی شواهد قضایی مفید باشد.
• شبیه‌سازی و پیش‌بینی: در سناریوهایی که نیاز به پیش‌بینی نتایج بر اساس مجموعه‌ای از شرایط و قواعد احتمالی است (مانند پیش‌بینی رفتار مشتریان، یا نتایج احتمالی در بازی‌های پیچیده).
• سیستم‌های پشتیبانی تصمیم: ارائه راهنمایی‌های منطقی و مبتنی بر احتمالات برای تصمیم‌گیرندگان در حوزه‌های مختلف، از پزشکی گرفته تا مدیریت کسب‌وکار.
• آموزش و یادگیری: ساخت سیستم‌های آموزشی که بتوانند مفاهیم منطقی و استدلالی را به دانش‌آموزان بیاموزند و بازخوردهای دقیقی ارائه دهند.
• رباتیک و سیستم‌های خودمختار: افزایش توانایی ربات‌ها در درک محیط، برنامه‌ریزی و تصمیم‌گیری در شرایطی که با عدم قطعیت مواجه هستند.

به طور کلی، این تحقیق گامی مهم در جهت ساخت سیستم‌های هوش مصنوعی است که نه تنها زبان را درک می‌کنند، بلکه توانایی تفکر منطقی شبیه به انسان را نیز دارا هستند.

نتیجه‌گیری

مقاله «رول‌برت: آموزش قواعد نرم به مدل‌های زبانی از پیش آموزش‌دیده» یک گام پیشگامانه در جهت غلبه بر یکی از محدودیت‌های اساسی مدل‌های زبانی مدرن، یعنی توانایی ضعیف در استدلال منطقی و استفاده از دانش رایج است. نویسندگان با معرفی روشی نوآورانه برای آموزش قواعد نرم هورن به مدل‌های زبانی از پیش آموزش‌دیده، موفق شده‌اند قابلیت‌های استدلالی این مدل‌ها را به طور چشمگیری افزایش دهند.

یافته‌های کلیدی این پژوهش، از جمله عملکرد عالی مدل‌ها بر روی قواعد نادیده، انتقال موفقیت‌آمیز مفاهیم منطقی به مدل، و دستیابی به نتایج پیشرفته در وظایف استدلالی، نشان‌دهنده پتانسیل بالای این رویکرد است. ایجاد اولین مجموعه داده اختصاصی برای این حوزه نیز، سنگ بنای تحقیقات آتی خواهد بود.

در آینده، انتظار می‌رود که این روش‌ها به طور فزاینده‌ای در توسعه سیستم‌های هوش مصنوعی به کار گرفته شوند که قادر به درک عمیق‌تر جهان، ارائه استدلال‌های منطقی‌تر و کمک به حل مسائل پیچیده در دنیای واقعی باشند. «رول‌برت» مسیری روشن را برای تلفیق منطق و زبان در معماری مدل‌های هوش مصنوعی ترسیم کرده است.