در سال‌های اخیر، مدل‌های زبانی بزرگ (Large Language Models – LLMs) به یکی از محورهای اصلی پیشرفت در حوزه هوش مصنوعی تبدیل شده‌اند. این مدل‌ها که بر روی حجم عظیمی از داده‌های متنی بدون برچسب آموزش دیده‌اند، توانایی شگفت‌انگیزی در تولید متن، ترجمه، خلاصه‌سازی و پاسخ به پرسش‌ها از خود نشان داده‌اند. یکی از روش‌های محبوب برای تعامل با این مدل‌ها، استفاده از «دستوردهی» یا «پرامپتینگ» (Prompting) است. در این روش، کاربر با ارائه یک توصیف به زبان طبیعی، از مدل می‌خواهد تا وظیفه مشخصی را بدون نیاز به آموزش مجدد یا تنظیم دقیق (Fine-tuning) انجام دهد.

با این حال، یک چالش اساسی در این مسیر وجود دارد: داده‌های آموزشی این مدل‌ها از گستره وسیع اینترنت جمع‌آوری شده‌اند و به همین دلیل، بازتاب‌دهنده سوگیری‌ها و کلیشه‌های مضر موجود در جامعه، از جمله نژادپرستی، تبعیض جنسیتی و تعصبات سیاسی هستند. این مدل‌ها به طور ناخواسته این سوگیری‌ها را «یاد می‌گیرند» و در خروجی‌های خود بازتولید می‌کنند. مقاله «تحلیل محدودیت‌های یادگیری خودنظارتی در مدیریت سوگیری در زبان» به طور دقیق به همین مسئله می‌پردازد. اهمیت این پژوهش در آن است که به جای ارائه یک راه‌حل برای حذف سوگیری، به شکلی بنیادی‌تر به ارزیابی توانایی ذاتی و محدودیت‌های مدل‌های آموزش‌دیده به روش خودنظارتی (Self-supervised) در درک و مدیریت مفاهیم پیچیده اجتماعی مانند سوگیری می‌پردازد. این مقاله یک چارچوب جامع برای سنجش این توانایی ارائه می‌دهد و به ما کمک می‌کند تا بفهمیم این مدل‌ها تا چه حد مفاهیم انسانی انصاف و بی‌طرفی را درک می‌کنند.

این مقاله حاصل همکاری تیمی از پژوهشگران برجسته از مراکز دانشگاهی و صنعتی پیشرو در حوزه هوش مصنوعی است: لیزا بائر، کارتیک گوپالاکریشنان، اسپاندانا گلا، یانگ لیو، موهیت بانسال و دیلک هاکانی‌تور. این محققان در زمینه پردازش زبان طبیعی (NLP)، یادگیری ماشین و اخلاق در هوش مصنوعی دارای سوابق درخشانی هستند و در شرکت‌ها و دانشگاه‌هایی نظیر آمازون الکسا AI و دانشگاه کارولینای شمالی در چپل هیل فعالیت داشته‌اند.

این پژوهش در تقاطع سه حوزه کلیدی قرار دارد: پردازش زبان طبیعی، هوش مصنوعی مسئولانه (Responsible AI) و زبان‌شناسی محاسباتی. در حالی که تحقیقات پیشین عمدتاً بر روی توسعه الگوریتم‌هایی برای کاهش سوگیری متمرکز بودند، این مقاله یک گام به عقب برداشته و سوالی اساسی‌تر را مطرح می‌کند: آیا پارادایم غالب آموزش مدل‌های زبانی، یعنی یادگیری خودنظارتی، اساساً برای درک مفاهیم جامعه‌شناختی پیچیده مانند سوگیری، کافی است؟ این رویکرد نوآورانه، پژوهش را از سطح «چگونه سوگیری را برطرف کنیم» به سطح «مدل‌ها در وهله اول چه چیزی از سوگیری می‌فهمند» ارتقا می‌دهد.

مقاله به طور جامع به ارزیابی این موضوع می‌پردازد که مدل‌های زبانی بزرگ تا چه حد معنای چهار وظیفه کلیدی مرتبط با سوگیری را صرفاً از طریق آموزش خودنظارتی درک می‌کنند. این چهار وظیفه عبارتند از:

• تشخیص (Diagnosis): آیا یک متن حاوی سوگیری است یا خیر؟
• شناسایی (Identification): کدام بخش مشخص از متن، سوگیری را نشان می‌دهد؟
• استخراج (Extraction): گروه یا فرد هدف سوگیری در متن کیست؟
• بازنویسی (Rephrasing): چگونه می‌توان متن را به شکلی بازنویسی کرد که بی‌طرف و بدون سوگیری باشد؟

محققان برای ارزیابی مدل‌ها در انجام این وظایف، از سه دسته کلی توصیف وظیفه (دستور یا پرامپت) استفاده کردند: جملات خبری (مثلاً: «جمله زیر تبعیض‌آمیز است.»)، جملات پرسشی (مثلاً: «آیا جمله زیر تبعیض‌آمیز است؟») و تکمیل جمله (مثلاً: «جمله زیر تبعیض‌آمیز است زیرا…»). این تنوع در دستورات به پژوهشگران اجازه داد تا بررسی کنند که آیا نحوه بیان درخواست، بر عملکرد مدل تأثیر می‌گذارد یا خیر. این تحلیل‌ها بر روی ابعاد مختلفی از سوگیری، مانند جنسیت و گرایش‌های سیاسی، انجام شد تا یک تصویر کامل از توانایی‌ها و ضعف‌های مدل‌ها به دست آید.

پژوهشگران یک چارچوب آزمایشی دقیق و چندلایه را برای سنجش مدل‌ها طراحی کردند. این روش‌شناسی بر پایه‌های زیر استوار بود:

الف) تعریف وظایف چهارگانه:

برای هر یک از چهار وظیفه (تشخیص، شناسایی، استخراج و بازنویسی)، مجموعه‌ای از داده‌ها و پرامپت‌های استاندارد طراحی شد. برای مثال:

• برای تشخیص: به مدل جمله‌ای مانند «همه سیاستمداران فاسد هستند» داده می‌شود و از آن پرسیده می‌شود: «آیا این جمله حاوی سوگیری است؟ پاسخ: بله/خیر».
• برای شناسایی: به مدل جمله «منشی شرکت باید اطمینان حاصل کند که قهوه برای رئیسش آماده است» داده می‌شود و از آن خواسته می‌شود: «کلمات حاوی کلیشه جنسیتی را مشخص کن. پاسخ: منشی… رئیسش».
• برای بازنویسی: به مدل جمله «یک آتش‌نشان باید قوی باشد، بنابراین او برای این شغل مناسب است» داده می‌شود و خواسته می‌شود: «این جمله را به صورت بی‌طرف بازنویسی کن. پاسخ: یک آتش‌نشان باید قوی باشد، بنابراین این فرد برای این شغل مناسب است».

ب) طراحی انواع دستورات (پرامپت‌ها):

محققان برای جلوگیری از وابستگی نتایج به یک نوع خاص از بیان، هر وظیفه را با استفاده از سه قالب کلی پرامپت ارزیابی کردند:

• خبری (Statement): ارائه یک گزاره و درخواست تایید یا تکمیل. (مثال: «بازنویسی خنثی این جمله عبارت است از: …»)
• پرسشی (Question): طرح یک سوال مستقیم درباره وظیفه. (مثال: «چگونه می‌توان این جمله را به صورت خنثی بازنویسی کرد؟»)
• تکمیل (Completion): ارائه بخشی از پاسخ و درخواست برای تکمیل آن.

علاوه بر این، برای هر قالب، چندین تنوع واژگانی نیز در نظر گرفته شد تا اطمینان حاصل شود که مدل به کلمات کلیدی خاصی «حساس» نیست و مفهوم کلی وظیفه را درک می‌کند.

ج) ارزیابی در شرایط مختلف:

عملکرد مدل‌ها تحت سناریوهای مختلفی سنجیده شد. این سناریوها شامل یادگیری صفر-shot (بدون ارائه هیچ مثالی)، یادگیری چند-shot (ارائه چند مثال قبل از طرح سوال اصلی) و استفاده از روش‌های مختلف رمزگشایی (Decoding Methods) برای تولید پاسخ بود. این رویکرد جامع به محققان کمک کرد تا بفهمند آیا عملکرد مدل با ارائه مثال‌های بیشتر بهبود می‌یابد یا خیر.

نتایج این پژوهش گسترده، تصویری پیچیده و هشداردهنده از قابلیت‌های فعلی مدل‌های زبانی ارائه می‌دهد:

• عملکرد بسیار متغیر و غیرقابل اعتماد: مهم‌ترین یافته این بود که توانایی مدل‌ها در انجام وظایف مرتبط با سوگیری بسیار ناهمگون است. یک مدل ممکن است در تشخیص سوگیری جنسیتی عملکرد خوبی داشته باشد اما در شناسایی سوگیری سیاسی کاملاً شکست بخورد. این نشان می‌دهد که مدل‌ها یک درک عمیق و عمومی از مفهوم «سوگیری» ندارند، بلکه الگوهای آماری مرتبط با کلمات خاص را یاد گرفته‌اند.
• حساسیت شدید به نحوه بیان دستور: عملکرد مدل به شدت به نحوه نگارش پرامپت بستگی داشت. تغییر یک کلمه در دستور یا تغییر قالب از پرسشی به خبری می‌توانست نتایج را به طور کامل دگرگون کند. این شکنندگی نشان می‌دهد که دانش مدل سطحی است و به راحتی می‌توان آن را با تغییرات جزئی در ورودی، گمراه کرد.
• تأثیر مثبت اما محدود یادگیری چند-shot: همانطور که انتظار می‌رفت، ارائه چند مثال (few-shot learning) عملکرد مدل را بهبود بخشید. با این حال، این بهبود یک راه‌حل جادویی نیست. مدل‌ها با دیدن مثال‌ها، بیشتر یاد می‌گیرند که چگونه الگوهای ورودی را تقلید کنند تا اینکه مفهوم انتزاعی انصاف را درونی‌سازی کنند.
• دشواری وظایف پیچیده‌تر: مدل‌ها در وظایف ساده‌تر مانند «تشخیص» (پاسخ بله/خیر) عملکرد بهتری نسبت به وظایف پیچیده‌تر مانند «بازنویسی» داشتند. بازنویسی یک جمله به شکلی که هم معنای اصلی حفظ شود و هم سوگیری آن حذف گردد، نیازمند درک عمیق معنایی و اجتماعی است که مدل‌های فعلی فاقد آن هستند.

این مقاله فراتر از یک تحلیل صرف، دستاوردهای عملی و مفهومی مهمی را به همراه دارد:

• ارائه یک چارچوب استاندارد برای ارزیابی: این پژوهش یک متدولوژی جامع و قابل تکرار برای سنجش محدودیت‌های مدل‌های زبانی در مواجهه با وظایف اجتماعی پیچیده فراهم می‌کند. توسعه‌دهندگان و پژوهشگران می‌توانند از این چارچوب برای تست و ارزیابی مدل‌های خود استفاده کنند.
• تغییر نگرش نسبت به حل مسئله سوگیری: این مقاله نشان می‌دهد که صرفاً افزایش حجم داده‌ها یا اندازه مدل، مشکل سوگیری را حل نخواهد کرد. مشکل ریشه‌ای‌تر است و به اهداف یادگیری خودنظارتی بازمی‌گردد که برای درک مفاهیم انسانی طراحی نشده‌اند. این یافته، جامعه علمی را به سمت تحقیق در مورد پارادایم‌های آموزشی جدید سوق می‌دهد.
• ابزاری برای حسابرسی و شفافیت: روش‌های ارائه‌شده در این مقاله می‌توانند توسط نهادهای نظارتی و حسابرسان هوش مصنوعی برای بررسی نقاط ضعف مدل‌های تجاری قبل از عرضه به بازار استفاده شوند. این امر به افزایش شفافیت و مسئولیت‌پذیری در صنعت هوش مصنوعی کمک می‌کند.
• راهنمایی برای طراحی پرامپت‌های بهتر: با درک اینکه مدل‌ها به چه نوع دستوراتی بهتر پاسخ می‌دهند، مهندسان پرامپت (Prompt Engineers) می‌توانند دستورات مؤثرتری برای کاهش خروجی‌های نامطلوب طراحی کنند، هرچند این یک راه‌حل موقتی است.

مقاله «تحلیل محدودیت‌های یادگیری خودنظارتی در مدیریت سوگیری در زبان» یک زنگ خطر و در عین حال یک نقشه راه است. این پژوهش به وضوح نشان می‌دهد که توانایی مدل‌های زبانی بزرگ در درک مفاهیم پیچیده و ظریف اجتماعی مانند سوگیری، علی‌رغم عملکرد چشمگیرشان در سایر وظایف، سطحی، شکننده و غیرقابل اتکاست. یادگیری خودنظارتی، که بر پیش‌بینی کلمه بعدی در یک متن استوار است، به مدل‌ها اجازه می‌دهد الگوهای آماری را به خوبی بیاموزند، اما آن‌ها را به درک عمیق معنایی و اخلاقی مجهز نمی‌کند.

این تحقیق تأکید می‌کند که دستوردهی (Prompting) یک ابزار تشخیصی قدرتمند برای کشف این محدودیت‌هاست، اما به خودی خود راه‌حلی برای رفع سوگیری‌های ریشه‌دار در مدل نیست. حرکت به سوی ساختن سیستم‌های هوش مصنوعی واقعاً بی‌طرف و آگاه از نظر اجتماعی، نیازمند فراتر رفتن از پارادایم‌های کنونی و سرمایه‌گذاری بر روی اهداف آموزشی جدید، داده‌های باکیفیت‌تر و روش‌های ارزیابی دقیق‌تری است که ارزش‌های انسانی را در هسته خود قرار دهند. این مقاله گامی اساسی در جهت شناسایی این شکاف عمیق بین توانایی آماری و درک واقعی است و مسیر تحقیقات آینده را برای ساختن هوش مصنوعی عادلانه‌تر روشن می‌سازد.