در دنیای دیجیتال امروز، مدل‌های زبانی بزرگ (LLMs) به بخشی جدایی‌ناپذیر از زندگی روزمره ما تبدیل شده‌اند. از دستیارهای هوشمند گرفته تا سیستم‌های پیشنهاددهنده در پلتفرم‌هایی مانند نتفلیکس و آمازون، این فناوری‌ها در حال شکل‌دهی به تجربیات ما هستند. یکی از حوزه‌های کلیدی در این زمینه، تولید متن شخصی‌سازی‌شده (Personalized Text Generation – PTG) است که هدف آن تولید متونی متناسب با ویژگی‌ها و ترجیحات هر کاربر است. این قابلیت به‌ویژه در «سیستم‌های توصیه‌گر تبیین‌پذیر» کاربرد دارد؛ جایی که سیستم نه تنها یک محصول را پیشنهاد می‌دهد، بلکه دلیلی قانع‌کننده و شخصی‌سازی‌شده برای آن ارائه می‌کند.

با این حال، این پیشرفت‌ها با یک چالش اساسی همراه هستند: سوگیری (Bias). مدل‌های هوش مصنوعی اغلب بر روی داده‌های متنی تولیدشده توسط کاربران آموزش می‌بینند. این داده‌ها می‌توانند بازتاب‌دهنده سوگیری‌های اجتماعی موجود باشند. در نتیجه، مدل ممکن است یاد بگیرد که کیفیت متن تولیدی خود را به ویژگی‌های حفاظت‌شده کاربران (مانند جنسیت، نژاد یا سن) مرتبط کند. این پدیده می‌تواند منجر به نابرابری و رفتار ناعادلانه شود. به عنوان مثال، ممکن است یک سیستم برای کاربران مرد توضیحات پیچیده‌تر و فنی‌تری ارائه دهد در حالی که برای کاربران زن توضیحات ساده‌تری تولید کند، حتی اگر سطح دانش فنی آن‌ها یکسان باشد. مقاله “COFFEE” به طور مستقیم به این مشکل مهم می‌پردازد و راهکاری نوآورانه برای سنجش و کاهش این نوع سوگیری ارائه می‌دهد که اهمیت آن در ساخت سیستم‌های هوش مصنوعی عادلانه‌تر و قابل‌اعتمادتر نهفته است.

این مقاله حاصل همکاری گروهی از پژوهشگران برجسته در حوزه‌های یادگیری ماشین، پردازش زبان طبیعی و بازیابی اطلاعات است. نویسندگان مقاله، نان وانگ، قیفان وانگ، یی-چیا وانگ، مازیار سنجابی، جینگژو لیو، حامد فیروز، هونگ‌نینگ وانگ و شاولیانگ نیه، در مراکز تحقیقاتی و دانشگاهی پیشرو فعالیت دارند و تخصص آن‌ها در تقاطع علوم کامپیوتر و علوم اجتماعی قرار دارد. این ترکیب از تخصص‌ها نشان‌دهنده ماهیت میان‌رشته‌ای مسئله «انصاف در هوش مصنوعی» است.

زمینه این تحقیق در سه حوزه اصلی قرار می‌گیرد:

• هوش مصنوعی تبیین‌پذیر (XAI): جنبشی برای شفاف‌سازی و قابل‌فهم کردن تصمیمات مدل‌های هوش مصنوعی.
• انصاف الگوریتمی (Algorithmic Fairness): شاخه‌ای از علوم کامپیوتر که به شناسایی و کاهش سوگیری‌های ناعادلانه در سیستم‌های خودکار می‌پردازد.
• تولید زبان طبیعی (NLG): فناوری تولید متنی شبیه به انسان توسط ماشین‌ها.

مقاله COFFEE با ارائه یک رویکرد فنی برای حل یک مشکل اجتماعی، گامی مهم در جهت هم‌راستا کردن این سه حوزه برمی‌دارد.

مقاله “COFFEE” به بررسی و حل مشکل بی‌انصافی در تولید متن شخصی‌سازی‌شده برای توضیحات سیستم‌های توصیه‌گر می‌پردازد. نویسندگان ابتدا استدلال می‌کنند که مدل‌های PTG که بر روی متون نوشته‌شده توسط کاربران آموزش دیده‌اند، می‌توانند سوگیری‌های موجود در این داده‌ها را بازتولید کنند. این امر باعث می‌شود که کیفیت زبانی (مانند روان بودن، پیچیدگی یا متقاعدکنندگی) متن تولید شده برای گروه‌های مختلف کاربران بر اساس ویژگی‌های حفاظت‌شده آن‌ها (مانند جنسیت یا قومیت) متفاوت باشد. این تفاوت در کیفیت، نوعی رفتار ناعادلانه محسوب می‌شود.

برای مقابله با این مشکل، پژوهشگران چارچوبی عمومی به نام COFFEE (Counterfactual Fairness for Personalized Text Generation) را معرفی می‌کنند. ایده اصلی این چارچوب بر مفهوم «انصاف پادواقعی» استوار است. انصاف پادواقعی در این زمینه به این معناست که کیفیت متن تولیدی برای یک کاربر نباید تغییر کند اگر تنها ویژگی حفاظت‌شده آن کاربر (مثلاً جنسیت) تغییر می‌کرد و سایر ویژگی‌های مرتبط او ثابت باقی می‌ماندند. این مقاله یک روش عملی برای پیاده‌سازی این مفهوم ارائه می‌دهد تا مدل‌ها را وادار کند که در فرآیند تولید متن، از ویژگی‌های حساس و حفاظت‌شده کاربران چشم‌پوشی کنند. در نهایت، از طریق آزمایش‌های گسترده و ارزیابی‌های انسانی، کارایی روش پیشنهادی در کاهش سوگیری و دستیابی به انصاف، بدون کاهش قابل‌توجه کیفیت کلی متن، به اثبات می‌رسد.

قلب نوآوری مقاله COFFEE در روش‌شناسی آن برای دستیابی به انصاف پادواقعی (Counterfactual Fairness) نهفته است. این مفهوم از حوزه استنتاج علی (Causal Inference) الهام گرفته شده و سوالی بنیادین را مطرح می‌کند: «آیا خروجی مدل برای یک فرد یکسان می‌بود اگر آن فرد به گروه جمعیتی دیگری تعلق داشت؟»

چارچوب COFFEE برای پاسخ به این سوال و اعمال آن در عمل طراحی شده است. این فرآیند را می‌توان در چند مرحله خلاصه کرد:

1. تعریف معیار کیفیت: ابتدا، یک یا چند معیار برای سنجش کیفیت متن تولیدی تعریف می‌شود. این معیارها می‌توانند شامل روان بودن (fluency)، خوانایی (readability) یا میزان شخصی‌سازی (personalization) باشند.
2. مدل‌سازی پادواقعی: چارچوب COFFEE یک سناریوی «پادواقعی» یا «چه می‌شد اگر؟» را شبیه‌سازی می‌کند. برای هر کاربر در مجموعه داده، یک «همتای پادواقعی» ساخته می‌شود که تمام ویژگی‌هایش (مانند سلیقه فیلم، تاریخچه خرید و…) با کاربر اصلی یکسان است، به جز یک ویژگی حفاظت‌شده (مثلاً جنسیت).
3. تابع جریمه (Penalty Function): در طول فرآیند آموزش، مدل نه تنها برای تولید متن باکیفیت پاداش می‌گیرد، بلکه برای هرگونه تفاوت در کیفیت متن تولیدی بین کاربر واقعی و همتای پادواقعی‌اش «جریمه» می‌شود. این تابع جریمه، مدل را مجبور می‌کند تا یاد بگیرد که خروجی خود را مستقل از ویژگی حفاظت‌شده تولید کند.
4. بهینه‌سازی مدل: مدل زبانی با بهینه‌سازی همزمان دو هدف آموزش می‌بیند: (۱) حداکثر کردن کیفیت توضیحات تولیدی و (۲) به حداقل رساندن جریمه ناشی از نقض انصاف پادواقعی.

به عنوان یک مثال عملی، فرض کنید سیستم می‌خواهد توضیحی برای پیشنهاد یک فیلم به دو کاربر ارائه دهد: کاربر A (مرد، علاقه‌مند به فیلم‌های علمی-تخیلی) و کاربر B (زن، علاقه‌مند به فیلم‌های علمی-تخیلی). چارچوب COFFEE تضمین می‌کند که اگر مدل برای کاربر A توضیحی باکیفیت و جذاب تولید می‌کند، باید بتواند توضیحی با همان سطح از کیفیت برای کاربر B نیز تولید کند و تفاوت در جنسیت نباید منجر به افت کیفیت متن شود.

نویسندگان مقاله برای ارزیابی کارایی چارچوب COFFEE، مجموعه‌ای از آزمایش‌های کمی و کیفی را روی مجموعه داده‌های واقعی انجام دادند. یافته‌های اصلی این پژوهش بسیار قابل‌توجه است:

• کاهش موثر سوگیری: نتایج نشان داد که مدل‌های آموزش‌دیده با چارچوب COFFEE به طور قابل‌توجهی اختلاف در کیفیت متن تولیدی برای گروه‌های مختلف جمعیتی را کاهش می‌دهند. به عبارت دیگر، این روش توانست به سطح بالایی از انصاف پادواقعی دست یابد.
• حفظ کیفیت کلی: یکی از نگرانی‌های اصلی در الگوریتم‌های کاهش سوگیری، احتمال افت کیفیت کلی عملکرد مدل است. یافته‌ها نشان داد که COFFEE موفق به کاهش سوگیری می‌شود، در حالی که کیفیت کلی توضیحات تولیدی (از نظر معیارهایی مانند دقت و روان بودن) را در سطح بالایی حفظ می‌کند. این تعادل میان انصاف و کارایی، یک دستاورد مهم است.
• اهمیت ارزیابی انسانی: علاوه بر معیارهای خودکار، پژوهشگران از ارزیابی‌های انسانی نیز استفاده کردند. از افراد خواسته شد تا کیفیت و بی‌طرفی توضیحات تولید شده توسط مدل‌های مختلف را قضاوت کنند. نتایج این ارزیابی‌ها نیز برتری روش COFFEE را در تولید متون منصفانه‌تر و قابل‌قبول‌تر برای کاربران تایید کرد. این بخش از تحقیق اهمیت در نظر گرفتن دیدگاه انسانی در مسائل پیچیده‌ای مانند انصاف را برجسته می‌کند.

دستاوردها و کاربردهای پژوهش COFFEE فراتر از یک مقاله آکادمیک است و پیامدهای عملی مهمی برای صنعت فناوری دارد.

کاربردهای عملی:

• سیستم‌های توصیه‌گر: کاربرد مستقیم این چارچوب در پلتفرم‌های تجارت الکترونیک، سرویس‌های استریم محتوا و شبکه‌های اجتماعی است. با استفاده از COFFEE، این پلتفرم‌ها می‌توانند توضیحات جذاب و منصفانه‌ای برای پیشنهادات خود ارائه دهند که اعتماد و رضایت همه کاربران را جلب کند.
• چت‌بات‌ها و دستیارهای مجازی: این روش می‌تواند برای اطمینان از اینکه ربات‌های گفتگو با همه کاربران، صرف‌نظر از پیشینه آن‌ها، به طور یکسان محترمانه و موثر ارتباط برقرار می‌کنند، به کار رود.
• ابزارهای ارتباطی خودکار: در سیستم‌های تولید خودکار ایمیل یا گزارش‌های شخصی‌سازی‌شده، COFFEE می‌تواند از تولید محتوای سوگیرانه که ممکن است به طور ناخواسته گروه‌های خاصی را نادیده بگیرد، جلوگیری کند.

دستاورد اصلی:

بزرگترین دستاورد این مقاله، ارائه یک راهکار عملی و قابل‌اندازه‌گیری برای یکی از چالش‌برانگیزترین مشکلات هوش مصنوعی یعنی «انصاف» است. در حالی که بسیاری از بحث‌ها در مورد انصاف الگوریتمی در سطح مفهومی باقی می‌مانند، COFFEE یک چارچوب مهندسی‌شده ارائه می‌دهد که توسعه‌دهندگان می‌توانند آن را پیاده‌سازی کنند. این پژوهش نشان می‌دهد که می‌توان به طور همزمان به دنبال سیستم‌های هوشمندتر و عادلانه‌تر بود و این دو هدف لزوماً در تضاد با یکدیگر نیستند.

مقاله “COFFEE: انصاف پادواقعی برای تولید متن شخصی‌سازی‌شده در توصیه‌گری تبیین‌پذیر” یک گام مهم و رو به جلو در مسیر ساخت سیستم‌های هوش مصنوعی مسئولیت‌پذیر است. این تحقیق با تمرکز بر مشکل کمتر دیده‌شده اما حیاتیِ سوگیری در متون تولیدی شخصی‌سازی‌شده، نه تنها ابعاد جدیدی از نابرابری الگوریتمی را آشکار می‌سازد، بلکه یک راه حل قوی و مبتنی بر اصول علی به نام چارچوب COFFEE ارائه می‌دهد.

این پژوهش به ما یادآوری می‌کند که با افزایش نفوذ مدل‌های زبانی در زندگی ما، مسئولیت ما برای اطمینان از عملکرد عادلانه آن‌ها نیز افزایش می‌یابد. چارچوب COFFEE با فراهم کردن ابزاری برای سنجش و کاهش سوگیری، به توسعه‌دهندگان کمک می‌کند تا محصولاتی بسازند که به همه کاربران به طور یکسان خدمت می‌کنند. در نهایت، این مقاله نشان می‌دهد که آینده هوش مصنوعی نه تنها در افزایش توانایی‌های آن، بلکه در توسعه خردمندانه و اخلاقی آن نهفته است تا فناوری در خدمت بشریت باشد، نه تشدیدکننده نابرابری‌های موجود.