در دنیای امروز، سیستم‌های هوش مصنوعی و به ویژه مدل‌های پردازش زبان طبیعی (NLP) به طور فزاینده‌ای در فرآیندهای تصمیم‌گیری حساس و پرمخاطره به کار گرفته می‌شوند. از غربالگری خودکار رزومه‌ها برای استخدام گرفته تا تعدیل محتوا در شبکه‌های اجتماعی و ارزیابی درخواست‌های وام، این فناوری‌ها نقشی کلیدی در زندگی روزمره ما ایفا می‌کنند. با این حال، این قدرت با مسئولیتی بزرگ همراه است: اطمینان از اینکه تصمیمات این سیستم‌ها عادلانه و به دور از هرگونه سوگیری تبعیض‌آمیز باشند.

یکی از بزرگ‌ترین چالش‌ها در این زمینه، «سوگیری الگوریتمی» (Algorithmic Bias) است. مدل‌های هوش مصنوعی از داده‌های دنیای واقعی یاد می‌گیرند و اگر این داده‌ها حاوی سوگیری‌های اجتماعی موجود باشند، مدل نیز همان سوگیری‌ها را بازتولید و حتی تقویت خواهد کرد. برای مثال، یک سیستم استخدام ممکن است به دلیل الگوهای تاریخی در داده‌های آموزشی، به طور ناعادلانه‌ای رزومه‌های مردان را به زنان ترجیح دهد.

مقاله «طبقه‌بندی عادلانه با هدایت انسان برای پردازش زبان طبیعی» به طور مستقیم به قلب این مشکل می‌زند. این پژوهش یک رویکرد نوآورانه برای تعریف، اندازه‌گیری و اعمال عدالت در مدل‌های طبقه‌بندی متن ارائه می‌دهد. اهمیت این مقاله در آن است که از روش‌های سنتی و محدودکننده که مبتنی بر جایگزینی ساده کلمات هستند، فراتر می‌رود و یک چارچوب پویا با مشارکت انسان پیشنهاد می‌کند. این روش به ما امکان می‌دهد تا درک شهودی و پیچیده انسان از عدالت را به مشخصات فنی قابل فهم برای ماشین ترجمه کنیم و در نهایت، مدل‌های هوش مصنوعی منصفانه‌تر و مسئولیت‌پذیرتری بسازیم.

این مقاله حاصل همکاری تیمی از پژوهشگران برجسته در حوزه هوش مصنوعی و یادگیری ماشین است: فلوریان دورنر، مومچیل پیچف، نیکولا کنستانتینوف، نامان گوئل، الیوت اش و مارتین وچف. این محققان در مراکز علمی پیشرو مانند ETH زوریخ فعالیت دارند و تخصص آن‌ها در تقاطع حوزه‌هایی چون پردازش زبان طبیعی، یادگیری ماشین قابل اعتماد (Trustworthy ML) و اخلاق در هوش مصنوعی قرار دارد.

این تحقیق در زمینه «عدالت فردی» (Individual Fairness) در یادگیری ماشین طبقه‌بندی می‌شود. هدف عدالت فردی این است که اطمینان حاصل شود با افراد مشابه، به طور مشابه رفتار می‌شود. در زمینه NLP، این بدان معناست که خروجی یک مدل نباید صرفاً به دلیل تغییر یک ویژگی حساس (مانند جنسیت، نژاد یا قومیت) در متن ورودی، تغییر کند. این مقاله به طور خاص بر چالش‌های عملی پیاده‌سازی این اصل در سیستم‌های پیچیده زبانی تمرکز دارد.

مقاله استدلال می‌کند که طبقه‌بندهای متن، به ویژه در کاربردهای حساسی مانند استخدام و تعدیل محتوا، باید عادلانه عمل کنند. عدالت در اینجا به معنای تغییرناپذیری نسبت به آشفتگی در ویژگی‌های حساس تعریف می‌شود. به عبارت دیگر، اگر جمله‌ای را برداریم و صرفاً کلمه‌ای که به جنسیت یا نژاد اشاره دارد را تغییر دهیم، قضاوت مدل (مثلاً سمی یا غیرسمی بودن محتوا) نباید تغییر کند.

مشکل اصلی که این مقاله به آن می‌پردازد، شکاف عمیق بین شهود انسانی از این تغییرات و مشخصات فنی برای تعریف آن‌هاست. روش‌های موجود اغلب از جایگزینی‌های ساده و از پیش تعریف‌شده (مانند “او (مرد)” به “او (زن)”) استفاده می‌کنند. این رویکردها یا به اندازه کافی گویا نیستند یا نمی‌توانند پیچیدگی‌های دنیای واقعی را پوشش دهند؛ مانند مواردی که تقارن وجود ندارد (counterfactuals asymmetric). برای مثال، ممکن است تغییر جمله «یک مرد سفیدپوست از تجربه خود گفت» به «یک مرد سیاه‌پوست از تجربه خود گفت» از نظر مفهومی تفاوت معنایی مهمی ایجاد کند که یک جایگزینی ساده آن را نادیده می‌گیرد.

برای پر کردن این شکاف، نویسندگان یک روش چندمرحله‌ای را پیشنهاد می‌کنند:

• تولید زوج‌های نامزد: با استفاده از تکنیک‌های پیشرفته مانند انتقال سبک بدون نظارت و قابلیت‌های یادگیری صفر-مرحله‌ای مدل GPT-3، به طور خودکار زوج جملاتی تولید می‌شوند که از نظر معنایی یکسان هستند اما در یک ویژگی حساس تفاوت دارند.
• اعتبارسنجی انسانی: این زوج‌های تولید شده از طریق یک مطالعه جمع‌سپاری گسترده در اختیار انسان‌ها قرار می‌گیرند تا تأیید کنند که آیا این تغییرات از نظر آن‌ها مصداق یک مقایسه عادلانه است یا خیر (به خصوص در زمینه طبقه‌بندی محتوای سمی).
• یادگیری مشخصات عدالت: در نهایت، با استفاده از بازخورد محدود انسانی، یک مدل «مشخصات شباهت» را یاد می‌گیرد. این مشخصات به عنوان یک راهنمای هوشمند عمل کرده و می‌تواند برای آموزش مدل‌های پایین‌دستی که آگاهی بیشتری از عدالت دارند، استفاده شود.

روش‌شناسی این پژوهش یک فرآیند نوآورانه و سه‌مرحله‌ای را دنبال می‌کند که هدف آن ایجاد یک استاندارد عدالت است که هم توسط ماشین قابل اجرا و هم با درک انسان هماهنگ باشد.

مرحله اول: تولید خودکار زوج‌های نامزد گویا

نقطه شروع، غلبه بر محدودیت‌های لیست‌های جایگزینی کلمات بود. به جای تعویض‌های ساده، محققان از دو تکنیک قدرتمند بهره بردند:

• انتقال سبک بدون نظارت (Unsupervised Style Transfer): این تکنیک به مدل اجازه می‌دهد تا «سبک» یک جمله (مثلاً اشاره به یک جنسیت خاص) را بدون تغییر محتوای اصلی آن، تغییر دهد.
• یادگیری صفر-مرحله‌ای GPT-3: آن‌ها از مدل زبان بزرگ GPT-3 استفاده کردند تا با دادن یک دستور ساده، جملات را بازنویسی کند. برای مثال، به مدل دستور داده می‌شد: «جمله زیر را طوری بازنویسی کن که به یک زن اشاره داشته باشد، اما معنای اصلی آن حفظ شود.» این رویکرد امکان تولید زوج‌های بسیار طبیعی‌تر و پیچیده‌تر را فراهم می‌کند.

برای مثال، به جای جایگزینی مکانیکی “پسر” با “دختر”، این سیستم می‌تواند جمله «او پسری با اعتماد به نفس بود» را به «او دختری مصمم بود» تبدیل کند که از نظر معنایی و مفهومی بسیار نزدیک‌تر است.

مرحله دوم: اعتبارسنجی انسانی از طریق جمع‌سپاری

زوج‌های تولید شده توسط هوش مصنوعی به یک پلتفرم جمع‌سپاری (crowdsourcing) ارسال شدند. در آنجا، از شرکت‌کنندگان انسانی خواسته شد تا به سؤالاتی در مورد هر زوج جمله پاسخ دهند:

• آیا این دو جمله به جز ویژگی حساس مشخص شده (مثلاً دین یا گرایش جنسی)، معنای یکسانی دارند؟
• آیا اگر یک سیستم تعدیل محتوا یکی از این جملات را سمی تشخیص دهد اما دیگری را نه، این تصمیم ناعادلانه خواهد بود؟

این فرآیند، که به طور خاص بر روی زمینه طبقه‌بندی سمیت (toxicity classification) متمرکز بود، داده‌های ارزشمندی در مورد درک شهودی انسان از عدالت در دنیای واقعی فراهم کرد.

مرحله سوم: یادگیری مشخصات شباهت از بازخورد انسانی

از آنجایی که بررسی دستی میلیون‌ها زوج جمله غیرممکن است، محققان از داده‌های جمع‌آوری‌شده در مرحله قبل (که حجم محدودی داشت) برای آموزش یک مدل دیگر استفاده کردند. این مدل یاد گرفت که اصول و الگوهای قضاوت انسانی را تشخیص دهد. خروجی این مدل، یک «مشخصات شباهت» (similarity specification) است؛ یعنی یک تابع هوشمند که می‌تواند هر دو جمله جدیدی را بگیرد و判断 کند که آیا آن‌ها یک زوج معتبر برای آزمون عدالت هستند یا خیر. این مشخصات سپس می‌تواند برای آموزش یا ارزیابی مدل‌های طبقه‌بندی دیگر به کار رود.

این پژوهش به نتایج مهم و تاثیرگذاری دست یافت که در ادامه به صورت خلاصه بیان می‌شوند:

• برتری تولید خودکار بر روش‌های سنتی: روش استفاده از GPT-3 و انتقال سبک، زوج‌های نامزد بسیار گویاتر، متنوع‌تر و طبیعی‌تر از لیست‌های جایگزینی کلمات تولید کرد. این امر به پوشش موارد پیچیده‌تر و ظریف‌تر در زبان کمک شایانی کرد.
• پیچیدگی و عدم تقارن در شهود انسانی: نتایج جمع‌سپاری نشان داد که قضاوت انسان در مورد عدالت، اغلب پیچیده و نامتقارن است. برای مثال، شرکت‌کنندگان ممکن بود تغییر جمله «من به عنوان یک مسیحی …» به «من به عنوان یک مسلمان …» را یک مقایسه عادلانه بدانند، اما در یک زمینه دیگر، چنین تغییری را به دلیل بافت اجتماعی و تاریخی متفاوت، معتبر ندانند. روش پیشنهادی قادر به شناسایی و مدل‌سازی این عدم تقارن‌ها بود.
• قدرت بازخورد محدود انسانی: یکی از مهم‌ترین یافته‌ها این بود که حتی با مقدار نسبتاً کمی از داده‌های اعتبارسنجی‌شده توسط انسان، می‌توان یک مشخصات شباهت قوی و قابل تعمیم ساخت. این موضوع نشان می‌دهد که رویکرد «انسان در حلقه» (human-in-the-loop) بسیار کارآمد و مقیاس‌پذیر است.
• بهبود عدالت بدون کاهش چشمگیر دقت: مدل‌های طبقه‌بندی که با استفاده از مشخصات عدالت یادگرفته‌شده آموزش دیدند، در آزمون‌های عدالت عملکرد بهتری از خود نشان دادند. مهم‌تر اینکه این بهبود در عدالت، معمولاً با افت قابل توجهی در دقت کلی مدل همراه نبود، که این یک توازن کلیدی در ساخت سیستم‌های عملی است.

دستاورد اصلی این مقاله ارائه یک چارچوب عملی برای تلفیق ارزش‌های انسانی در خط لوله یادگیری ماشین است. این چارچوب کاربردهای گسترده‌ای در دنیای واقعی دارد:

• سیستم‌های استخدام خودکار: با استفاده از این روش، می‌توان ابزارهای غربالگری رزومه را طوری آموزش داد که به دلیل وجود عباراتی مانند «رئیس انجمن دانشجویان زن» یا «فعال در مرکز فرهنگی سیاه‌پوستان» یک کاندیدا را به اشتباه جریمه نکنند.
• تعدیل محتوای آنلاین: پلتفرم‌های اجتماعی می‌توانند الگوریتم‌های خود را برای تشخیص بهتر تفاوت بین بحث در مورد هویت یک گروه اقلیت و حمله به آن گروه، آموزش دهند. این امر به کاهش حذف ناعادلانه محتوای تولید شده توسط گروه‌های به حاشیه رانده شده کمک می‌کند.
• ارزیابی‌های مالی: در تحلیل داده‌های متنی برای ارزیابی اعتبار یا وام، مدل‌ها می‌توانند یاد بگیرند که اطلاعات مرتبط با ویژگی‌های حساس را که هیچ ارتباطی با صلاحیت مالی فرد ندارند، نادیده بگیرند.

این مقاله با موفقیت شکاف بین اصول انتزاعی اخلاقی و پیاده‌سازی فنی را پر می‌کند و راهی برای ساختن سیستم‌های هوش مصنوعی که نه تنها دقیق، بلکه منصفانه و پاسخگو به ارزش‌های انسانی هستند، هموار می‌سازد.

مقاله «طبقه‌بندی عادلانه با هدایت انسان برای پردازش زبان طبیعی» یک گام مهم رو به جلو در تلاش برای ساخت هوش مصنوعی مسئولیت‌پذیر است. این پژوهش به وضوح نشان می‌دهد که رویکردهای ساده و مبتنی بر قوانین ثابت برای تضمین عدالت در سیستم‌های زبانی کافی نیستند. در مقابل، یک رویکرد ترکیبی که از قدرت تولیدی مدل‌های زبان بزرگ، خرد جمعی انسان‌ها و توانایی یادگیری ماشین برای تعمیم‌دادن بهره می‌برد، می‌تواند به نتایج بسیار بهتری منجر شود.

پیام نهایی این مقاله روشن است: آینده هوش مصنوعی عادلانه در همکاری انسان و ماشین نهفته است. به جای تلاش برای کدنویسی قوانین سخت و جهان‌شمول برای عدالت، باید سیستم‌هایی طراحی کنیم که قادر به یادگیری، انطباق و همسویی با درک پیچیده و وابسته به زمینه انسان باشند. این تحقیق یک نقشه راه عملی برای رسیدن به این هدف ارائه می‌دهد و سهمی ارزشمند در توسعه فناوری‌هایی دارد که به طور عادلانه به همه انسان‌ها خدمت می‌کنند.