در دنیای امروز، هوش مصنوعی (AI) و به ویژه تولید زبان طبیعی (NLG) به سرعت در حال پیشرفت هستند و در زمینه‌های مختلفی از جمله تولید محتوا، ترجمه ماشینی و چت‌بات‌ها کاربرد پیدا کرده‌اند. با این حال، این فناوری‌ها نیز خالی از اشکال نیستند و می‌توانند سوگیری‌های ناخودآگاه موجود در داده‌های آموزشی را بازتولید و حتی تقویت کنند. یکی از مهم‌ترین این سوگیری‌ها، سوگیری جنسیتی است که می‌تواند به تبعیض و نابرابری جنسیتی در جامعه دامن بزند.

مقاله “بررسی سوگیری ترکیبی جنسیت-ارشدیت در تولید زبان طبیعی” به بررسی این موضوع می‌پردازد که چگونه سوگیری جنسیتی در مدل‌های تولید زبان طبیعی، با سوگیری‌های دیگری مانند سوگیری ارشدیت ترکیب شده و تشدید می‌شود. این مقاله نشان می‌دهد که چگونه زنان، حتی در موقعیت‌های شغلی یکسان با مردان، به طور ناخودآگاه به عنوان افراد کم‌تجربه‌تر و پایین‌تر در سلسله مراتب سازمانی تلقی می‌شوند.

این مقاله توسط گروهی از محققان به رهبری Samhita Honnavalli, Aesha Parekh, Lily Ou, Sophie Groenwold, Sharon Levy, Vicente Ordonez و William Yang Wang در زمینه پردازش زبان طبیعی و سوگیری‌های موجود در مدل‌های هوش مصنوعی نگارش شده است. تخصص این محققان در زمینه‌های مختلفی از جمله مدل‌سازی زبان، تحلیل سوگیری و اخلاق در هوش مصنوعی است و این تخصص‌ها در کنار هم، به آن‌ها این امکان را داده است تا یک بررسی جامع و دقیق از سوگیری ترکیبی جنسیت-ارشدیت در تولید زبان طبیعی ارائه دهند.

چکیده مقاله به این صورت است: زنان اغلب به عنوان افراد کم‌تجربه‌تر و پایین‌تر از همتایان مرد خود تلقی می‌شوند، حتی اگر در موقعیت‌های شغلی یکسانی قرار داشته باشند. در حالی که پیشرفت‌های قابل توجهی در ارزیابی سوگیری جنسیتی در پردازش زبان طبیعی (NLP) صورت گرفته است، مطالعات موجود به ندرت بررسی می‌کنند که چگونه سوگیری‌ها نسبت به گروه‌های جنسیتی زمانی که با سوگیری‌های اجتماعی دیگر ترکیب می‌شوند، تغییر می‌کنند. در این مقاله، ما بررسی می‌کنیم که چگونه ارشدیت بر میزان سوگیری جنسیتی نشان داده شده در مدل‌های تولید عصبی از پیش آموزش‌دیده تأثیر می‌گذارد. بدین منظور، یک چارچوب جدید برای بررسی سوگیری ترکیبی ارائه می‌دهیم. ما یک مجموعه داده بنچمارک برای تست استحکام در دو حوزه (سناتوری ایالات متحده و استادی دانشگاه) ایجاد کرده‌ایم که با استفاده از یک روش نظارت از راه دور ایجاد شده است. مجموعه داده ما شامل متن‌های نوشته‌شده توسط انسان با حقیقت اصلی زمینه‌ای و مثال‌های متضاد جفت‌شده است. سپس، پیچیدگی GPT-2 و فراوانی زبان جنسیتی در متن تولید شده را بررسی می‌کنیم. نتایج ما نشان می‌دهد که GPT-2 با در نظر گرفتن زنان به عنوان افراد کم‌تجربه‌تر و مردان به عنوان افراد باتجربه‌تر، سوگیری را تقویت می‌کند. این نتایج نشان می‌دهد که برنامه‌های کاربردی NLP ساخته شده با استفاده از GPT-2 ممکن است به زنان در مشاغل حرفه‌ای آسیب برسانند.

به طور خلاصه، این مقاله به این موضوع می‌پردازد که مدل‌های تولید زبان طبیعی مانند GPT-2 چگونه می‌توانند سوگیری‌های جنسیتی را تقویت کنند، به ویژه زمانی که این سوگیری‌ها با سوگیری‌های دیگری مانند سوگیری ارشدیت ترکیب می‌شوند. محققان برای بررسی این موضوع، یک مجموعه داده جدید ایجاد کرده‌اند که شامل متن‌های واقعی و مثال‌های متضاد است و با استفاده از این مجموعه داده، نشان داده‌اند که GPT-2 تمایل دارد زنان را به عنوان افراد کم‌تجربه‌تر و مردان را به عنوان افراد باتجربه‌تر در نظر بگیرد.

روش‌شناسی تحقیق در این مقاله شامل چند مرحله کلیدی است:

• ایجاد مجموعه داده بنچمارک: محققان یک مجموعه داده جدید ایجاد کرده‌اند که شامل متن‌های واقعی در دو حوزه (سناتوری ایالات متحده و استادی دانشگاه) است. این مجموعه داده شامل متن‌هایی است که توسط انسان نوشته شده‌اند و حاوی اطلاعاتی در مورد جنسیت و ارشدیت افراد هستند.
• ایجاد مثال‌های متضاد: برای هر متن در مجموعه داده، محققان یک مثال متضاد ایجاد کرده‌اند که در آن جنسیت فرد تغییر کرده است. به عنوان مثال، اگر یک متن در مورد یک سناتور زن باشد، مثال متضاد آن در مورد یک سناتور مرد خواهد بود.
• ارزیابی مدل GPT-2: محققان از مدل GPT-2 برای تولید متن بر اساس اطلاعات موجود در مجموعه داده استفاده کرده‌اند. سپس، آن‌ها پیچیدگی (perplexity) متن تولید شده و فراوانی زبان جنسیتی را در آن اندازه‌گیری کرده‌اند. پیچیدگی یک معیار آماری است که نشان می‌دهد مدل چقدر در پیش‌بینی توالی کلمات در یک متن موفق است.
• تحلیل نتایج: محققان نتایج حاصل از ارزیابی GPT-2 را تحلیل کرده‌اند تا مشخص کنند که آیا این مدل سوگیری جنسیتی دارد یا خیر و این سوگیری چگونه با سوگیری ارشدیت ترکیب می‌شود.

به طور خاص، محققان از روشی به نام نظارت از راه دور برای ایجاد مجموعه داده خود استفاده کرده‌اند. این روش به آن‌ها اجازه می‌دهد تا به طور خودکار داده‌های آموزشی را جمع‌آوری کنند، بدون اینکه نیاز باشد به صورت دستی آن‌ها را برچسب‌گذاری کنند.

یافته‌های کلیدی این تحقیق به شرح زیر است:

• GPT-2 سوگیری جنسیتی دارد: نتایج نشان می‌دهد که GPT-2 تمایل دارد زنان را به عنوان افراد کم‌تجربه‌تر و مردان را به عنوان افراد باتجربه‌تر در نظر بگیرد. این سوگیری در هر دو حوزه (سناتوری ایالات متحده و استادی دانشگاه) مشاهده شده است.
• سوگیری ارشدیت، سوگیری جنسیتی را تشدید می‌کند: زمانی که اطلاعات مربوط به ارشدیت در متن وجود داشته باشد، سوگیری جنسیتی در GPT-2 تشدید می‌شود. به عبارت دیگر، GPT-2 احتمال بیشتری دارد که زنان را به عنوان افراد کم‌تجربه‌تر در نظر بگیرد اگر متن به ارشدیت آن‌ها اشاره نکند.
• GPT-2 می‌تواند سوگیری‌ها را تقویت کند: نتایج نشان می‌دهد که GPT-2 نه تنها سوگیری‌های موجود در داده‌های آموزشی را بازتولید می‌کند، بلکه آن‌ها را تقویت نیز می‌کند. این بدان معناست که استفاده از GPT-2 می‌تواند به تبعیض و نابرابری جنسیتی در جامعه دامن بزند.

برای مثال، در یک آزمایش، محققان از GPT-2 خواستند که یک بیوگرافی کوتاه برای یک استاد دانشگاه زن و یک استاد دانشگاه مرد بنویسد. GPT-2 به طور متوسط، بیوگرافی استاد دانشگاه مرد را طولانی‌تر و با جزئیات بیشتری نوشت و در آن به دستاوردها و افتخارات بیشتری اشاره کرد. این در حالی است که در بیوگرافی استاد دانشگاه زن، تمرکز بیشتر بر روی جنبه‌های شخصی و خانوادگی او بود.

این تحقیق دارای کاربردها و دستاوردهای متعددی است:

• آگاهی‌بخشی در مورد سوگیری‌های موجود در مدل‌های هوش مصنوعی: این مقاله به افزایش آگاهی در مورد سوگیری‌های موجود در مدل‌های تولید زبان طبیعی کمک می‌کند و نشان می‌دهد که این مدل‌ها می‌توانند به تبعیض و نابرابری جنسیتی دامن بزنند.
• ارائه یک چارچوب جدید برای بررسی سوگیری ترکیبی: محققان یک چارچوب جدید برای بررسی سوگیری ترکیبی ارائه کرده‌اند که می‌تواند در تحقیقات آینده مورد استفاده قرار گیرد.
• ایجاد یک مجموعه داده بنچمارک: مجموعه داده‌ای که در این تحقیق ایجاد شده است، می‌تواند به عنوان یک بنچمارک برای ارزیابی سوگیری در مدل‌های تولید زبان طبیعی مورد استفاده قرار گیرد.
• توسعه روش‌های جدید برای کاهش سوگیری: یافته‌های این تحقیق می‌تواند به توسعه روش‌های جدید برای کاهش سوگیری در مدل‌های تولید زبان طبیعی کمک کند.

به عنوان مثال، نتایج این تحقیق می‌تواند به توسعه‌دهندگان مدل‌های هوش مصنوعی کمک کند تا داده‌های آموزشی خود را با دقت بیشتری انتخاب کنند و از الگوریتم‌های کاهش سوگیری استفاده کنند. همچنین، این نتایج می‌تواند به کاربران این مدل‌ها کمک کند تا با آگاهی بیشتری از آن‌ها استفاده کنند و از بازتولید سوگیری‌ها جلوگیری کنند.

مقاله “بررسی سوگیری ترکیبی جنسیت-ارشدیت در تولید زبان طبیعی” نشان می‌دهد که سوگیری جنسیتی در مدل‌های تولید زبان طبیعی یک مشکل جدی است و می‌تواند به تبعیض و نابرابری جنسیتی در جامعه دامن بزند. این مقاله همچنین نشان می‌دهد که سوگیری ارشدیت می‌تواند سوگیری جنسیتی را تشدید کند.

با توجه به اهمیت روزافزون هوش مصنوعی در زندگی ما، ضروری است که به این سوگیری‌ها توجه کنیم و برای کاهش آن‌ها تلاش کنیم. این امر مستلزم همکاری بین محققان، توسعه‌دهندگان و کاربران مدل‌های هوش مصنوعی است. با تلاش مشترک می‌توانیم اطمینان حاصل کنیم که هوش مصنوعی به ابزاری برای برابری و عدالت تبدیل می‌شود، نه ابزاری برای تبعیض و نابرابری. به طور خلاصه، این مقاله یک گام مهم در جهت درک و مقابله با سوگیری‌های موجود در مدل‌های هوش مصنوعی است و می‌تواند به توسعه سیستم‌های هوش مصنوعی منصفانه‌تر و عادلانه‌تر کمک کند.