پیشرفت‌های چشمگیر در حوزه پردازش زبان طبیعی (NLP) در سال‌های اخیر، ابزارهای قدرتمندی را برای ایجاد سازگاری و شخصی‌سازی در کاربردهای آموزشی فراهم کرده است. از سیستم‌های پیشنهاد محتوا گرفته تا ابزارهای ارزیابی خودکار، NLP قابلیت‌های جدیدی را به عرصه آموزش وارد کرده است. با این حال، همزمان با گسترش استفاده از این فناوری‌ها، نگرانی‌ها در مورد سوگیری‌های موجود در مدل‌های زبانی پیش‌آموزش‌دیده (Pre-trained Language Models) نیز افزایش یافته است. این سوگیری‌ها می‌توانند بازتاب‌دهنده نابرابری‌ها و کلیشه‌های موجود در جامعه باشند و در صورت عدم مدیریت صحیح، پیامدهای ناخواسته‌ای در سیستم‌های آموزشی ایجاد کنند.

مقاله پیش رو، با عنوان “Bias at a Second Glance: A Deep Dive into Bias for German Educational Peer-Review Data Modeling”، با هدف بررسی دقیق و موشکافانه سوگیری‌های موجود در داده‌های بازبینی همتای آموزشی به زبان آلمانی، گامی مهم در جهت ارتقاء عدالت و کیفیت در محیط‌های آموزشی دیجیتال برمی‌دارد. این پژوهش به طور ویژه بر روی تحلیل سوگیری در سطح جزئی (fine-grained analysis) در مجموعه داده‌های آموزشی و چندزبانه تمرکز دارد، حوزه‌ای که تحقیقات پیشین کمتر به آن پرداخته‌اند.

این پژوهش توسط تیمی از محققان برجسته شامل Thiemo Wambsganss، Vinitra Swamy، Roman Rietsche و Tanja Käser به انجام رسیده است. نام نویسندگان خود گویای تخصص آن‌ها در حوزه‌های علوم کامپیوتر، زبان‌شناسی محاسباتی و یادگیری ماشين است.

زمینه اصلی تحقیق در تقاطع سه حوزه کلیدی قرار دارد:

• پردازش زبان طبیعی (NLP): تمرکز بر استفاده از تکنیک‌های NLP برای تحلیل و درک متن.
• هوش مصنوعی و یادگیری ماشین: به‌کارگیری مدل‌های یادگیری ماشین، به‌ویژه مدل‌های زبانی پیش‌آموزش‌دیده، برای تحلیل داده‌ها.
• آموزش و یادگیری: بررسی داده‌های آموزشی و پیامدهای سوگیری در این محیط‌ها، با هدف تحقق هدف چهارم توسعه پایدار سازمان ملل متحد (کیفیت آموزش).

این مطالعه به طور خاص به داده‌های بازبینی همتای (peer-review) دانشجویان دانشگاهی در آلمان می‌پردازد، که حاوی اطلاعات ارزشمندی در مورد کیفیت، مفید بودن و جنبه‌های انتقادی ارائه شده توسط دانشجویان است.

پردازش زبان طبیعی (NLP) به طور فزاینده‌ای برای ایجاد سازگاری در برنامه‌های آموزشی مورد استفاده قرار می‌گیرد. با این حال، تحقیقات اخیر تنوع سوگیری‌ها را در مدل‌های زبانی پیش‌آموزش‌دیده برجسته کرده‌اند. در حالی که مطالعات موجود سوگیری را در دامنه‌های مختلف بررسی می‌کنند، آنها در پرداختن به تحلیل جزئی در مجموعه داده‌های آموزشی و چندزبانه محدود هستند. در این کار، ما سوگیری را در متن و از طریق چندین معماری بر روی مجموعه‌ای متشکل از ۹,۱۶۵ بازبینی همتای آلمانی که از دانشجویان دانشگاهی در طول پنج سال جمع‌آوری شده است، تحلیل می‌کنیم. قابل ذکر است که مجموعه داده ما شامل برچسب‌هایی مانند میزان مفید بودن، کیفیت و امتیاز جنبه‌های انتقادی از سوی دریافت‌کننده بازبینی همتای، و همچنین ویژگی‌های جمعیتی است. ما یک تحلیل از آزمون وابستگی جاسازی کلمات (Word Embedding Association Test – WEAT) را بر روی (۱) مجموعه داده جمع‌آوری شده ما در ارتباط با برچسب‌های خوشه‌بندی شده، (۲) رایج‌ترین مدل‌های زبانی آلمانی پیش‌آموزش‌دیده (T5، BERT و GPT-2) و جاسازی‌های GloVe، و (۳) مدل‌های زبانی پس از تنظیم دقیق (fine-tuning) بر روی مجموعه داده جمع‌آوری شده انجام می‌دهیم. در تضاد با انتظارات اولیه ما، دریافتیم که مجموعه داده جمع‌آوری شده ما سوگیری‌های زیادی را در تحلیل هم‌رخدادی (co-occurrence analysis) یا در جاسازی‌های GloVe آشکار نمی‌کند. با این حال، مدل‌های زبانی آلمانی پیش‌آموزش‌دیده سوگیری‌های قابل توجه مفهومی، نژادی و جنسیتی را پیدا می‌کنند و تغییرات قابل‌توجهی در سوگیری در محورهای مفهومی و نژادی در طول تنظیم دقیق بر روی داده‌های بازبینی همتای دارند. با تحقیق خود، ما با ارائه یک مجموعه داده جدید، درک سوگیری‌ها در داده‌های آموزشی زبان طبیعی، و آسیب‌های بالقوه عدم مقابله با سوگیری‌ها در مدل‌های زبانی برای وظایف آموزشی، به هدف چهارم توسعه پایدار سازمان ملل (کیفیت آموزش) کمک می‌کنیم.

محققان در این مطالعه با استفاده از رویکردی چندوجهی، به بررسی سوگیری در داده‌های بازبینی همتای آلمانی پرداخته‌اند. روش‌شناسی تحقیق بر پایه‌های زیر استوار است:

• گردآوری و آماده‌سازی داده‌ها: هسته اصلی این پژوهش، یک مجموعه داده منحصر به فرد شامل۹,۱۶۵ بازبینی همتای آلمانی است که طی پنج سال توسط دانشجویان دانشگاهی جمع‌آوری شده است. این داده‌ها حاوی اطلاعات غنی از جمله ارزیابی‌های دریافت‌کنندگان بازبینی (مانند میزان مفید بودن، کیفیت، و جنبه‌های انتقادی) و همچنین ویژگی‌های جمعیتی (که به صورت ناشناس جمع‌آوری شده‌اند) می‌باشند.
• آزمون وابستگی جاسازی کلمات (WEAT): برای سنجش سوگیری‌ها، محققان از آزمون WEAT استفاده کرده‌اند. این آزمون به طور گسترده‌ای برای شناسایی سوگیری‌های ضمنی در مدل‌های زبانی و جاسازی‌های کلمات به کار می‌رود. WEAT با اندازه‌گیری میزان وابستگی بین مجموعه‌ای از کلمات هدف (مانند مفاهیم جنسیتی، نژادی، یا حوزه‌های تخصصی) و مجموعه‌ای از کلمات نسبتی (مانند صفات مثبت یا منفی) عمل می‌کند.
• سه حوزه تحلیل WEAT: این آزمون بر روی سه بخش اصلی اعمال شده است:
  • مجموعه داده بازبینی همتای جمع‌آوری شده: در این مرحله، سوگیری‌های موجود در خود متن بازبینی‌ها و ارتباط آن‌ها با برچسب‌های مرتبط (کیفیت، مفید بودن و غیره) تحلیل شده است.
  • مدل‌های زبانی آلمانی پیش‌آموزش‌دیده: از سه مدل زبانی رایج آلمانی شامل T5، BERT و GPT-2، به همراه جاسازی‌های GloVe (که به طور عمومی در دسترس هستند) برای ارزیابی سوگیری‌های ذاتی آن‌ها استفاده شده است.
  • مدل‌های زبانی پس از تنظیم دقیق (Fine-tuning): این بخش از تحقیق، به بررسی چگونگی تغییر و تحول سوگیری‌ها پس از آموزش مدل‌های زبانی پیش‌آموزش‌دیده بر روی مجموعه داده بازبینی همتای آلمانی می‌پردازد. این مرحله برای درک تأثیر داده‌های آموزشی خاص بر رفتار مدل‌ها حیاتی است.

این رویکرد جامع به محققان اجازه می‌دهد تا نه تنها سوگیری‌های موجود در داده‌های خام، بلکه چگونگی تأثیرگذاری این داده‌ها بر مدل‌های زبانی را نیز بررسی کنند.

یافته‌های این پژوهش، برخی از پیش‌فرض‌های اولیه را به چالش کشیده و نکات قابل تاملی را آشکار ساخته است:

• سوگیری اندک در داده‌های بازبینی همتای: برخلاف انتظار اولیه، مجموعه داده جمع‌آوری شده از بازبینی‌های همتای آلمانی، سوگیری‌های قابل توجهی را در تحلیل هم‌رخدادی یا در جاسازی‌های GloVe نشان نداده است. این یافته می‌تواند نشان‌دهنده کیفیت نسبتاً بالای این داده‌ها از منظر سوگیری‌های آشکار یا ضمنی باشد، یا اینکه سوگیری‌ها به گونه‌ای توزیع شده‌اند که با روش‌های تحلیلی مورد استفاده، به راحتی قابل شناسایی نیستند.
• سوگیری چشمگیر در مدل‌های زبانی پیش‌آموزش‌دیده: اما زمانی که نوبت به مدل‌های زبانی آلمانی پیش‌آموزش‌دیده (مانند T5، BERT و GPT-2) می‌رسد، نتایج کاملاً متفاوت است. این مدل‌ها سوگیری‌های مفهومی، نژادی و جنسیتی قابل توجهی را از خود نشان می‌دهند. این بدان معناست که این مدل‌ها، قبل از هرگونه تنظیم دقیق، کلیشه‌ها و پیش‌داوری‌های موجود در داده‌های آموزشی گسترده‌تر خود را جذب کرده‌اند.
• تغییر سوگیری‌ها پس از تنظیم دقیق: یکی از مهم‌ترین یافته‌ها، تغییرات چشمگیر در سوگیری‌ها (به ویژه در محورهای مفهومی و نژادی) پس از تنظیم دقیق مدل‌ها بر روی مجموعه داده بازبینی همتای است. این نتایج نشان می‌دهد که چگونه داده‌های آموزشی خاص می‌توانند بر رفتار مدل‌های زبانی تأثیر بگذارند. در برخی موارد، تنظیم دقیق ممکن است سوگیری‌ها را تشدید کند و در موارد دیگر، شاید بتواند به کاهش آن‌ها کمک کند (هرچند در این مطالعه، تغییرات بیشتر به سمت حفظ یا تشدید سوگیری‌ها بوده است).
• مثال عملی: تصور کنید یک مدل زبانی برای ارزیابی متون دانشجویی در مورد موضوعات علمی استفاده می‌شود. اگر مدل زبانی به دلیل آموزش بر روی داده‌های کلیشه‌دار، بین متن نوشته شده توسط یک دانشجوی مرد و یک دانشجوی زن در مورد یک موضوع فنی، تفاوت سوگیری‌دار قائل شود، این می‌تواند منجر به ارزیابی ناعادلانه شود. یافته‌های این مقاله نشان می‌دهند که چنین سناریوهایی، به ویژه در مورد مفاهیم و نژاد، حتی پس از آموزش بر روی داده‌های آموزشی خاص، همچنان محتمل است.

این پژوهش دستاوردهای علمی و کاربردی متعددی دارد که به ارتقاء کیفیت و عدالت در آموزش کمک می‌کند:

• مجموعه داده جدید: این مطالعه یک مجموعه داده ارزشمند و منحصربه‌فرد از بازبینی‌های همتای آموزشی به زبان آلمانی را معرفی می‌کند. این مجموعه داده می‌تواند به عنوان یک منبع تحقیقاتی برای مطالعات آتی در زمینه تحلیل سوگیری در داده‌های آموزشی مورد استفاده قرار گیرد.
• درک عمیق‌تر از سوگیری: پژوهش حاضر، درک ما را از نحوه بروز و انتشار سوگیری‌ها در مدل‌های زبانی، به ویژه در زمینه آموزشی و برای زبان آلمانی، تعمیق می‌بخشد. این یافته‌ها به محققان و توسعه‌دهندگان کمک می‌کند تا نسبت به پتانسیل سوگیری در مدل‌های خود آگاه‌تر باشند.
• کمک به هدف چهارم توسعه پایدار سازمان ملل: این تحقیق مستقیماً به هدف چهارم سازمان ملل متحد، یعنی “تضمین آموزش با کیفیت، فراگیر و عادلانه برای همه”، کمک می‌کند. با شناسایی و درک سوگیری‌ها، می‌توان گام‌هایی برای مقابله با آن‌ها برداشت و اطمینان حاصل کرد که فناوری‌های آموزشی به جای تقویت نابرابری‌ها، به توسعه فرصت‌های برابر کمک می‌کنند.
• پیامدهای بالقوه عدم مقابله با سوگیری: این مقاله هشدار می‌دهد که عدم رسیدگی به سوگیری‌ها در مدل‌های زبانی که در وظایف آموزشی استفاده می‌شوند، می‌تواند منجر به آسیب‌های جدی شود. این آسیب‌ها می‌توانند شامل ارزیابی‌های ناعادلانه، ارائه محتوای نامناسب، یا حتی تقویت کلیشه‌ها و تبعیض در میان دانشجویان باشند.
• توسعه ابزارهای منصفانه‌تر: یافته‌های این پژوهش می‌تواند راهنمایی برای توسعه‌دهندگان باشد تا مدل‌های زبانی منصفانه‌تر و کم‌سوگیری‌تری برای کاربردهای آموزشی ایجاد کنند. این امر مستلزم انتخاب دقیق‌تر داده‌های آموزشی، طراحی معماری‌های مدل مقاوم در برابر سوگیری، و توسعه روش‌های مؤثر برای شناسایی و کاهش سوگیری‌ها در طول فرآیند آموزش و پس از آن است.

مقاله “نگاهی عمیق به سوگیری در مدل‌سازی داده‌های بازبینی همتای آموزشی آلمانی” نشان می‌دهد که در حالی که ممکن است مجموعه داده‌های آموزشی خاص، مانند بازبینی‌های همتای آلمانی، در نگاه اول سوگیری‌های آشکاری نداشته باشند، مدل‌های زبانی پیش‌آموزش‌دیده، که بر روی حجم عظیمی از داده‌های عمومی آموزش دیده‌اند، عمیقاً با سوگیری‌های مفهومی، نژادی و جنسیتی آلوده هستند.

مهم‌تر از آن، این پژوهش تأکید می‌کند که فرآیند “تنظیم دقیق” مدل‌ها بر روی داده‌های آموزشی خاص، لزوماً سوگیری‌ها را از بین نمی‌برد، بلکه می‌تواند منجر به تغییرات پیچیده‌ای در نحوه بروز این سوگیری‌ها شود. این یافته‌ها مسؤولیت سنگینی را بر دوش محققان، مهندسان و سیاست‌گذاران در حوزه هوش مصنوعی و آموزش می‌گذارد تا در مورد استفاده از این فناوری‌ها هوشیار باشند و فعالانه برای ایجاد سیستم‌های آموزشی منصفانه و فراگیر تلاش کنند.

در نهایت، این تحقیق نه تنها یک دانش جدید را به حوزه سوگیری در مدل‌های زبانی آموزشی اضافه می‌کند، بلکه با ارائه یک مجموعه داده ارزشمند و هشدار در مورد پیامدهای بالقوه، راه را برای تحقیقات آتی و توسعه فناوری‌هایی هموار می‌سازد که به واقع در خدمت کیفیت، برابری و دسترسی عادلانه به آموزش باشند.