پدیده نفرت‌پراکنی آنلاین به یک چالش جدی در جوامع امروزی تبدیل شده است. گسترش شبکه‌های اجتماعی و سهولت انتشار اطلاعات، متاسفانه بستری را نیز برای ترویج و اشاعه این نوع گفتار فراهم کرده است. مقابله با نفرت‌پراکنی مستلزم درک عمیق ابعاد مختلف آن، از جمله شناسایی الگوهای رایج، گروه‌های هدف و عوامل موثر در شکل‌گیری آن است. مقاله حاضر با عنوان “تحلیل داده‌های نفرت‌پراکنی بر اساس محورهای نژادی، جنسیتی و تقاطعی” به بررسی این موضوع پرداخته و سعی دارد تا با تحلیل داده‌های موجود، سوگیری‌های موجود در این زمینه را آشکار سازد.

این مقاله توسط Antonis Maronikolakis، Philip Baader و Hinrich Schütze نگاشته شده است. نویسندگان در زمینه‌های مرتبط با پردازش زبان طبیعی (NLP)، یادگیری ماشین (Machine Learning) و هوش مصنوعی (Artificial Intelligence) فعالیت دارند. تمرکز اصلی تحقیق بر روی بررسی سوگیری‌ها و تبعیض‌های موجود در مجموعه داده‌های مورد استفاده برای شناسایی و مقابله با نفرت‌پراکنی است. با توجه به اینکه مدل‌های هوش مصنوعی به طور فزاینده‌ای برای تشخیص و حذف محتوای نامناسب به کار گرفته می‌شوند، شناسایی و رفع سوگیری‌های موجود در داده‌های آموزشی از اهمیت بسزایی برخوردار است.

مقاله حاضر به بررسی سوگیری‌ها در مجموعه داده‌های نفرت‌پراکنی بر اساس محورهای نژادی، جنسیتی و تقاطعی می‌پردازد. در حالی که تحقیقات قبلی بیشتر بر روی سوگیری‌های نژادی متمرکز بوده‌اند، این مقاله به طور خاص به بررسی سوگیری‌های جنسیتی و همچنین سوگیری‌های تقاطعی (ترکیب نژاد و جنسیت) می‌پردازد. یافته‌های این تحقیق نشان می‌دهد که در مجموعه داده‌های مورد بررسی، سوگیری‌های قابل توجهی علیه زبان انگلیسی آفریقایی-آمریکایی (AAE)، توییت‌های مردانه (Masculine) و ترکیبی از AAE و توییت‌های مردانه وجود دارد. به عبارت دیگر، این نوع توییت‌ها به طور نامتناسبی به عنوان نفرت‌انگیز و توهین‌آمیز برچسب‌گذاری شده‌اند. همچنین، مقاله نشان می‌دهد که مدل‌های مبتنی بر BERT (Bidirectional Encoder Representations from Transformers) این سوگیری‌ها را تقویت می‌کنند. در نهایت، نویسندگان نشان می‌دهند که متعادل‌سازی داده‌های آموزشی برای این ویژگی‌های محافظت‌شده می‌تواند منجر به مدل‌های عادلانه‌تر در رابطه با جنسیت شود، اما در مورد نژاد تاثیر چندانی ندارد.

روش‌شناسی این تحقیق شامل چندین مرحله کلیدی است:

• جمع‌آوری و آماده‌سازی داده‌ها: نویسندگان از مجموعه داده‌های موجود نفرت‌پراکنی استفاده کرده‌اند. این مجموعه‌ها شامل توییت‌هایی هستند که توسط متخصصان به عنوان نفرت‌انگیز، توهین‌آمیز یا بی‌طرف برچسب‌گذاری شده‌اند.
• شناسایی و استخراج ویژگی‌ها: ویژگی‌های نژادی و جنسیتی توییت‌ها استخراج شده است. برای شناسایی AAE، از روش‌های مبتنی بر شناسایی الگوهای زبانی خاص استفاده شده است. برای تشخیص توییت‌های مردانه، از تحلیل محتوای لغوی و موضوعی توییت‌ها استفاده شده است.
• تحلیل سوگیری‌ها: برای تحلیل سوگیری‌ها، از معیارهای مختلفی استفاده شده است، از جمله مقایسه نرخ برچسب‌گذاری توییت‌های گروه‌های مختلف به عنوان نفرت‌انگیز یا توهین‌آمیز. به عنوان مثال، مقایسه نرخ برچسب‌گذاری توییت‌های AAE با توییت‌های انگلیسی استاندارد.
• آموزش مدل‌های یادگیری ماشین: مدل‌های مبتنی بر BERT برای طبقه‌بندی توییت‌ها به عنوان نفرت‌انگیز یا غیر نفرت‌انگیز آموزش داده شده‌اند. عملکرد این مدل‌ها بر روی گروه‌های مختلف ارزیابی شده است تا میزان سوگیری آنها مشخص شود.
• متعادل‌سازی داده‌ها: برای کاهش سوگیری‌ها، داده‌های آموزشی به گونه‌ای متعادل شده‌اند که تعداد توییت‌های هر گروه (به عنوان مثال، توییت‌های AAE و توییت‌های انگلیسی استاندارد) برابر شود. سپس مدل‌ها مجدداً آموزش داده شده‌اند تا تاثیر متعادل‌سازی بر عملکرد و سوگیری مدل‌ها بررسی شود.

به عنوان مثال، فرض کنید در مجموعه داده‌ای، 20% از توییت‌های AAE به عنوان نفرت‌انگیز برچسب‌گذاری شده‌اند، در حالی که تنها 5% از توییت‌های انگلیسی استاندارد این برچسب را دریافت کرده‌اند. این نشان‌دهنده یک سوگیری احتمالی علیه AAE است.

یافته‌های کلیدی این تحقیق به شرح زیر است:

• سوگیری قابل توجه علیه AAE: توییت‌های AAE به طور قابل توجهی بیشتر از توییت‌های انگلیسی استاندارد به عنوان نفرت‌انگیز و توهین‌آمیز برچسب‌گذاری شده‌اند.
• سوگیری علیه توییت‌های مردانه: توییت‌هایی که محتوای آنها به عنوان مردانه شناسایی شده است، بیشتر از توییت‌های غیر مردانه به عنوان نفرت‌انگیز برچسب‌گذاری شده‌اند.
• سوگیری تقاطعی: سوگیری علیه توییت‌های AAE و مردانه به طور همزمان بسیار قوی‌تر است. این نشان می‌دهد که ترکیب این دو ویژگی باعث افزایش احتمال برچسب‌گذاری توییت به عنوان نفرت‌انگیز می‌شود.
• تقویت سوگیری توسط مدل‌های BERT: مدل‌های مبتنی بر BERT این سوگیری‌ها را تقویت می‌کنند. به عبارت دیگر، این مدل‌ها بیشتر احتمال دارد که توییت‌های AAE و مردانه را به عنوان نفرت‌انگیز طبقه‌بندی کنند.
• تاثیر محدود متعادل‌سازی داده‌ها: متعادل‌سازی داده‌های آموزشی می‌تواند منجر به مدل‌های عادلانه‌تر در رابطه با جنسیت شود، اما در مورد نژاد تاثیر چندانی ندارد. این نشان می‌دهد که سوگیری‌های نژادی عمیق‌تر و پیچیده‌تر از سوگیری‌های جنسیتی هستند و نیاز به روش‌های پیشرفته‌تری برای مقابله با آنها وجود دارد.

به عنوان مثال، یک توییت حاوی اصطلاحات عامیانه که در AAE رایج است، ممکن است به اشتباه به عنوان نفرت‌انگیز تشخیص داده شود، در حالی که یک توییت مشابه با همان محتوا در انگلیسی استاندارد ممکن است به عنوان بی‌طرف طبقه‌بندی شود.

این تحقیق دارای کاربردها و دستاوردهای مهمی است:

• آگاه‌سازی از سوگیری‌های موجود: این تحقیق به آگاه‌سازی از سوگیری‌های موجود در مجموعه داده‌های نفرت‌پراکنی کمک می‌کند. این آگاهی برای محققان و توسعه‌دهندگان مدل‌های هوش مصنوعی ضروری است تا بتوانند مدل‌هایی عادلانه‌تر و دقیق‌تر طراحی کنند.
• بهبود عملکرد مدل‌های هوش مصنوعی: با شناسایی و رفع سوگیری‌های موجود، می‌توان عملکرد مدل‌های هوش مصنوعی را در شناسایی و مقابله با نفرت‌پراکنی بهبود بخشید. این امر به کاهش انتشار محتوای نامناسب و حفظ فضای آنلاین سالم‌تر کمک می‌کند.
• توسعه روش‌های عادلانه‌تر: این تحقیق می‌تواند به توسعه روش‌های عادلانه‌تر برای جمع‌آوری داده‌ها، آموزش مدل‌ها و ارزیابی عملکرد آنها منجر شود.
• تاثیرگذاری بر سیاست‌گذاری: یافته‌های این تحقیق می‌تواند بر سیاست‌گذاری‌های مربوط به مقابله با نفرت‌پراکنی آنلاین تاثیر بگذارد. با درک عمیق‌تر ابعاد مختلف این پدیده، می‌توان سیاست‌هایی موثرتر و عادلانه‌تر تدوین کرد.

برای مثال، شرکت‌های شبکه‌های اجتماعی می‌توانند از یافته‌های این تحقیق برای ارزیابی و بهبود الگوریتم‌های خود استفاده کنند تا از برچسب‌گذاری نادرست توییت‌های AAE به عنوان نفرت‌انگیز جلوگیری کنند.

مقاله “تحلیل داده‌های نفرت‌پراکنی بر اساس محورهای نژادی، جنسیتی و تقاطعی” سهم ارزشمندی در درک بهتر سوگیری‌های موجود در مجموعه داده‌های نفرت‌پراکنی دارد. این تحقیق نشان می‌دهد که سوگیری‌های قابل توجهی علیه AAE، توییت‌های مردانه و ترکیبی از AAE و توییت‌های مردانه وجود دارد و مدل‌های مبتنی بر BERT این سوگیری‌ها را تقویت می‌کنند. اگرچه متعادل‌سازی داده‌ها می‌تواند تا حدی موثر باشد، اما برای مقابله با سوگیری‌های عمیق‌تر نیاز به روش‌های پیشرفته‌تری وجود دارد. یافته‌های این تحقیق می‌تواند به توسعه مدل‌های هوش مصنوعی عادلانه‌تر و موثرتر برای مقابله با نفرت‌پراکنی آنلاین کمک کند. در نهایت، مقابله با نفرت پراکنی نیازمند رویکردی جامع و چند وجهی است که شامل آموزش، آگاه‌سازی و استفاده از فناوری‌های مناسب می‌شود. این مقاله گامی مهم در جهت رسیدن به این هدف است.