۱. معرفی مقاله و اهمیت آن

در عصر حاضر، با رشد چشمگیر هوش مصنوعی، سامانه‌های نرم‌افزاری مبتنی بر یادگیری ماشین در ابعاد مختلف زندگی ما نفوذ کرده‌اند. یکی از این سامانه‌ها، سامانه‌های تحلیل احساسات (Sentiment Analysis – SA) هستند که توانایی درک و تفسیر احساسات انسانی از متون را دارند. این سامانه‌ها در کاربردهای وسیعی از جمله بازاریابی، خدمات مشتری و تحلیل شبکه‌های اجتماعی مورد استفاده قرار می‌گیرند. با این حال، همانند بسیاری از سیستم‌های هوش مصنوعی، سامانه‌های تحلیل احساسات نیز معمولاً از حجم عظیمی از داده‌ها برای آموزش استفاده می‌کنند که این داده‌ها اغلب بازتاب‌دهنده سوگیری‌های انسانی موجود در جامعه هستند. این سوگیری‌ها می‌توانند به مدل‌های یادگیری ماشین منتقل شده و منجر به پیش‌بینی‌های ناعادلانه یا تبعیض‌آمیز بر اساس ویژگی‌های جمعیتی خاص (مانند جنسیت، شغل، یا کشور مبدأ) شوند.

مقاله حاضر با عنوان “BiasFinder: تولید تست‌های دگردیس برای کشف سوگیری در سامانه‌های تحلیل احساسات” به بررسی و ارائه راهکاری نوین برای کشف این سوگیری‌ها می‌پردازد. اهمیت این تحقیق در آن است که نادیده گرفتن سوگیری‌ها در سامانه‌های هوش مصنوعی می‌تواند به نتایج غیرقابل اعتماد، ناعادلانه و حتی مضر منجر شود. روش‌های موجود برای کشف سوگیری اغلب بر تولید جملات از طریق تعداد محدودی از الگوهای کوتاه و از پیش تعریف شده تکیه دارند که این امر اثربخشی و جامعیت آنها را محدود می‌کند. BiasFinder با معرفی یک رویکرد مبتنی بر آزمون دگردیس (Metamorphic Testing) و تولید خودکار الگوهای متنوع، این محدودیت‌ها را برطرف کرده و گامی مهم در جهت توسعه سامانه‌های تحلیل احساسات عادلانه‌تر و قابل اعتمادتر برمی‌دارد.

۲. نویسندگان و زمینه تحقیق

این مقاله توسط تیمی از محققان برجسته شامل Muhammad Hilmi Asyrofi, Zhou Yang, Imam Nur Bani Yusuf, Hong Jin Kang, Ferdian Thung و David Lo نگارش یافته است. این نویسندگان از متخصصان شناخته‌شده در زمینه مهندسی نرم‌افزار، به ویژه در حوزه‌های مرتبط با کیفیت نرم‌افزار، آزمون‌گیری و اطمینان‌پذیری سیستم‌های هوش مصنوعی و یادگیری ماشین هستند.

زمینه اصلی این تحقیق، مهندسی نرم‌افزار (Software Engineering) است که به توسعه، نگهداری و ارزیابی سیستم‌های نرم‌افزاری می‌پردازد. با گسترش هوش مصنوعی، زیرشاخه‌ای جدید و حیاتی در این حوزه به نام مهندسی نرم‌افزار هوش مصنوعی (AI Software Engineering) پدیدار شده است. این زمینه بر چالش‌های منحصر به فردی تمرکز دارد که در توسعه سیستم‌های هوش مصنوعی، از جمله اطمینان از صحت، قابلیت اعتماد، امنیت و البته عدالت (Fairness)، مطرح می‌شوند. تحقیق حاضر مستقیماً به چالش عدالت در سیستم‌های هوش مصنوعی می‌پردازد. آنها با تکیه بر دانش خود در زمینه آزمون‌گیری نرم‌افزار، روشی نوآورانه برای کشف سوگیری‌های پنهان در سامانه‌های تحلیل احساسات ارائه کرده‌اند. این تلاش‌ها در راستای اهداف بزرگتر جامعه علمی برای توسعه هوش مصنوعی مسئولانه و اخلاقی قرار می‌گیرد.

۳. چکیده و خلاصه محتوا

سامانه‌های نرم‌افزاری هوش مصنوعی، از جمله سامانه‌های تحلیل احساسات، معمولاً از حجم زیادی داده برای یادگیری استفاده می‌کنند که ممکن است بازتاب‌دهنده سوگیری‌های انسانی باشند. در نتیجه، مدل‌های یادگیری ماشین در این سیستم‌ها ممکن است سوگیری‌های جمعیتی ناخواسته‌ای را بر اساس ویژگی‌های خاص (مانند جنسیت، شغل، کشور مبدأ و غیره) از خود نشان دهند. این سوگیری‌ها زمانی در یک سیستم تحلیل احساسات آشکار می‌شوند که سیستم برای متون مشابهی که تنها در ویژگی‌های فرد توصیف شده متفاوت هستند، احساسات متفاوتی را پیش‌بینی کند.

مطالعات موجود برای آشکارسازی سوگیری در سامانه‌های تحلیل احساسات، عمدتاً بر تولید جملات از مجموعه کوچکی از الگوهای کوتاه و از پیش تعریف شده متکی هستند. برای رفع این محدودیت، این مقاله رویکرد جدیدی به نام BiasFinder را معرفی می‌کند. BiasFinder از آزمون دگردیس (Metamorphic Testing) برای کشف پیش‌بینی‌های سوگیرانه در سامانه‌های تحلیل احساسات استفاده می‌کند. ویژگی کلیدی BiasFinder، گردآوری خودکار الگوهای مناسب بر اساس قطعات متنی از یک پیکره (corpus) بزرگ است. این کار با استفاده از تکنیک‌های مختلف پردازش زبان طبیعی (NLP) برای شناسایی کلماتی که ویژگی‌های جمعیتی را توصیف می‌کنند، انجام می‌شود. سپس، BiasFinder متون جدیدی را از این الگوها با پر کردن جایگاه‌های خالی با کلماتی مرتبط با یک طبقه از یک ویژگی خاص (مانند کلمات خاص جنسیت مانند نام‌های زنانه، “او”، “او را”) تولید می‌کند. این متون برای تشخیص سوگیری در سیستم تحلیل احساسات به کار می‌روند.

BiasFinder یک مورد آزمایشی آشکارکننده سوگیری را زمانی شناسایی می‌کند که سیستم تحلیل احساسات برای یک جفت متن، سوگیری جمعیتی نشان دهد؛ یعنی برای متونی که فقط در کلمات مرتبط با طبقه متفاوتی (مثلاً مرد در مقابل زن) از یک ویژگی هدف (مثلاً جنسیت) متفاوت هستند، احساسات متفاوتی را پیش‌بینی کند. ارزیابی تجربی نویسندگان نشان داد که BiasFinder می‌تواند به طور مؤثر تعداد بیشتری از موارد آزمایشی روان و متنوع را ایجاد کند که سوگیری‌های مختلفی را در یک سیستم تحلیل احساسات آشکار می‌سازند.

۴. روش‌شناسی تحقیق

روش‌شناسی پژوهش در BiasFinder بر پایه مفهوم آزمون دگردیس (Metamorphic Testing) استوار است. آزمون دگردیس یک تکنیک قدرتمند برای آزمون سیستم‌هایی است که تابع مرجع (oracle) آنها به راحتی قابل تعریف نیست؛ یعنی نمی‌توان به سادگی مشخص کرد که خروجی صحیح برای یک ورودی خاص چیست. در اینجا، اصل دگردیس (Metamorphic Relation) تعریف می‌کند که چگونه تغییر در ورودی باید بر خروجی تأثیر بگذارد. در مورد سامانه‌های تحلیل احساسات، انتظار می‌رود که تغییر کلمات مرتبط با یک ویژگی جمعیتی خاص، در حالی که معنی کلی و محتوای احساسی متن ثابت باقی می‌ماند، منجر به تغییر در پیش‌بینی احساسات نشود. اگر این اتفاق بیفتد، سوگیری تشخیص داده شده است.

فرآیند BiasFinder شامل دو مرحله اصلی است:

• الف) گردآوری خودکار الگوها (Automatic Template Curation)

  این مرحله نوآورانه، مشکل اصلی روش‌های پیشین را حل می‌کند که بر الگوهای محدود و دستی تکیه داشتند. در BiasFinder، الگوها به صورت خودکار از یک پیکره (corpus) بزرگ متنی استخراج می‌شوند. این فرآیند از تکنیک‌های پردازش زبان طبیعی (NLP) بهره می‌برد. به طور خاص:

  • ابتدا، کلماتی که ویژگی‌های جمعیتی (مانند gender, occupation, country-of-origin) را توصیف می‌کنند، شناسایی می‌شوند. این کلمات می‌توانند اسامی خاص (مانند “جان”، “مریم”)، ضمایر (“او”، “وی”)، القاب شغلی (“مهندس”، “پرستار”) یا نام کشورها باشند.
  • سپس، با تحلیل ساختار جملات حاوی این کلمات در پیکره، الگوهای گرامری استخراج می‌شوند. این الگوها شامل جایگاه‌های خالی (placeholders) برای ویژگی‌های جمعیتی و سایر بخش‌های جمله هستند. به عنوان مثال، از جمله “The [engineer] presented a brilliant idea” می‌توان الگویی مانند “The [OCCUPATION] presented a brilliant idea” استخراج کرد. یا از “She is a skilled [doctor]” الگوی “She is a skilled [OCCUPATION]” به دست می‌آید.
  • این روش تضمین می‌کند که الگوهای تولید شده روان (fluent) و طبیعی هستند و به خوبی با ساختار زبان تطابق دارند.

• ب) تولید متن و کشف سوگیری (Text Instantiation and Bias Detection)

  پس از گردآوری الگوها، BiasFinder اقدام به تولید متون جدید می‌کند تا سوگیری‌ها را آزمایش کند:

  • جایگاه‌های خالی در الگوهای استخراج شده با کلماتی که نماینده طبقات مختلف یک ویژگی جمعیتی هستند، پر می‌شوند. به عنوان مثال، برای ویژگی “جنسیت”، جایگاه خالی [GENDER-SPECIFIC NAME] می‌تواند با “سارا” (زن) و “علی” (مرد) پر شود. یا برای ویژگی “شغل”، می‌توان از “پزشک” و “پرستار” استفاده کرد.
  • بدین ترتیب، جفت‌هایی از متون ایجاد می‌شوند که تقریباً یکسان هستند و تنها در کلماتی که نماینده یک ویژگی جمعیتی متفاوت هستند، فرق می‌کنند. مثلاً:
    • “سارا یک مهندس موفق است.” در مقابل “علی یک مهندس موفق است.”
    • “او یک راننده تاکسی با تجربه بود.” (اشاره به زن) در مقابل “او یک راننده تاکسی با تجربه بود.” (اشاره به مرد)
    • “نظرات شهروندان آمریکایی در این مورد مثبت بود.” در مقابل “نظرات شهروندان ایرانی در این مورد مثبت بود.”
  • این جفت‌های متن به سیستم تحلیل احساسات وارد می‌شوند و پیش‌بینی‌های احساساتی سیستم ثبت می‌شوند.
  • اگر سیستم تحلیل احساسات برای دو متن که تنها در یک ویژگی جمعیتی تفاوت دارند، احساسات متفاوتی را پیش‌بینی کند (مثلاً برای “سارا یک مهندس موفق است” احساس مثبت و برای “علی یک مهندس موفق است” احساس خنثی یا کمی مثبت)، آنگاه یک مورد آزمایشی آشکارکننده سوگیری شناسایی شده است. این نشان می‌دهد که سیستم دارای سوگیری جمعیتی نسبت به آن ویژگی خاص است.

  این رویکرد سیستماتیک و خودکار، امکان کشف طیف وسیع‌تری از سوگیری‌ها را فراهم می‌آورد که با روش‌های دستی و محدود قابل شناسایی نبودند. استفاده از الگوهای طبیعی و متنوع نیز به واقع‌بینانه‌تر شدن سناریوهای آزمایشی کمک شایانی می‌کند.

۵. یافته‌های کلیدی

ارزیابی تجربی BiasFinder نتایج چشمگیری را به همراه داشت که بر اثربخشی و مزایای آن تأکید می‌کند. یافته‌های کلیدی این تحقیق را می‌توان در موارد زیر خلاصه کرد:

• تولید موارد آزمایشی گسترده و متنوع: یکی از مهم‌ترین دستاوردهای BiasFinder، توانایی آن در ایجاد تعداد بسیار بیشتری از موارد آزمایشی روان و متنوع در مقایسه با روش‌های پیشین است. این موارد آزمایشی از نظر ساختار گرامری و معنایی غنی‌تر و شبیه‌تر به زبان طبیعی هستند. این تنوع باعث می‌شود که BiasFinder بتواند سوگیری‌هایی را کشف کند که در سناریوهای محدود قبلی قابل تشخیص نبودند. به عنوان مثال، به جای تکیه بر چند جمله کلیشه‌ای، می‌تواند صدها یا هزاران جمله با ساختارهای مختلف و دایره لغات وسیع‌تر تولید کند.
• کشف طیف وسیعی از سوگیری‌ها: BiasFinder ثابت کرد که قادر است انواع مختلفی از سوگیری‌های جمعیتی را در سامانه‌های تحلیل احساسات آشکار کند. این سوگیری‌ها می‌توانند مربوط به جنسیت، شغل، ملیت، و سایر ویژگی‌های جمعیتی باشند. این ابزار نه تنها سوگیری‌های آشکار، بلکه سوگیری‌های ظریف‌تر و پنهان‌تر را نیز که ممکن است در متن‌های پیچیده‌تر بروز کنند، شناسایی می‌کند.
• اثبات اثربخشی رویکرد آزمون دگردیس: این تحقیق به وضوح نشان داد که آزمون دگردیس یک روش بسیار مؤثر برای شناسایی سوگیری در سیستم‌های هوش مصنوعی است. با تعریف اصول دگردیس صحیح (مانند عدم تغییر احساسات با تغییر یک ویژگی جمعیتی)، می‌توان به طور خودکار و بدون نیاز به تعیین خروجی صحیح برای هر ورودی، ناهنجاری‌ها و سوگیری‌ها را تشخیص داد.
• مزیت نسبت به روش‌های مبتنی بر الگوهای ثابت: یافته‌ها تأیید کردند که رویکرد خودکار BiasFinder برای گردآوری الگوها از پیکره‌های بزرگ به طور قابل توجهی بر روش‌های دستی و مبتنی بر الگوهای از پیش تعریف شده برتری دارد. این برتری هم از نظر کمیت (تعداد بیشتر موارد آزمایشی) و هم از نظر کیفیت (روان بودن و طبیعی بودن متون تولید شده) آشکار است.

به طور خلاصه، BiasFinder یک ابزار قدرتمند و کارآمد است که محدودیت‌های روش‌های سنتی کشف سوگیری را برطرف کرده و راه را برای توسعه سامانه‌های تحلیل احساسات عادلانه‌تر و قابل اعتمادتر هموار می‌کند.

۶. کاربردها و دستاوردها

دستاوردها و کاربردهای BiasFinder فراتر از صرفاً یک مقاله علمی است و می‌تواند تأثیرات عملی قابل توجهی در حوزه‌های مختلف داشته باشد:

• بهبود عدالت در سیستم‌های هوش مصنوعی:

  مهمترین کاربرد BiasFinder، کمک به ایجاد سیستم‌های هوش مصنوعی عادلانه‌تر و بی‌طرفانه‌تر است. با شناسایی دقیق سوگیری‌ها در سامانه‌های تحلیل احساسات، توسعه‌دهندگان می‌توانند اقدامات اصلاحی لازم را انجام دهند. این شامل بازنگری در داده‌های آموزشی، تنظیم مدل‌ها، یا حتی تغییر معماری سیستم برای کاهش یا حذف تأثیرات تبعیض‌آمیز است. هدف نهایی این است که پیش‌بینی‌های احساساتی، مستقل از ویژگی‌های جمعیتی افراد باشند.

• آزمون خودکار سوگیری:

  BiasFinder یک راهکار خودکار و مقیاس‌پذیر برای کشف سوگیری ارائه می‌دهد. این امر نیاز به تلاش دستی گسترده برای طراحی موارد آزمایشی را کاهش می‌دهد و امکان بررسی سیستماتیک سوگیری در مقیاس وسیع‌تر را فراهم می‌کند. در نتیجه، می‌تواند به عنوان بخشی جدایی‌ناپذیر از چرخه عمر توسعه نرم‌افزار برای سیستم‌های هوش مصنوعی (MLOps) مورد استفاده قرار گیرد.

• افزایش قابلیت اطمینان سیستم‌های تحلیل احساسات:

  با شناسایی و رفع سوگیری‌ها، سامانه‌های تحلیل احساسات قابل اطمینان‌تر و قدرتمندتر می‌شوند. یک سیستم بدون سوگیری، نتایج دقیق‌تر و قابل اعتمادتری ارائه می‌دهد که برای کاربردهایی مانند ارزیابی افکار عمومی در سیاست، تحلیل بازخورد مشتریان یا حتی سیستم‌های تشخیص سلامت روان، حیاتی است.

• قابلیت تعمیم به سایر حوزه‌های NLP و هوش مصنوعی:

  رویکرد آزمون دگردیس که BiasFinder از آن بهره می‌برد، تنها محدود به تحلیل احساسات نیست. این متدولوژی می‌تواند به سایر وظایف پردازش زبان طبیعی (NLP) که در آنها سوگیری جمعیتی یک نگرانی است (مانند ترجمه ماشینی، خلاصه‌سازی متن یا سیستم‌های پرسش و پاسخ) گسترش یابد. همچنین، اصول آن می‌تواند برای کشف سوگیری در دیگر انواع سیستم‌های هوش مصنوعی که با داده‌های انسانی سروکار دارند، مانند سیستم‌های تشخیص تصویر (برای مثال، سوگیری در تشخیص چهره)، مورد اقتباس قرار گیرد.

• کمک به استانداردسازی و مقررات‌گذاری:

  با توجه به افزایش نگرانی‌ها در مورد اخلاق و مسئولیت‌پذیری هوش مصنوعی، ابزارهایی مانند BiasFinder می‌توانند به استانداردسازی و تدوین مقررات برای تضمین عدالت در سیستم‌های هوش مصنوعی کمک کنند. این ابزارها می‌توانند به عنوان معیاری برای ارزیابی مطابقت سیستم‌ها با اصول اخلاقی و قانونی عمل کنند.

به طور کلی، BiasFinder نه تنها یک پیشرفت علمی است، بلکه ابزاری عملی را برای مهندسان و محققان فراهم می‌کند تا به طور فعال با چالش سوگیری در هوش مصنوعی مقابله کرده و به توسعه سیستم‌هایی که به نفع همه کاربران هستند، کمک کنند.

۷. نتیجه‌گیری

با پیشرفت‌های شگرف هوش مصنوعی، سامانه‌های مبتنی بر یادگیری ماشین، به ویژه سامانه‌های تحلیل احساسات، به ابزاری قدرتمند در حوزه‌های مختلف تبدیل شده‌اند. با این حال، استفاده از داده‌های عظیم و غالباً دارای سوگیری انسانی برای آموزش این سیستم‌ها، منجر به پدیدار شدن سوگیری‌های جمعیتی ناخواسته در پیش‌بینی‌های آنها شده است. این سوگیری‌ها می‌توانند به طور نامحسوسی بر نتایج تحلیل احساسات تأثیر بگذارند و منجر به تصمیمات ناعادلانه یا تبعیض‌آمیز شوند.

مقاله “BiasFinder: تولید تست‌های دگردیس برای کشف سوگیری در سامانه‌های تحلیل احساسات” پاسخی نوآورانه به این چالش ارائه می‌دهد. با بهره‌گیری از قدرت آزمون دگردیس و تکنیک‌های پیشرفته پردازش زبان طبیعی، BiasFinder قادر است به صورت خودکار الگوهای زبانی متنوع را از پیکره‌های بزرگ استخراج کند. سپس با پر کردن هوشمندانه این الگوها با کلمات مرتبط با ویژگی‌های جمعیتی مختلف، جفت‌های متنی تولید می‌کند که در آنها تنها یک ویژگی جمعیتی تغییر کرده است. اگر سیستم تحلیل احساسات برای این جفت‌ها پیش‌بینی احساسی متفاوتی ارائه دهد، سوگیری تشخیص داده می‌شود.

نتایج ارزیابی تجربی به وضوح نشان داد که BiasFinder نسبت به روش‌های سنتی که بر الگوهای محدود و از پیش تعریف شده تکیه داشتند، تعداد بسیار بیشتری از موارد آزمایشی روان و متنوع را تولید کرده و قادر به کشف طیف وسیع‌تری از سوگیری‌ها در سامانه‌های تحلیل احساسات است. این دستاورد، گامی مهم در جهت افزایش عدالت، قابلیت اطمینان و شفافیت در سیستم‌های هوش مصنوعی محسوب می‌شود.

در نهایت، BiasFinder نه تنها یک ابزار تشخیصی قدرتمند است، بلکه یک چهارچوب روش‌شناختی را برای رویکردهای آینده در آزمون‌گیری و کاهش سوگیری در سیستم‌های هوش مصنوعی ارائه می‌دهد. کاربرد این روش می‌تواند فراتر از تحلیل احساسات رفته و به دیگر حوزه‌های پردازش زبان طبیعی و حتی سایر مدل‌های یادگیری ماشین نیز تعمیم یابد و به ما در ساخت دنیایی دیجیتالی عادلانه‌تر و بی‌طرفانه‌تر یاری رساند. این تحقیق بر اهمیت ادغام عدالت به عنوان یک جنبه حیاتی در چرخه توسعه هر سیستم هوش مصنوعی تأکید می‌کند.