در دنیای امروز که هوش مصنوعی و مدل‌های زبانی به طور فزاینده‌ای در حوزه‌های حساس مانند پزشکی به کار گرفته می‌شوند، دغدغه عدالت الگوریتمی بیش از پیش اهمیت می‌یابد. مقاله علمی با عنوان “کاهش سوگیری قابل تفسیر برای داده‌های متنی: کاهش سوگیری جنسیتی در یادداشت‌های پزشکی با حفظ عملکرد طبقه‌بندی”، به یکی از چالش‌های اساسی در این زمینه، یعنی سوگیری‌های جنسیتی در داده‌های متنی پزشکی، می‌پردازد.

سیستم‌های پزشکی، به طور کلی، و تصمیمات و پیامدهای درمان بیمار، به طور خاص، تحت تأثیر سوگیری‌هایی بر اساس جنسیت و سایر عناصر جمعیتی قرار دارند. با افزایش استفاده از مدل‌های زبانی در پزشکی، علاقه فزاینده‌ای به گنجاندن عدالت الگوریتمی در فرآیندهای مؤثر بر مراقبت از بیمار وجود دارد. بخش عمده‌ای از کارهایی که به این مسئله پرداخته‌اند، بر روی سوگیری‌های کدگذاری شده در خود مدل‌های زبانی تمرکز داشته‌اند؛ یعنی برآوردهای آماری از روابط بین مفاهیم که از خوانش گسترده متون بزرگ به دست آمده‌اند.

این مقاله با رویکردی نوآورانه، فراتر از تمرکز صرف بر مدل‌های زبانی، به بررسی نحوه تعامل انتخاب کلمات توسط پزشکان و متخصصان مراقبت‌های بهداشتی با مدل‌های زبانی در رابطه با سوگیری می‌پردازد. این تحقیق نه تنها به دنبال شناسایی سوگیری‌های جنسیتی در یادداشت‌های بالینی است، بلکه راهکارهای عملی و قابل تفسیری را برای کاهش این سوگیری‌ها پیشنهاد می‌کند، بدون اینکه کارایی سیستم‌های طبقه‌بندی سلامت به خطر بیفتد. اهمیت این کار در توانایی آن برای بهبود برابری در ارائه مراقبت‌های بهداشتی و افزایش اعتماد به سیستم‌های هوش مصنوعی در پزشکی نهفته است.

این پژوهش ارزشمند توسط تیمی از محققان برجسته شامل:

• Joshua R. Minot
• Nicholas Cheney
• Marc Maier
• Danne C. Elbers
• Christopher M. Danforth
• Peter Sheridan Dodds

انجام شده است. زمینه اصلی تحقیق آن‌ها در دو حوزه کلیدی محاسبات و زبان (Computation and Language) و یادگیری ماشین (Machine Learning) قرار می‌گیرد.

این محققان در پیوستگی با روند رو به رشد کاربرد مدل‌های زبانی بزرگ (LLMs) و تکنیک‌های یادگیری ماشین در حوزه سلامت و درمان، به یکی از مهم‌ترین نگرانی‌های اخلاقی و عملی این کاربردها، یعنی سوگیری‌های ناخواسته، پرداخته‌اند. تحقیقات پیشین عمدتاً بر روی تشخیص و کاهش سوگیری‌های موجود در خود مدل‌های زبانی، که از حجم عظیمی از داده‌های متنی آموزش دیده‌اند، متمرکز بوده‌اند. این مدل‌ها ممکن است نادانسته کلیشه‌ها و تعصبات موجود در جامعه را بازتاب دهند و حتی تشدید کنند.

اما تیم Minot و همکارانش، دیدگاه خود را گسترش داده و بر تعامل بین انتخاب کلمات توسط متخصصان مراقبت‌های بهداشتی در یادداشت‌های بالینی و نحوه تفسیر این کلمات توسط مدل‌های زبانی تأکید می‌کنند. این دیدگاه، لایه‌ای جدید از پیچیدگی و مسئولیت را در بحث سوگیری‌های هوش مصنوعی معرفی می‌کند، زیرا به منشأ انسانی سوگیری در فرآیند تولید داده‌ها نیز توجه دارد. هدف نهایی، ساخت سیستم‌های هوش مصنوعی عادلانه‌تر و شفاف‌تر است که بتوانند بدون تبعیض، به بهبود نتایج بیماران کمک کنند.

چکیده مقاله به وضوح مشکل اصلی را مطرح می‌کند: سیستم‌های پزشکی و به تبع آن، تصمیمات و پیامدهای درمان بیمار، تحت تأثیر سوگیری‌های مرتبط با جنسیت و سایر عوامل جمعیتی قرار دارند. با گسترش استفاده از مدل‌های زبانی در حوزه پزشکی، ضرورت گنجاندن عدالت الگوریتمی در فرآیندهای مرتبط با مراقبت از بیمار اهمیت دوچندانی یافته است.

این تحقیق، با تکیه بر کارهای قبلی که بر سوگیری‌های موجود در مدل‌های زبانی تمرکز داشتند، به بررسی نحوه تعامل انتخاب کلمات توسط متخصصان مراقبت‌های بهداشتی و مدل‌های زبانی در رابطه با سوگیری می‌پردازد. برای این منظور، نویسندگان ابتدا زبان جنسیتی (gendered language) را در دو مجموعه داده از یادداشت‌های بالینی شناسایی و سپس آن را حذف می‌کنند.

یک روش جدید کاهش سوگیری (debiasing procedure) با استفاده از طبقه‌بندی‌کننده‌های جنسیتی مبتنی بر BERT معرفی شده است. یافته‌های کلیدی نشان می‌دهند که با حذف سطوح پایین تا متوسط سوگیری از طریق افزایش داده (data augmentation)، افت ناچیزی در عملکرد وظایف طبقه‌بندی وضعیت سلامت مشاهده می‌شود. این بدان معناست که می‌توان سوگیری را کاهش داد، بدون اینکه به طور قابل توجهی به دقت طبقه‌بندی آسیب وارد شود.

در نهایت، مقاله به مقایسه سوگیری معنایی کدگذاری شده در مدل‌های زبانی با سوگیری مشاهده شده به صورت تجربی در پرونده‌های سلامت می‌پردازد. این کار یک رویکرد قابل تفسیر را برای استفاده از افزایش داده جهت شناسایی و کاهش پتانسیل سوگیری در خطوط لوله پردازش زبان طبیعی (NLP pipelines) ارائه می‌دهد. این رویکرد به ما امکان می‌دهد تا نه تنها سوگیری را کاهش دهیم، بلکه بفهمیم که چگونه و از کجا این سوگیری‌ها نشأت می‌گیرند و چگونه می‌توان آن‌ها را به صورت شفاف و قابل توضیح اصلاح کرد.

روش‌شناسی این تحقیق بر چندین گام کلیدی استوار است که هدف آن شناسایی، حذف و ارزیابی تأثیر سوگیری جنسیتی در یادداشت‌های بالینی است. این رویکرد ساختاریافته امکان دستیابی به نتایجی قابل اعتماد و قابل تفسیر را فراهم می‌کند:

• شناسایی و استخراج داده‌ها:
  پژوهشگران کار خود را با دو مجموعه داده از یادداشت‌های بالینی (clinical notes) آغاز کردند. این یادداشت‌ها، که توسط متخصصان مراقبت‌های بهداشتی نوشته شده‌اند، منبع اصلی برای مطالعه نحوه بروز سوگیری جنسیتی در زبان هستند. انتخاب این داده‌ها بسیار حیاتی است، زیرا آن‌ها مستقیماً نحوه توصیف بیماران و وضعیت آن‌ها را توسط کادر درمان منعکس می‌کنند.

• شناسایی زبان جنسیتی:
  گام بعدی، شناسایی زبان جنسیتی (gendered language) در این یادداشت‌ها بود. این کار شامل تشخیص کلمات، عبارات، یا ساختارهایی است که به طور مستقیم یا غیرمستقیم به جنسیت خاصی اشاره دارند یا کلیشه‌های جنسیتی را تقویت می‌کنند. برای مثال، استفاده از ضمایر خاص جنسیتی (او مذکر/مؤنث)، یا کلماتی که به طور سنتی با یک جنسیت خاص مرتبط هستند، مانند “مرد خانه” یا “کدبانو”.

• روش جدید کاهش سوگیری با طبقه‌بندی‌کننده‌های BERT:
  برای حذف یا تعدیل این زبان جنسیتی، محققان یک روش جدید مبتنی بر طبقه‌بندی‌کننده‌های جنسیتی مبتنی بر BERT (BERT-based gender classifiers) توسعه دادند. BERT (Bidirectional Encoder Representations from Transformers) یک مدل زبان قدرتمند است که قادر به درک عمیق‌تر از بافت کلمات است. این طبقه‌بندی‌کننده‌ها می‌توانند کلمات و عباراتی را که پتانسیل ایجاد سوگیری جنسیتی دارند، شناسایی کنند. سپس، برای کاهش سوگیری، می‌توانند این عبارات را به شیوه‌ای خنثی یا جایگزین کنند، مثلاً با تبدیل “او بیمار مرد” به “بیمار” یا “او بیمار زن” به “بیمار”. این فرآیند، نه تنها صرفاً جایگزینی کلمات است، بلکه بر درک بافتار و حفظ معنای اصلی تمرکز دارد.

• افزایش داده (Data Augmentation) برای کاهش سوگیری و حفظ عملکرد:
  یکی از نوآوری‌های اصلی این روش، استفاده از افزایش داده است. در این تکنیک، داده‌های موجود به صورت مصنوعی با تغییرات کوچک و هدفمند گسترش می‌یابند. در اینجا، پس از شناسایی و تغییر زبان جنسیتی، نسخه‌های جدیدی از یادداشت‌ها تولید می‌شوند که در آن‌ها سوگیری کاهش یافته است. این کار به مدل‌های یادگیری ماشین کمک می‌کند تا بر روی داده‌های کمتر سوگیرانه آموزش ببینند و در عین حال، تنوع داده‌ها را حفظ کنند تا عملکرد طبقه‌بندی در وظایف اصلی (مانند طبقه‌بندی وضعیت سلامت) دچار افت نشود.

• ارزیابی عملکرد:
  عملکرد سیستم پس از کاهش سوگیری، با اجرای وظایف طبقه‌بندی وضعیت سلامت (health condition classification tasks) بر روی داده‌های اصلاح‌شده، ارزیابی شد. هدف اصلی این بود که اطمینان حاصل شود که کاهش سوگیری، منجر به افت معنی‌دار در دقت یا کارایی طبقه‌بندی نمی‌شود. این ارزیابی نشان می‌دهد که می‌توان تعادلی بین عدالت و کارایی برقرار کرد.

• مقایسه سوگیری معنایی و تجربی:
  در نهایت، پژوهشگران به مقایسه سوگیری معنایی کدگذاری شده در مدل‌های زبانی (یعنی سوگیری‌هایی که مدل‌های از طریق آموزش بر روی حجم عظیمی از متون یاد گرفته‌اند) با سوگیری‌های مشاهده شده به صورت تجربی در پرونده‌های سلامت (یعنی سوگیری‌های واقعی که توسط پزشکان در یادداشت‌های بالینی به کار رفته‌اند) پرداختند. این مقایسه به درک عمیق‌تر از ریشه‌ها و تظاهرات سوگیری کمک می‌کند و می‌تواند مسیرهای جدیدی برای تحقیقات آتی در زمینه شناسایی و کاهش سوگیری ارائه دهد.

این تحقیق به نتایج مهمی دست یافت که نه تنها از نظر علمی ارزشمند هستند، بلکه کاربردهای عملی قابل توجهی در حوزه پزشکی و پردازش زبان طبیعی دارند:

• حضور قابل توجه زبان جنسیتی:
  یکی از اولین و مهم‌ترین یافته‌ها، تأیید وجود و گستردگی زبان جنسیتی در یادداشت‌های بالینی است. این یافته بر اهمیت پرداختن به سوگیری در منابع داده خام تأکید می‌کند و نشان می‌دهد که سوگیری تنها در مدل‌های پیچیده هوش مصنوعی وجود ندارد، بلکه ریشه در نحوه مستندسازی اطلاعات توسط انسان‌ها نیز دارد. این زبان جنسیتی می‌تواند به طور ناخواسته بر تشخیص، درمان و حتی بیمه درمانی بیماران تأثیر بگذارد.

• اثربخشی روش کاهش سوگیری:
  روش جدید کاهش سوگیری، که از طبقه‌بندی‌کننده‌های مبتنی بر BERT و تکنیک افزایش داده بهره می‌برد، در شناسایی و تعدیل زبان جنسیتی بسیار مؤثر نشان داده شد. این روش توانست به طور موفقیت‌آمیزی عبارات سوگیرانه را خنثی کرده و متون را به شکلی عادلانه‌تر بازنویسی کند. اثبات کارایی این روش، گام مهمی در جهت توسعه ابزارهای عملی برای مقابله با سوگیری در داده‌های متنی است.

• کاهش سوگیری بدون افت عملکرد قابل توجه:
  یکی از دستاوردهای برجسته این پژوهش، نشان دادن این است که می‌توان سطوح پایین تا متوسط سوگیری را حذف کرد، در حالی که افت عملکرد در وظایف طبقه‌بندی وضعیت سلامت ناچیز است. این یافته حیاتی است، زیرا اغلب این نگرانی وجود دارد که تلاش برای افزایش عدالت ممکن است به بهای کاهش دقت یا کارایی سیستم‌های هوش مصنوعی تمام شود. این مقاله نشان می‌دهد که با رویکرد صحیح (مانند افزایش داده)، می‌توان هر دو هدف را تا حد زیادی محقق کرد.

• تفاوت و تعامل بین سوگیری معنایی و تجربی:
  مقایسه سوگیری معنایی کدگذاری شده در مدل‌های زبانی با سوگیری تجربی مشاهده شده در پرونده‌های سلامت، بینش‌های عمیقی را فراهم کرد. این مقایسه نشان داد که سوگیری‌ها می‌توانند هم در نحوه یادگیری مدل‌ها از داده‌های عمومی و هم در نحوه تولید داده‌ها توسط انسان‌ها وجود داشته باشند. درک این تفاوت‌ها و نقاط اشتراک به طراحی استراتژی‌های جامع‌تر برای مقابله با سوگیری در کل چرخه حیات داده و مدل کمک می‌کند.

• رویکرد قابل تفسیر برای کاهش سوگیری:
  این تحقیق بر قابلیت تفسیر (interpretability) در فرآیند کاهش سوگیری تأکید دارد. این بدان معناست که نه تنها سوگیری کاهش می‌یابد، بلکه می‌توان فهمید که کدام بخش از متن سوگیرانه بوده، چگونه اصلاح شده و این اصلاح چه تأثیری بر پیامدها داشته است. این شفافیت برای اعتماد به سیستم‌های هوش مصنوعی، به ویژه در حوزه‌های حساس مانند پزشکی، ضروری است.

کاربردهای این پژوهش فراتر از صرفاً یک پیشرفت نظری است و می‌تواند تأثیرات عملی عمیقی در چندین حوزه داشته باشد:

• بهبود عدالت در سیستم‌های هوش مصنوعی پزشکی:
  مهم‌ترین کاربرد، افزایش برابری و عدالت در سیستم‌های هوش مصنوعی مورد استفاده در مراقبت‌های بهداشتی است. با کاهش سوگیری جنسیتی در یادداشت‌های بیمار، مدل‌های هوش مصنوعی که بر اساس این داده‌ها آموزش می‌بینند، کمتر احتمال دارد که توصیه‌های تبعیض‌آمیز ارائه دهند یا به نابرابری‌های موجود دامن بزنند. این امر می‌تواند منجر به تشخیص‌های دقیق‌تر، برنامه‌های درمانی مؤثرتر و نتایج بهتر برای تمامی بیماران، فارغ از جنسیت آن‌ها، شود.

• تصمیم‌گیری‌های بالینی بی‌طرفانه‌تر:
  یادداشت‌های بالینی، سنگ بنای تصمیم‌گیری‌های پزشکی هستند. اگر این یادداشت‌ها حاوی سوگیری باشند، ممکن است به طور ناخودآگاه بر تصمیم‌گیری پزشکان و سیستم‌های پشتیبانی تصمیم‌گیری بالینی تأثیر بگذارند. این روش می‌تواند با پاکسازی این یادداشت‌ها از زبان سوگیرانه، به تصمیم‌گیری‌های بالینی بی‌طرفانه‌تر و مبتنی بر شواهد عینی‌تر کمک کند.

• الگوی عملی برای پردازش زبان طبیعی (NLP) در سایر حوزه‌ها:
  رویکرد مبتنی بر طبقه‌بندی‌کننده‌های BERT و افزایش داده، می‌تواند به عنوان یک الگوی عملی برای کاهش سوگیری در داده‌های متنی در سایر حوزه‌ها نیز مورد استفاده قرار گیرد. این تکنیک‌ها قابل تعمیم به هر زمینه‌ای هستند که در آن داده‌های متنی با خطر سوگیری‌های جمعیتی (مانند نژاد، سن، وضعیت اقتصادی-اجتماعی) روبرو هستند. این شامل سیستم‌های استخدام، وام‌دهی، عدالت کیفری و سایر کاربردهای حساس هوش مصنوعی می‌شود.

• افزایش اعتماد به هوش مصنوعی:
  با ارائه یک روش قابل تفسیر برای کاهش سوگیری، این تحقیق به افزایش اعتماد عمومی به سیستم‌های هوش مصنوعی کمک می‌کند. زمانی که کاربران، به ویژه متخصصان پزشکی، بتوانند بفهمند که چگونه سیستم‌ها به دنبال کاهش سوگیری هستند و نتایج آن‌ها قابل توضیح باشد، احتمال پذیرش و استفاده مؤثر از این فناوری‌ها افزایش می‌یابد.

• ابزاری برای آموزش و آگاهی‌سازی:
  این پژوهش می‌تواند به عنوان ابزاری آموزشی برای متخصصان مراقبت‌های بهداشتی عمل کند تا آن‌ها را نسبت به انواع سوگیری‌های زبانی که ممکن است در یادداشت‌برداری‌هایشان به کار ببرند، آگاه سازد. این آگاهی‌سازی می‌تواند به کاهش سوگیری در منبع، یعنی در زمان تولید داده‌ها، کمک کند.

به طور خلاصه، دستاوردهای این مقاله نه تنها در پیشرفت‌های تکنیکی در حوزه NLP و یادگیری ماشین نهفته است، بلکه در توانایی آن برای ایجاد تغییرات مثبت و ملموس در نحوه ارائه مراقبت‌های بهداشتی و ارتقاء اصول اخلاقی در کاربرد هوش مصنوعی نمایان می‌شود.

مقاله “کاهش سوگیری قابل تفسیر برای داده‌های متنی: کاهش سوگیری جنسیتی در یادداشت‌های پزشکی با حفظ عملکرد طبقه‌بندی” یک گام مهم و رو به جلو در مسیر ایجاد سیستم‌های هوش مصنوعی عادلانه و شفاف، به ویژه در حوزه حیاتی پزشکی، محسوب می‌شود. این پژوهش با پرداختن به ریشه‌های سوگیری در زبان مورد استفاده در یادداشت‌های بالینی و ارائه راهکارهای عملی برای کاهش آن، به طور مستقیم به بهبود پیامدهای سلامت بیماران و ارتقاء عدالت اجتماعی کمک می‌کند.

با تمرکز بر تعامل پیچیده بین انتخاب کلمات توسط متخصصان سلامت و نحوه پردازش این کلمات توسط مدل‌های زبانی، محققان نشان دادند که نه تنها می‌توان سوگیری‌های جنسیتی را در داده‌های متنی شناسایی و حذف کرد، بلکه این کار را می‌توان بدون افت معنی‌دار در عملکرد اصلی سیستم‌های طبقه‌بندی انجام داد. استفاده از طبقه‌بندی‌کننده‌های مبتنی بر BERT و تکنیک افزایش داده، به عنوان ابزارهای قدرتمند در این فرآیند، قابلیت اعتماد و کاربردی بودن این رویکرد را تضمین می‌کند.

یکی از مهمترین دستاوردهای این مطالعه، تأکید بر قابلیت تفسیر (interpretability) در فرآیند کاهش سوگیری است. این ویژگی به ما امکان می‌دهد تا نه تنها به یک نتیجه عادلانه‌تر دست یابیم، بلکه بفهمیم که چرا و چگونه به این نتیجه رسیده‌ایم، که این امر برای ایجاد اعتماد و مسئولیت‌پذیری در کاربرد هوش مصنوعی ضروری است.

با این حال، کار در این زمینه پایان نیافته است. این پژوهش می‌تواند مسیر را برای تحقیقات آتی هموار کند، از جمله:

• گسترش به سایر سوگیری‌های جمعیتی: اعمال روش‌های مشابه برای کاهش سوگیری‌های مرتبط با نژاد، سن، وضعیت اقتصادی-اجتماعی و سایر ویژگی‌های جمعیتی در داده‌های پزشکی.
• بهبود مقیاس‌پذیری: توسعه روش‌هایی که بتوانند سطوح بالاتر سوگیری را بدون هیچ گونه افت عملکردی حذف کنند.
• کاربرد در حوزه‌های دیگر: تعمیم این رویکرد به داده‌های متنی در سایر صنایع و کاربردها، مانند منابع انسانی، مالی و حقوقی.
• پایش مداوم سوگیری: توسعه سیستم‌هایی برای پایش مداوم و خودکار سوگیری در یادداشت‌های بالینی و مدل‌های هوش مصنوعی در طول زمان.

در مجموع، این مقاله نه تنها راه حل‌های عملی برای یک مشکل مهم ارائه می‌دهد، بلکه الهام‌بخش تحقیقات بیشتری در جهت توسعه هوش مصنوعی اخلاقی و مسئولانه است که می‌تواند به نفع همه باشد.