در دنیای امروز، داده‌های برچسب‌خورده ستون فقرات اکثر مدل‌های پیشرفته در حوزه پردازش زبان طبیعی (NLP) و هوش مصنوعی را تشکیل می‌دهند. از تحلیل احساسات در شبکه‌های اجتماعی گرفته تا تشخیص سخنان نفرت‌پراکن و تعدیل محتوا، همه و همه به مجموعه داده‌های باکیفیت و برچسب‌خورده متکی هستند. با این حال، فرآیند برچسب‌گذاری داده‌ها، به‌ویژه برای وظایفی که با ذهنیت انسانی سروکار دارند، با چالش‌های پیچیده‌ای روبروست.

وظایف ذهنی (Subjective Tasks) وظایفی هستند که پاسخ درست و واحدی برای آن‌ها وجود ندارد و قضاوت افراد مختلف می‌تواند بر اساس باورها، تجربیات و ارزش‌هایشان متفاوت باشد. برای مثال، آیا یک توییت «توهین‌آمیز» است؟ پاسخ این سؤال می‌تواند برای دو فرد مختلف، کاملاً متفاوت باشد و هر دو پاسخ نیز معتبر تلقی شوند. تاکنون، سازندگان مجموعه داده‌ها این ذهنیت را به‌عنوان یک «نویز» یا «خطا» در نظر گرفته و تلاش کرده‌اند آن را به حداقل برسانند. اما این رویکرد منجر به تولید مجموعه داده‌هایی شده است که هدف مشخصی را دنبال نمی‌کنند و کارایی لازم را برای کاربردهای نهایی ندارند.

مقاله «دو پارادایم متضاد برچسب‌گذاری داده برای وظایف NLP ذهنی» نوشته پل روتگر و همکارانش، دقیقاً به همین نقطه ضعف اساسی می‌پردازد. این مقاله با ارائه یک چارچوب نظری شفاف، استدلال می‌کند که به جای نادیده گرفتن ذهنیت، باید آن را به صورت فعال و هدفمند مدیریت کرد. اهمیت این مقاله در آن است که با معرفی دو رویکرد کاملاً متمایز، به محققان و مهندسان هوش مصنوعی کمک می‌کند تا مجموعه داده‌هایی بسازند که دقیقاً برای هدف مورد نظرشان بهینه شده باشد و از سردرگمی‌های موجود جلوگیری کند.

این مقاله توسط تیمی از محققان برجسته در حوزه پردازش زبان طبیعی و علوم محاسباتی به رشته تحریر درآمده است:

• پل روتگر (Paul Röttger): محقق اصلی که در زمینه تشخیص سخنان نفرت‌پراکن، انصاف و اخلاق در هوش مصنوعی فعالیت می‌کند.
• برتی ویجن (Bertie Vidgen): متخصص در زمینه تعدیل محتوای آنلاین و اثرات اجتماعی هوش مصنوعی.
• دیرک هوی (Dirk Hovy): استاد و پژوهشگر شناخته‌شده در زمینه جامعه‌شناسی محاسباتی و تأثیرات جمعیت‌شناختی بر زبان.
• جنت بی. پیرهامبرت (Janet B. Pierrehumbert): یکی از پیشگامان در حوزه آواشناسی و مدل‌سازی زبان.

این تیم تحقیقاتی با تجربیات گسترده خود در دانشگاه‌هایی مانند آکسفورد و مؤسسه آلن تورینگ، در خط مقدم پژوهش‌هایی قرار دارند که به چالش‌های دنیای واقعی NLP، به‌ویژه در مسائل حساس اجتماعی مانند تبعیض و نفرت‌پراکنی، می‌پردازند. این مقاله در بستر نیاز روزافزون به سیستم‌های هوشمند برای مدیریت محتوای آنلاین متولد شده است؛ جایی که درک و مدیریت ذهنیت انسانی نه یک انتخاب، بلکه یک ضرورت است.

محور اصلی مقاله، معرفی و تبیین دو پارادایم کاملاً متضاد برای برچسب‌گذاری داده‌ها در وظایف ذهنی است. نویسندگان معتقدند که سازندگان مجموعه داده باید از ابتدا به طور آگاهانه یکی از این دو مسیر را انتخاب کنند:

1. پارادایم توصیفی (Descriptive Paradigm): در این رویکرد، هدف، تشویق و ثبت ذهنیت برچسب‌زنندگان است. به جای تلاش برای رسیدن به یک برچسب واحد و «صحیح»، این پارادایم به دنبال نقشه‌برداری از طیف کامل باورها و دیدگاه‌های موجود در جامعه است. اختلاف نظر بین برچسب‌زنندگان نه تنها یک خطا نیست، بلکه یک سیگنال ارزشمند است که تنوع دیدگاه‌ها را نشان می‌دهد. هدف نهایی، مدل‌سازی این تنوع و درک پدیده مورد بررسی از زوایای مختلف است.
2. پارادایم تجویزی (Prescriptive Paradigm): در مقابل، این رویکرد به دنبال سرکوب و حذف ذهنیت و رسیدن به یک استاندارد واحد و ثابت است. در اینجا، یک دستورالعمل بسیار دقیق و شفاف تعریف می‌شود و از برچسب‌زنندگان خواسته می‌شود تا قضاوت‌های شخصی خود را کنار گذاشته و صرفاً بر اساس این قوانین برچسب‌زنی کنند. هدف نهایی، آموزش مدلی است که بتواند این استاندارد مشخص را با ثبات و دقت بالا پیاده‌سازی کند. اختلاف نظر در این پارادایم به عنوان یک خطا تلقی شده و باید از طریق آموزش بیشتر یا اصلاح دستورالعمل‌ها برطرف شود.

مقاله استدلال می‌کند که ترکیب ناآگاهانه این دو رویکرد (که وضعیت فعلی بسیاری از مجموعه داده‌هاست) منجر به ایجاد داده‌هایی «گیج‌کننده» می‌شود که نه نمایانگر خوبی از نظرات جامعه هستند و نه برای ساخت یک سیستم با عملکرد ثابت مناسب‌اند.

برای نشان دادن تفاوت‌های عملی این دو پارادایم، نویسندگان یک آزمایش تجربی طراحی و اجرا کردند. این آزمایش بر روی یکی از ذهنی‌ترین وظایف NLP، یعنی «تشخیص سخنان نفرت‌پراکن» (Hate Speech Detection) متمرکز بود.

• مرحله اول: طراحی دو فرآیند برچسب‌گذاری:
  • گروه توصیفی: به برچسب‌زنندگان دستورالعمل‌های کلی داده شد و از آن‌ها خواسته شد تا بر اساس درک و قضاوت شخصی خود، متون را به عنوان سخن نفرت‌پراکن یا غیر آن طبقه‌بندی کنند. هدف، جمع‌آوری دیدگاه‌های طبیعی آن‌ها بود.
  • گروه تجویزی: این گروه یک راهنمای بسیار دقیق و جامع دریافت کردند که شامل تعاریف مشخص، مثال‌های متعدد از موارد مرزی و قوانین روشن برای تصمیم‌گیری بود. از آن‌ها خواسته شد که строго از این راهنما پیروی کنند.
• مرحله دوم: جمع‌آوری داده‌ها: هر دو گروه مجموعه‌ای یکسان از داده‌ها را برچسب‌زدند. واکنش‌ها و برچسب‌های آن‌ها به دقت ثبت شد.
• مرحله سوم: تحلیل نتایج: نویسندگان معیارهای مختلفی را برای مقایسه خروجی دو گروه تحلیل کردند، از جمله:
  • توافق بین برچسب‌زنندگان (Inter-Annotator Agreement): میزان هم‌نظری افراد در هر گروه.
  • توزیع برچسب‌ها: درصد داده‌هایی که به عنوان نفرت‌پراکن یا غیرنفرت‌پراکن برچسب خوردند.
  • تأثیر بر مدل‌های یادگیری ماشین: آموزش مدل‌های جداگانه بر روی هر یک از این مجموعه داده‌ها و مقایسه عملکرد و رفتار آن‌ها.

این روش‌شناسی به نویسندگان اجازه داد تا به طور ملموس نشان دهند که انتخاب پارادایم برچسب‌گذاری، تأثیری عمیق و مستقیم بر ماهیت مجموعه داده نهایی و در نتیجه، بر مدل آموزش‌دیده با آن دارد.

نتایج آزمایش، تضاد بین دو پارادایم را به وضوح تأیید کرد:

• تفاوت در میزان توافق: همان‌طور که انتظار می‌رفت، گروه تجویزی به میزان توافق بسیار بالاتری دست یافت. این نشان می‌دهد که با ارائه دستورالعمل‌های دقیق، می‌توان افراد را برای اجرای یک استاندارد ثابت آموزش داد. در مقابل، گروه توصیفی توافق کمتری داشت، اما این «عدم توافق» حاوی اطلاعات ارزشمندی درباره نقاط خاکستری و موارد بحث‌برانگیز بود.
• مجموعه داده‌های متفاوت: مجموعه داده تولید شده توسط گروه تجویزی، «پاک‌تر» و برای آموزش یک مدل با رفتار قابل پیش‌بینی مناسب‌تر بود. در حالی که مجموعه داده توصیفی، غنی از اطلاعات جمعیت‌شناختی و دیدگاه‌های متنوع بود و امکان مدل‌سازی نظرات گروه‌های مختلف اجتماعی را فراهم می‌کرد.
• پیامدهای مدل‌سازی: مدلی که بر روی داده‌های تجویزی آموزش دیده بود، در اجرای سیاست‌های از پیش تعیین‌شده بسیار ثابت‌قدم عمل می‌کرد. اما مدلی که با داده‌های توصیفی آموزش دیده بود، می‌توانست پیش‌بینی کند که یک متن خاص از نظر گروه‌های مختلف مردم (مثلاً بر اساس سن یا جنسیت) چگونه تفسیر می‌شود.
• خطر داده‌های مبهم (The Muddle): این تحقیق به صورت تجربی نشان داد که اگر داده‌ها بدون یک پارادایم مشخص جمع‌آوری شوند، نتیجه نهایی نه به اندازه کافی برای اجرای سیاست‌ها ثابت است و نه به اندازه کافی برای تحلیل‌های اجتماعی غنی. این داده‌ها در واقع بدترین ویژگی‌های هر دو جهان را با هم ترکیب می‌کنند.

این مقاله یک دستاورد مفهومی مهم برای جامعه NLP است و کاربردهای عملی گسترده‌ای دارد:

برای سازندگان مجموعه داده:

این چارچوب به آن‌ها یک ابزار تصمیم‌گیری قدرتمند می‌دهد. قبل از شروع هر پروژه برچسب‌گذاری، آن‌ها باید به این سؤال اساسی پاسخ دهند: «هدف نهایی این مجموعه داده چیست؟»

• اگر هدف ساخت یک ابزار تعدیل محتوا برای یک پلتفرم خاص با قوانین مشخص است، باید از پارادایم تجویزی استفاده شود. مثال: فیلتر اسپم ایمیل، سیستم حذف خودکار نظرات توهین‌آمیز در اینستاگرام.
• اگر هدف درک افکار عمومی، مطالعه قطبیدگی سیاسی یا تحلیل نحوه دریافت یک پیام توسط مخاطبان مختلف است، پارادایم توصیفی انتخاب صحیح است. مثال: تحقیقات علوم اجتماعی، نظرسنجی‌های مبتنی بر متن، تحلیل بازخورد کاربران.

برای کاربران مدل‌های هوش مصنوعی:

این مقاله به کاربران کمک می‌کند تا درک بهتری از محدودیت‌ها و قابلیت‌های مدل‌هایی که استفاده می‌کنند، داشته باشند. با دانستن اینکه یک مدل بر اساس کدام پارادایم آموزش دیده است، می‌توان رفتار آن را بهتر پیش‌بینی کرد و از نتایج آن به درستی استفاده نمود.

تغییر نگرش نسبت به اختلاف نظر:

مهم‌ترین دستاورد این مقاله، تغییر نگرش از «اختلاف نظر برچسب‌زنندگان یک نویز است» به «اختلاف نظر می‌تواند یک سیگنال ارزشمند باشد» است. این نگرش جدید، راه را برای تحقیقات خلاقانه در زمینه مدل‌سازی دیدگاه‌های انسانی باز می‌کند.

مقاله «دو پارادایم متضاد برچسب‌گذاری داده برای وظایف NLP ذهنی» یک فراخوان برای «هدفمندی و شفافیت» در فرآیند حیاتی ساخت مجموعه داده‌هاست. نویسندگان با موفقیت نشان می‌دهند که مدیریت ذهنیت انسانی یک چالش فنی است که نیازمند راه‌حل‌های مفهومی و آگاهانه است. هیچ‌کدام از پارادایم‌های توصیفی یا تجویزی بر دیگری برتری ندارند؛ بلکه هر کدام ابزاری مناسب برای هدفی متفاوت هستند.

پیام نهایی این مقاله روشن است: سازندگان مجموعه داده باید به طور صریح پارادایم خود را انتخاب کرده و آن را مستند کنند. این شفافیت نه تنها به افزایش کیفیت و قابلیت استفاده مجدد مجموعه داده‌ها کمک می‌کند، بلکه باعث می‌شود مدل‌های NLP که بر اساس آن‌ها ساخته می‌شوند، قابل اعتمادتر، قابل تفسیرتر و در نهایت مفیدتر برای جامعه باشند. این چارچوب می‌تواند سنگ بنای نسل بعدی تحقیقات در حوزه پردازش زبان طبیعی باشد که در آن پیچیدگی‌های زبان و ذهنیت انسان نه به عنوان یک مانع، بلکه به عنوان یک فرصت غنی برای اکتشاف در نظر گرفته می‌شود.