در دنیای پردازش زبان طبیعی (NLP)، وظایفی مانند استنتاج زبان طبیعی (NLI) اهمیت بسزایی دارند. در این وظایف، هدف، تعیین رابطه منطقی بین دو جمله است: فرضیه (Hypothesis) و گزاره (Premise). این رابطه می‌تواند به سه صورت باشد: تصدیق (Entailment)، تناقض (Contradiction)، و خنثی (Neutral). چالش مهمی که در این زمینه وجود دارد، اختلاف در برچسب‌گذاری است. به این معنی که افراد مختلف ممکن است برای یک جفت جمله، برچسب‌های متفاوتی را انتخاب کنند. این مقاله به بررسی این پدیده و ارائه تبیین‌های واقع‌گرایانه برای آن می‌پردازد.

این مقاله توسط Nan-Jiang Jiang، Chenhao Tan و Marie-Catherine de Marneffe به نگارش درآمده است. این محققان در زمینه پردازش زبان طبیعی و به طور خاص، درک زبان و استنتاج منطقی فعالیت دارند. تمرکز آنها بر روی درک بهتر فرآیندهای تصمیم‌گیری انسانی در هنگام برچسب‌گذاری داده‌ها و چگونگی مدل‌سازی این فرآیندها توسط سیستم‌های هوش مصنوعی است.

چکیده مقاله به این نکته اشاره دارد که اختلاف در برچسب‌گذاری، یا همان عدم توافق در حاشیه‌نویسی، در بسیاری از وظایف NLP از جمله NLI وجود دارد. برای بررسی مستقیم اینکه چگونه این اختلاف‌نظرها در NLI ایجاد می‌شوند، مجموعه‌داده‌ای به نام LiveNLI ایجاد شده است. این مجموعه‌داده شامل 1415 توضیح معتبر از نظر اکولوژیکی (ecological valid) است. به این معنی که حاشیه‌نویسان (annotators) توضیحی برای برچسب‌هایی که انتخاب کرده‌اند، ارائه داده‌اند. این توضیحات برای 122 نمونه از مجموعه داده MNLI جمع‌آوری شده‌اند (حداقل 10 توضیح برای هر نمونه). یافته‌های این تحقیق نشان می‌دهد که افراد می‌توانند به طور سیستماتیک در تفسیر خود از جملات اختلاف داشته باشند و اینکه تنوع درونی در برچسب‌ها نیز وجود دارد. به این معنی که حاشیه‌نویسان ممکن است به دلایل مختلف، یک برچسب یکسان را انتخاب کنند. این یافته‌ها بر اهمیت توضیحات برای درک بهتر تفسیرهای برچسب‌ها تاکید می‌کند. در ادامه، از مدل‌های زبانی بزرگ (LLM) برای تولید توضیحات استفاده شده است، اما نتایج ناهمگون بوده است. گاهی اوقات توضیحات معتبر و آموزنده‌ای تولید می‌شود، اما در برخی موارد توضیحات غیرمنطقی ارائه می‌شود که از برچسب انتخابی پشتیبانی نمی‌کنند. این موضوع نشان‌دهنده مسیرهایی برای بهبود عملکرد مدل‌های زبانی در این زمینه است.

روش‌شناسی این تحقیق شامل چند مرحله کلیدی است:

• ایجاد مجموعه داده LiveNLI: مهمترین بخش این تحقیق، جمع‌آوری مجموعه داده جدید LiveNLI است. برای این منظور، از حاشیه‌نویسان خواسته شده است که نه تنها برچسب مناسب را برای هر جفت جمله انتخاب کنند، بلکه توضیح دهند که چرا این برچسب را انتخاب کرده‌اند. این توضیحات، اطلاعات ارزشمندی را در مورد فرآیند استدلال انسانی در NLI ارائه می‌دهند.
  
  برای مثال، فرض کنید جفت جمله‌ی زیر را داریم:
  
  گزاره: “یک زن در حال نواختن گیتار است.”
  
  فرضیه: “یک نوازنده موسیقی در حال اجرا است.”
  
  یک حاشیه‌نویس ممکن است برچسب “تصدیق” را انتخاب کند و توضیح دهد: “نواختن گیتار نوعی اجرا است، بنابراین فرضیه از گزاره استنتاج می‌شود.”
• تحلیل کیفی توضیحات: پس از جمع‌آوری توضیحات، محققان به تحلیل کیفی آنها پرداخته‌اند تا الگوهای مختلف استدلال و عوامل موثر در اختلاف‌نظرها را شناسایی کنند. این تحلیل به درک عمیق‌تری از نحوه تفسیر افراد از جملات و استنتاج روابط منطقی بین آنها منجر می‌شود.
• استفاده از مدل‌های زبانی بزرگ (LLM): در مرحله بعد، از مدل‌های زبانی بزرگ برای تولید خودکار توضیحات استفاده شده است. هدف این کار، بررسی این موضوع بوده است که آیا این مدل‌ها می‌توانند توضیحات معتبر و آموزنده‌ای تولید کنند که با توضیحات انسانی مطابقت داشته باشد.
• ارزیابی توضیحات تولید شده توسط LLM: توضیحات تولید شده توسط LLMها مورد ارزیابی قرار گرفته‌اند تا کیفیت و صحت آنها سنجیده شود. این ارزیابی شامل مقایسه توضیحات تولید شده با توضیحات انسانی و بررسی این موضوع است که آیا توضیحات تولید شده از برچسب انتخابی پشتیبانی می‌کنند یا خیر.

نتایج این تحقیق نشان می‌دهد که:

• اختلاف در تفسیر: افراد می‌توانند به طور سیستماتیک در تفسیر خود از جملات اختلاف داشته باشند. این اختلاف می‌تواند ناشی از عوامل مختلفی مانند دانش پیشین، باورها، و پیش‌فرض‌ها باشد.
• تنوع درونی در برچسب‌ها: حاشیه‌نویسان ممکن است به دلایل مختلف، یک برچسب یکسان را انتخاب کنند. به این معنی که حتی زمانی که افراد در مورد برچسب نهایی به توافق می‌رسند، ممکن است مسیرهای استدلال متفاوتی را طی کرده باشند.
• عملکرد ناهمگون LLMها: مدل‌های زبانی بزرگ در تولید توضیحات معتبر و آموزنده، عملکرد ناهمگونی دارند. گاهی اوقات توضیحات خوبی تولید می‌کنند، اما در برخی موارد توضیحات غیرمنطقی ارائه می‌دهند.

این تحقیق دارای کاربردها و دستاوردهای متعددی است:

• بهبود کیفیت مجموعه‌داده‌ها: درک بهتر اختلاف در برچسب‌گذاری می‌تواند به ایجاد مجموعه‌داده‌های با کیفیت‌تر برای وظایف NLP منجر شود. با جمع‌آوری توضیحات همراه با برچسب‌ها، می‌توان اطلاعات بیشتری در مورد فرآیند تصمیم‌گیری انسانی به دست آورد و از این اطلاعات برای تصحیح برچسب‌های نادرست و بهبود کیفیت کلی مجموعه‌داده استفاده کرد.
• توسعه مدل‌های NLP قابل اعتمادتر: با استفاده از توضیحات برای آموزش مدل‌های NLP، می‌توان مدل‌هایی ایجاد کرد که نه تنها دقت بالایی دارند، بلکه قابل اعتمادتر و قابل تفسیرتر نیز هستند. این مدل‌ها می‌توانند استدلال خود را توضیح دهند و به کاربران کمک کنند تا درک کنند که چرا یک تصمیم خاص را گرفته‌اند.
• بهبود تعامل انسان و ماشین: درک بهتر فرآیند استدلال انسانی می‌تواند به بهبود تعامل بین انسان و ماشین منجر شود. با استفاده از توضیحات، می‌توان سیستم‌هایی ایجاد کرد که به طور موثرتری با انسان‌ها ارتباط برقرار می‌کنند و به سوالات آنها پاسخ می‌دهند.
• ارائه بینش‌های جدید در مورد استدلال انسانی: این تحقیق بینش‌های جدیدی را در مورد فرآیند استدلال انسانی و عوامل موثر در اختلاف‌نظرها ارائه می‌دهد. این بینش‌ها می‌تواند برای محققان در زمینه‌های مختلف از جمله روانشناسی، علوم شناختی و فلسفه مفید باشد.

به عنوان مثال، در توسعه سیستم‌های تشخیص اخبار جعلی، داشتن توضیحی از دلیل جعلی بودن یک خبر، به کاربران کمک می‌کند تا با دید بازتری به اطلاعات نگاه کنند و فریب اخبار نادرست را نخورند.

به طور خلاصه، این مقاله به بررسی پدیده اختلاف در برچسب‌گذاری در وظیفه استنتاج زبان طبیعی (NLI) می‌پردازد. با ایجاد مجموعه داده LiveNLI و تحلیل توضیحات ارائه شده توسط حاشیه‌نویسان، محققان نشان می‌دهند که اختلاف در تفسیر و تنوع درونی در برچسب‌ها وجود دارد. همچنین، با استفاده از مدل‌های زبانی بزرگ برای تولید توضیحات، محققان به این نتیجه می‌رسند که این مدل‌ها در این زمینه عملکرد ناهمگونی دارند و نیاز به بهبود دارند. یافته‌های این تحقیق می‌تواند به ایجاد مجموعه‌داده‌های با کیفیت‌تر، توسعه مدل‌های NLP قابل اعتمادتر، بهبود تعامل انسان و ماشین، و ارائه بینش‌های جدید در مورد استدلال انسانی کمک کند. این تحقیق گامی مهم در جهت درک بهتر فرآیندهای تصمیم‌گیری انسانی در پردازش زبان طبیعی و توسعه سیستم‌های هوش مصنوعی است که قادر به استدلال و توضیح منطقی تصمیمات خود هستند.