در عصر حاضر، داده‌های حاشیه‌نویسی شده نقشی حیاتی در پردازش زبان طبیعی (NLP) ایفا می‌کنند. این داده‌ها، هم برای آموزش مدل‌ها و هم برای ارزیابی عملکرد آن‌ها، اساسی هستند. با پیشرفت‌های چشمگیر اخیر در مدل‌های زبانی بزرگ (LLMs)، شاهد ظهور مدل‌هایی مانند ChatGPT هستیم که قابلیت یادگیری صفر-شات (zero-shot learning) را در بسیاری از وظایف حاشیه‌نویسی متن از خود نشان می‌دهند. عملکرد این مدل‌ها در برخی موارد حتی با حاشیه‌نویسان انسانی قابل مقایسه بوده و یا از آن‌ها پیشی می‌گیرد. این امر، LLMها را به عنوان جایگزینی جذاب برای حاشیه‌نویسی دستی، به دلیل هزینه کمتر و مقیاس‌پذیری بالاتر، مطرح می‌کند.

با این حال، تحقیقات محدودی به استفاده از LLMها به عنوان حاشیه‌نویسان مکمل و یا بررسی چگونگی تخصیص بهینه کار بین انسان و LLMها با هدف دستیابی به هر دو هدف کیفیت و هزینه پرداخته‌اند. مقاله حاضر، با عنوان “هم‌حاشیه‌نویسی: تخصیص کار مبتنی بر عدم قطعیت بین انسان و مدل‌های زبانی بزرگ” به این شکاف مهم در تحقیقات NLP می‌پردازد.

این مقاله توسط تیمی از محققان برجسته در زمینه پردازش زبان طبیعی و یادگیری ماشین به نگارش درآمده است. اسامی نویسندگان عبارتند از: Minzhi Li, Taiwei Shi, Caleb Ziems, Min-Yen Kan, Nancy F. Chen, Zhengyuan Liu, Diyi Yang. این افراد دارای سوابق تحقیقاتی قوی در زمینه‌های مختلف NLP، از جمله حاشیه‌نویسی داده، مدل‌های زبانی بزرگ، و یادگیری فعال هستند.

زمینه تحقیقاتی این مقاله در تقاطع حاشیه‌نویسی داده، مدل‌های زبانی بزرگ و بهینه‌سازی تخصیص منابع قرار دارد. این تحقیق با هدف ارائه راهکاری کارآمدتر و مقرون به صرفه‌تر برای تولید داده‌های حاشیه‌نویسی شده با کیفیت بالا، به بررسی پتانسیل استفاده از LLMها به عنوان حاشیه‌نویسان مکمل و همکار با انسان‌ها می‌پردازد.

مقاله “هم‌حاشیه‌نویسی” یک پارادایم نوین برای حاشیه‌نویسی مشارکتی متون بدون ساختار در مقیاس بزرگ توسط انسان و LLM ارائه می‌دهد. ایده اصلی این مقاله، استفاده از مفهوم عدم قطعیت برای تخمین توانایی LLMها در انجام وظیفه حاشیه‌نویسی است. به عبارت دیگر، زمانی که یک LLM در انجام یک حاشیه‌نویسی خاص با عدم قطعیت بالایی مواجه می‌شود، وظیفه به یک حاشیه‌نویس انسانی واگذار می‌شود تا از دقت و کیفیت نهایی داده‌ها اطمینان حاصل شود.

به طور خلاصه، روش پیشنهادی شامل مراحل زیر است:

• ارزیابی عدم قطعیت LLM: برای هر نمونه متنی، میزان عدم قطعیت LLM در انجام حاشیه‌نویسی مربوطه تخمین زده می‌شود.
• تخصیص کار مبتنی بر عدم قطعیت: نمونه‌هایی که LLM در آن‌ها عدم قطعیت بالایی دارد، به حاشیه‌نویسان انسانی واگذار می‌شوند. نمونه‌های دیگر به LLM سپرده می‌شوند.
• تکرار و بهبود: این فرآیند می‌تواند به صورت تکراری انجام شود تا به تدریج LLMها توانایی خود را در انجام وظایف حاشیه‌نویسی بهبود بخشند.

نتایج تجربی نشان می‌دهد که رویکرد “هم‌حاشیه‌نویسی” ابزاری مؤثر برای تخصیص کار است و در مقایسه با خط مبنای تخصیص تصادفی، تا 21 درصد بهبود عملکرد را در مجموعه‌های داده مختلف نشان می‌دهد.

روش‌شناسی تحقیق در این مقاله شامل ترکیبی از تحلیل نظری، طراحی الگوریتم، و ارزیابی تجربی است. محققان ابتدا یک چارچوب نظری برای درک چگونگی تخصیص بهینه کار بین انسان و LLMها با در نظر گرفتن عدم قطعیت LLM ارائه کرده‌اند. سپس، الگوریتم “هم‌حاشیه‌نویسی” را بر اساس این چارچوب طراحی کرده‌اند.

برای ارزیابی تجربی، الگوریتم “هم‌حاشیه‌نویسی” بر روی مجموعه‌های داده مختلف NLP، از جمله مجموعه‌های داده طبقه‌بندی متن، تشخیص موجودیت نام‌دار (NER) و تحلیل احساسات، اعمال شده است. عملکرد الگوریتم با خط مبنای تخصیص تصادفی مقایسه شده است. محققان از معیار‌های مختلفی مانند دقت، صحت و F1-score برای ارزیابی کیفیت حاشیه‌نویسی استفاده کرده‌اند.

یک نکته مهم در این روش‌شناسی، استفاده از مقیاس‌های عدم قطعیت مختلف برای مدل‌های زبانی است. برای مثال، در مدل‌های احتمالی می‌توان از احتمال خروجی به عنوان معیاری برای عدم قطعیت استفاده کرد. در حالی که در مدل‌های مبتنی بر ترانسفورمر، معیارهای دیگری مانند آنتروپی می‌توانند مفید باشند.

یافته‌های کلیدی این مقاله را می‌توان در موارد زیر خلاصه کرد:

• اثربخشی “هم‌حاشیه‌نویسی”: الگوریتم “هم‌حاشیه‌نویسی” به طور قابل توجهی عملکرد حاشیه‌نویسی را در مقایسه با تخصیص تصادفی بهبود می‌بخشد.
• اهمیت عدم قطعیت: استفاده از عدم قطعیت LLM به عنوان معیاری برای تخصیص کار، منجر به نتایج بهتری نسبت به رویکردهای دیگر می‌شود.
• تعادل کیفیت و هزینه: “هم‌حاشیه‌نویسی” به تعادل بهتری بین کیفیت حاشیه‌نویسی و هزینه آن دست می‌یابد. با کاهش وابستگی به حاشیه‌نویسان انسانی و استفاده بهینه از LLMها، هزینه‌ها کاهش می‌یابد در حالی که کیفیت داده‌ها حفظ می‌شود.
• کارایی در مجموعه‌های داده مختلف: رویکرد پیشنهادی در مجموعه‌های داده مختلف NLP با وظایف متفاوت، عملکرد خوبی از خود نشان می‌دهد.

به عنوان مثال، در یکی از آزمایش‌ها، محققان نشان دادند که استفاده از “هم‌حاشیه‌نویسی” منجر به کاهش 30 درصدی در هزینه حاشیه‌نویسی، در حالی که دقت در سطح مشابهی با حاشیه‌نویسی دستی باقی می‌ماند.

کاربردهای بالقوه “هم‌حاشیه‌نویسی” بسیار گسترده است. این رویکرد می‌تواند در زمینه‌های زیر مورد استفاده قرار گیرد:

• ایجاد مجموعه‌های داده بزرگ: با استفاده از “هم‌حاشیه‌نویسی”، می‌توان مجموعه‌های داده بزرگ NLP را با هزینه و زمان کمتری تولید کرد.
• بهبود عملکرد مدل‌های NLP: با استفاده از داده‌های حاشیه‌نویسی شده با کیفیت بالا تولید شده توسط “هم‌حاشیه‌نویسی”، می‌توان عملکرد مدل‌های NLP را در وظایف مختلف بهبود بخشید.
• توسعه سیستم‌های هوشمند: “هم‌حاشیه‌نویسی” می‌تواند در توسعه سیستم‌های هوشمند مانند چت‌بات‌ها و دستیارهای مجازی که نیاز به درک زبان طبیعی دارند، نقش مهمی ایفا کند.
• کاهش هزینه حاشیه‌نویسی: در پروژه‌هایی که حجم زیادی از داده‌ها نیاز به حاشیه‌نویسی دارند، استفاده از “هم‌حاشیه‌نویسی” می‌تواند منجر به صرفه‌جویی قابل توجهی در هزینه‌ها شود.

دستاورد اصلی این مقاله، ارائه یک چارچوب عملی و مؤثر برای استفاده از LLMها به عنوان حاشیه‌نویسان مکمل و همکار با انسان‌ها است. این رویکرد، راه را برای توسعه سیستم‌های NLP مقرون به صرفه‌تر و کارآمدتر هموار می‌کند.

کد پیاده‌سازی این مقاله در GitHub در دسترس است.

مقاله “هم‌حاشیه‌نویسی” یک گام مهم در جهت استفاده بهینه از پتانسیل LLMها در حاشیه‌نویسی داده است. این مقاله با ارائه یک رویکرد نوآورانه برای تخصیص کار بین انسان و LLMها، راه را برای تولید داده‌های حاشیه‌نویسی شده با کیفیت بالا، هزینه کمتر و مقیاس‌پذیری بیشتر هموار می‌کند.

این تحقیق نشان می‌دهد که با در نظر گرفتن عدم قطعیت LLMها، می‌توان به تعادل بهتری بین کیفیت و هزینه حاشیه‌نویسی دست یافت. یافته‌های این مقاله، نه تنها برای محققان NLP، بلکه برای توسعه‌دهندگان سیستم‌های هوشمند نیز مفید خواهد بود. استفاده از این رویکرد می‌تواند منجر به کاهش هزینه‌ها و بهبود عملکرد سیستم‌های NLP در وظایف مختلف شود.

در نهایت، می‌توان گفت که “هم‌حاشیه‌نویسی” یک رویکرد امیدوارکننده برای غلبه بر چالش‌های مربوط به حاشیه‌نویسی داده در عصر LLMها است و پتانسیل این را دارد که تاثیر قابل توجهی بر آینده NLP داشته باشد.