مقاله حاضر به بررسی استفاده از مدل‌های زبانی بزرگ (LLMs) به عنوان معیارهای ارزیابی در وظایف پردازش زبان طبیعی (NLP) می‌پردازد، با تمرکز ویژه بر وظیفه خلاصه‌سازی متن. این پژوهش، که توسط آزمایشگاه NLP دانشگاه علم و صنعت ایران (IUST NLP Lab) ارائه شده است، در کارگاه Eval4NLP 2023 تحت عنوان “پرامپت‌دهی به مدل‌های زبانی بزرگ به عنوان معیارهای ارزیابی توضیح‌پذیر” مطرح گردیده و رویکردی نوآورانه را در ارزیابی خودکار خلاصه‌سازی متون ارائه می‌دهد.

ارزیابی کیفیت خلاصه‌سازی متن، چالشی دیرینه در حوزه NLP بوده است. روش‌های سنتی ارزیابی، مانند ROUGE و BLEU، اغلب محدودیت‌هایی در سنجش معنایی و انسجام متون خلاصه‌شده دارند. از این رو، نیاز به معیارهای ارزیابی جدید که بتوانند کیفیت خلاصه‌ها را به شکل جامع‌تر و دقیق‌تری ارزیابی کنند، همواره احساس می‌شود. این مقاله تلاش می‌کند تا با بهره‌گیری از توانایی‌های مدل‌های زبانی بزرگ، رویکردی توضیح‌پذیر و قابل اعتماد برای ارزیابی خلاصه‌سازی متن ارائه دهد.

این پژوهش توسط غزاله محمودی انجام شده است و در زمینه‌های محاسبات و زبان، هوش مصنوعی و یادگیری ماشین قرار می‌گیرد. تمرکز اصلی تحقیق بر روی کاربرد مدل‌های زبانی بزرگ در ارزیابی وظایف NLP، به‌ویژه خلاصه‌سازی متن، است. این تحقیق با هدف ارائه یک معیار ارزیابی خودکار، قابل اعتماد و توضیح‌پذیر برای خلاصه‌سازی متون انجام شده است.

در این مقاله، استراتژی مبتنی بر پرامپت (Prompt-based) بدون نیاز به داده‌های آموزشی (Zero-shot) برای ارزیابی توضیح‌پذیر وظیفه خلاصه‌سازی با استفاده از مدل‌های زبانی بزرگ (LLMs) پیشنهاد شده است. نتایج آزمایش‌ها، پتانسیل امیدوارکننده‌ای از LLMها به عنوان معیارهای ارزیابی در پردازش زبان طبیعی (NLP)، به ویژه در زمینه خلاصه‌سازی، نشان می‌دهد. در این آزمایش‌ها، از هر دو روش با استفاده از نمونه‌های آموزشی (Few-shot) و بدون نمونه‌های آموزشی (Zero-shot) استفاده شده است. عملکرد بهترین پرامپت‌های ارائه شده، در وظیفه خلاصه‌سازی متن، همبستگی کندال (Kendall correlation) برابر با 0.477 را با ارزیابی‌های انسانی در داده‌های آزمایشی به دست آورد. کد و نتایج به صورت عمومی در GitHub در دسترس هستند.

روش‌شناسی این تحقیق بر پایه پرامپت‌دهی به مدل‌های زبانی بزرگ استوار است. به این معنی که به جای آموزش مستقیم یک مدل برای ارزیابی خلاصه‌سازی، از مدل‌های زبانی بزرگ موجود با استفاده از پرامپت‌های مناسب استفاده می‌شود تا کیفیت خلاصه‌ها را ارزیابی کنند. به طور خلاصه، روند کار به شرح زیر است:

• طراحی پرامپت: طراحی پرامپت‌های مختلفی که از مدل زبانی بزرگ می‌خواهند تا کیفیت خلاصه را با توجه به متن اصلی ارزیابی کند. برای مثال، یک پرامپت می‌تواند از مدل بپرسد: “آیا این خلاصه، به خوبی اصل مطلب را پوشش می‌دهد؟”
• ارزیابی مدل: مدل زبانی بزرگ با استفاده از پرامپت‌های طراحی شده، خلاصه‌ها را ارزیابی می‌کند.
• مقایسه با ارزیابی انسانی: نتایج ارزیابی مدل با ارزیابی‌های انجام شده توسط انسان‌ها مقایسه می‌شود تا میزان همبستگی و دقت مدل در ارزیابی خلاصه‌ها سنجیده شود. از معیار همبستگی کندال برای اندازه‌گیری میزان توافق بین ارزیابی مدل و ارزیابی انسانی استفاده شده است.

در این تحقیق، از دو رویکرد Zero-shot (بدون نیاز به داده‌های آموزشی) و Few-shot (با استفاده از چند نمونه آموزشی) استفاده شده است. در رویکرد Zero-shot، مدل زبانی بزرگ بدون هیچ‌گونه آموزش قبلی بر روی داده‌های خلاصه‌سازی، مستقیماً با استفاده از پرامپت‌ها برای ارزیابی خلاصه‌ها استفاده می‌شود. در رویکرد Few-shot، مدل زبانی بزرگ ابتدا با استفاده از چند نمونه از داده‌های خلاصه‌سازی آموزش داده می‌شود و سپس برای ارزیابی خلاصه‌ها استفاده می‌شود.

به عنوان مثال، یک پرامپت Zero-shot می‌تواند به این صورت باشد: “متن زیر یک خلاصه از متن اصلی است. لطفا میزان مرتبط بودن و صحت این خلاصه را ارزیابی کنید.” در حالی که یک پرامپت Few-shot می‌تواند شامل چند نمونه از متن اصلی، خلاصه و ارزیابی انسانی باشد، و سپس از مدل خواسته شود تا خلاصه جدید را ارزیابی کند.

یافته‌های این تحقیق نشان می‌دهد که مدل‌های زبانی بزرگ می‌توانند به عنوان معیارهای ارزیابی موثر در وظیفه خلاصه‌سازی متن عمل کنند. مهم‌ترین یافته‌ها عبارتند از:

• مدل‌های زبانی بزرگ، حتی در حالت Zero-shot، توانایی قابل توجهی در ارزیابی کیفیت خلاصه‌ها دارند.
• استفاده از پرامپت‌های مناسب می‌تواند به بهبود عملکرد مدل‌های زبانی بزرگ در ارزیابی خلاصه‌سازی کمک کند.
• همبستگی بین ارزیابی‌های مدل زبانی بزرگ و ارزیابی‌های انسانی، نشان‌دهنده قابلیت اطمینان مدل به عنوان یک معیار ارزیابی خودکار است. در این تحقیق، بهترین پرامپت‌ها به همبستگی کندال 0.477 با ارزیابی‌های انسانی دست یافتند.

نتایج این تحقیق دارای کاربردهای متعددی در زمینه NLP و خلاصه‌سازی متن است. از جمله مهم‌ترین کاربردها و دستاوردها می‌توان به موارد زیر اشاره کرد:

• ارزیابی خودکار خلاصه‌سازی: ارائه یک معیار ارزیابی خودکار، سریع و کم‌هزینه برای ارزیابی کیفیت خلاصه‌های تولید شده توسط سیستم‌های خلاصه‌ساز.
• بهبود عملکرد سیستم‌های خلاصه‌ساز: استفاده از معیار ارزیابی مبتنی بر مدل زبانی بزرگ برای تنظیم و بهینه‌سازی عملکرد سیستم‌های خلاصه‌ساز.
• تحقیق و توسعه: فراهم کردن یک ابزار قدرتمند برای محققان و توسعه‌دهندگان در زمینه خلاصه‌سازی متن، برای ارزیابی سریع و آسان الگوریتم‌ها و مدل‌های جدید.
• توسعه رویکردهای توضیح‌پذیر در ارزیابی: ارائه رویکردی که می‌تواند دلایل ارزیابی خود را توضیح دهد، که این امر به افزایش اعتمادپذیری و درک بهتر از عملکرد سیستم‌های خلاصه‌ساز کمک می‌کند.

به عنوان مثال، یک شرکت خبری می‌تواند از این معیار ارزیابی برای ارزیابی خودکار خلاصه‌های تولید شده توسط الگوریتم‌های هوش مصنوعی خود استفاده کند و مطمئن شود که خلاصه‌ها با کیفیت و دقیق هستند. همچنین، محققان می‌توانند از این معیار برای مقایسه و ارزیابی الگوریتم‌های مختلف خلاصه‌سازی و شناسایی بهترین روش‌ها استفاده کنند.

مقاله حاضر نشان می‌دهد که مدل‌های زبانی بزرگ پتانسیل بالایی برای استفاده به عنوان معیارهای ارزیابی توضیح‌پذیر در وظیفه خلاصه‌سازی متن دارند. رویکرد مبتنی بر پرامپت، امکان استفاده از این مدل‌ها را بدون نیاز به آموزش مستقیم فراهم می‌کند و نتایج قابل قبولی را ارائه می‌دهد. با وجود اینکه همبستگی 0.477 با ارزیابی انسانی نشان‌دهنده وجود جای پیشرفت است، این تحقیق گامی مهم در جهت توسعه معیارهای ارزیابی خودکار، قابل اعتماد و توضیح‌پذیر در زمینه NLP به شمار می‌رود. تحقیقات آینده می‌توانند بر روی بهبود طراحی پرامپت‌ها، استفاده از مدل‌های زبانی بزرگ پیشرفته‌تر و بررسی این رویکرد در سایر وظایف NLP تمرکز کنند.