مقاله حاضر به بررسی چگونگی کمّی‌سازی عدم قطعیت در مدل‌های زبانی پیش‌آموزش‌دیده (PLMs) می‌پردازد. با توجه به گسترش روزافزون استفاده از این مدل‌ها در وظایف مختلف پردازش زبان طبیعی (NLP)، درک و مدیریت عدم قطعیت در پیش‌بینی‌های آن‌ها از اهمیت ویژه‌ای برخوردار است. این مقاله با ارائه یک تحلیل تجربی گسترده، به دنبال ارائه راهکارهایی برای ایجاد خطوط لوله پیش‌بینی مبتنی بر PLM است که به طور قابل اعتمادی نشان می‌دهند چه زمانی می‌توان به پیش‌بینی‌هایشان اعتماد کرد.

این تحقیق توسط یوکسین ژائو، پل پو لیانگ، اومنگ بهات، ویلی نیسوانگر، روسلان سالاخوتدینوف و لوئیس-فیلیپ مورنسی انجام شده است. نویسندگان از متخصصان حوزه‌های محاسبات و زبان، یادگیری ماشین و یادگیری ماشین هستند. تمرکز اصلی آن‌ها بر روی بهبود عملکرد و قابلیت اطمینان مدل‌های زبانی پیش‌آموزش‌دیده در کاربردهای مختلف است.

مدل‌های زبانی پیش‌آموزش‌دیده (PLM) به دلیل عملکرد قابل توجه خود در پیش‌بینی در وظایف متنوع پردازش زبان طبیعی (NLP)، محبوبیت فزاینده‌ای کسب کرده‌اند. هنگام فرموله کردن یک خط لوله پیش‌بینی مبتنی بر PLM برای وظایف NLP، به حداقل رساندن خطای کالیبراسیون، به ویژه در کاربردهای حیاتی از نظر ایمنی، بسیار مهم است. یعنی خط لوله باید به طور قابل اعتمادی نشان دهد چه زمانی می‌توان به پیش‌بینی‌های آن اعتماد کرد. به طور خاص، ملاحظات مختلفی در پس خط لوله وجود دارد: (1) انتخاب و (2) اندازه PLM، (3) انتخاب کمّی‌ساز عدم قطعیت، (4) انتخاب از دست دادن تنظیم دقیق و بسیاری موارد دیگر. اگرچه کارهای قبلی به برخی از این ملاحظات پرداخته‌اند، اما معمولاً بر اساس دامنه محدودی از مطالعات تجربی به نتیجه‌گیری می‌رسند. هنوز یک تحلیل جامع در مورد چگونگی ترکیب یک خط لوله پیش‌بینی مبتنی بر PLM کالیبره شده وجود ندارد. برای پر کردن این خلاء، طیف گسترده‌ای از گزینه‌های محبوب را برای هر ملاحظه بر اساس سه وظیفه طبقه‌بندی NLP رایج و تنظیم تغییر دامنه مقایسه می‌کنیم. در پاسخ، موارد زیر را توصیه می‌کنیم: (1) از ELECTRA برای رمزگذاری PLM استفاده کنید، (2) در صورت امکان از PLM های بزرگتر استفاده کنید، (3) از Temp Scaling به عنوان کمّی‌ساز عدم قطعیت استفاده کنید و (4) از Focal Loss برای تنظیم دقیق استفاده کنید.

به طور خلاصه، این مقاله به بررسی عوامل مختلفی می‌پردازد که بر کمّی‌سازی عدم قطعیت در مدل‌های زبانی پیش‌آموزش‌دیده تأثیر می‌گذارند. این عوامل شامل انتخاب نوع مدل (PLM)، اندازه مدل، روش کمّی‌سازی عدم قطعیت و تابع زیان مورد استفاده در مرحله fine-tuning می‌شوند. مقاله با انجام یک تحلیل تجربی گسترده بر روی سه وظیفه طبقه‌بندی NLP و در شرایط تغییر دامنه، توصیه‌هایی را برای ایجاد خطوط لوله پیش‌بینی مبتنی بر PLM با کالیبراسیون خوب ارائه می‌دهد.

روش‌شناسی این تحقیق شامل مراحل زیر است:

• انتخاب مدل‌های زبانی پیش‌آموزش‌دیده (PLMs): بررسی و انتخاب طیف وسیعی از مدل‌های PLM محبوب مانند BERT، RoBERTa و ELECTRA.
• انتخاب وظایف طبقه‌بندی NLP: انتخاب سه وظیفه طبقه‌بندی رایج در حوزه NLP برای ارزیابی عملکرد مدل‌ها. این وظایف می‌توانند شامل تحلیل احساسات، طبقه‌بندی موضوعی و تشخیص سوالات تکراری باشند.
• تعریف کمّی‌سازهای عدم قطعیت: بررسی و انتخاب روش‌های مختلف برای کمّی‌سازی عدم قطعیت در پیش‌بینی‌های مدل‌ها. این روش‌ها می‌توانند شامل Temperature Scaling، Monte Carlo Dropout و Ensemble Methods باشند.
• انتخاب توابع زیان (Loss Functions) برای Fine-tuning: بررسی و انتخاب توابع زیان مختلف برای fine-tuning مدل‌ها. این توابع می‌توانند شامل Cross-Entropy Loss و Focal Loss باشند.
• انجام آزمایش‌های تجربی گسترده: انجام آزمایش‌های متعدد با ترکیب‌های مختلف از مدل‌ها، وظایف، کمّی‌سازها و توابع زیان.
• تحلیل نتایج و ارائه توصیه‌ها: تحلیل نتایج آزمایش‌ها و ارائه توصیه‌هایی برای انتخاب بهترین ترکیب برای ایجاد خطوط لوله پیش‌بینی مبتنی بر PLM با کالیبراسیون خوب.

به عنوان مثال، برای ارزیابی عملکرد Temperature Scaling، پس از fine-tuning مدل، یک پارامتر دما (Temperature) به خروجی مدل اعمال می‌شود تا توزیع احتمالات را تغییر دهد. هدف این است که توزیع احتمالات به گونه‌ای تنظیم شود که با اطمینان واقعی مدل مطابقت داشته باشد. به عبارت دیگر، اگر مدل با احتمال بالایی یک کلاس را پیش‌بینی کند، واقعاً هم باید احتمال درستی آن پیش‌بینی بالا باشد.

یافته‌های کلیدی این تحقیق عبارتند از:

• مدل ELECTRA به عنوان رمزگذار (encoder) PLM: مدل ELECTRA در مقایسه با مدل‌های دیگر مانند BERT و RoBERTa، عملکرد بهتری در کمّی‌سازی عدم قطعیت از خود نشان می‌دهد. این موضوع می‌تواند به معماری خاص این مدل و نحوه آموزش آن مربوط باشد.
• استفاده از مدل‌های PLM بزرگتر: در صورت امکان، استفاده از مدل‌های PLM بزرگتر (با تعداد پارامتر بیشتر) منجر به بهبود کالیبراسیون و کاهش خطای پیش‌بینی می‌شود.
• استفاده از Temperature Scaling به عنوان کمّی‌ساز عدم قطعیت: روش Temperature Scaling به عنوان یک روش ساده و مؤثر برای کمّی‌سازی عدم قطعیت، عملکرد خوبی از خود نشان می‌دهد.
• استفاده از Focal Loss برای Fine-tuning: استفاده از تابع زیان Focal Loss در مرحله fine-tuning، به بهبود عملکرد مدل در نمونه‌های دشوار و کاهش خطای کالیبراسیون کمک می‌کند.

به عنوان مثال، استفاده از Focal Loss در وظایف طبقه‌بندی که با عدم تعادل کلاس‌ها مواجه هستند (یعنی تعداد نمونه‌های یک کلاس بسیار بیشتر از کلاس‌های دیگر است) بسیار مفید است. این تابع زیان به نمونه‌های دشوار و نمونه‌های کلاس‌های کم‌تعداد وزن بیشتری می‌دهد و باعث می‌شود مدل تمرکز بیشتری بر روی این نمونه‌ها داشته باشد.

نتایج این تحقیق می‌تواند در کاربردهای مختلفی مورد استفاده قرار گیرد، از جمله:

• کاربردهای حیاتی از نظر ایمنی: در کاربردهایی مانند تشخیص پزشکی یا رانندگی خودکار، اطمینان از صحت پیش‌بینی‌ها و کمّی‌سازی عدم قطعیت از اهمیت بالایی برخوردار است.
• بهبود قابلیت اطمینان مدل‌های NLP: با استفاده از توصیه‌های این مقاله، می‌توان خطوط لوله پیش‌بینی مبتنی بر PLM را با قابلیت اطمینان بالاتری ایجاد کرد.
• توسعه روش‌های جدید کمّی‌سازی عدم قطعیت: این تحقیق می‌تواند به عنوان مبنایی برای توسعه روش‌های جدید و پیشرفته‌تر کمّی‌سازی عدم قطعیت در مدل‌های زبانی مورد استفاده قرار گیرد.

یکی از دستاوردهای مهم این تحقیق، ارائه یک تحلیل تجربی جامع از عوامل مؤثر بر کمّی‌سازی عدم قطعیت در مدل‌های زبانی پیش‌آموزش‌دیده است. این تحلیل می‌تواند به محققان و توسعه‌دهندگان کمک کند تا مدل‌های NLP را با دقت و قابلیت اطمینان بالاتری ایجاد کنند.

در نهایت، این مقاله با ارائه یک تحلیل تجربی گسترده، به بررسی چگونگی کمّی‌سازی عدم قطعیت در مدل‌های زبانی پیش‌آموزش‌دیده می‌پردازد و توصیه‌هایی را برای ایجاد خطوط لوله پیش‌بینی مبتنی بر PLM با کالیبراسیون خوب ارائه می‌دهد. یافته‌های این تحقیق می‌تواند در کاربردهای مختلفی مورد استفاده قرار گیرد و به بهبود قابلیت اطمینان مدل‌های NLP کمک کند. با توجه به اهمیت روزافزون مدل‌های زبانی در زمینه‌های مختلف، درک و مدیریت عدم قطعیت در پیش‌بینی‌های آن‌ها از اهمیت ویژه‌ای برخوردار است و این مقاله گامی مهم در این راستا محسوب می‌شود.

به عنوان یک جمع‌بندی، می‌توان گفت که انتخاب صحیح مدل PLM، اندازه مدل، روش کمّی‌سازی عدم قطعیت و تابع زیان در مرحله fine-tuning، تأثیر بسزایی بر قابلیت اطمینان و دقت پیش‌بینی‌های مدل‌های زبانی دارد و این مقاله با ارائه یک تحلیل تجربی جامع، به محققان و توسعه‌دهندگان در انتخاب بهترین ترکیب کمک می‌کند.