در دهه‌های اخیر، پردازش زبان طبیعی (NLP) شاهد پیشرفت‌های چشمگیری بوده است. این پیشرفت‌ها، عمدتاً مدیون ظهور مدل‌های زبانی بزرگ و تکنیک‌های یادگیری عمیق هستند. با این حال، رویکردهای سنتی در NLP اغلب به مقادیر زیادی داده‌ی برچسب‌گذاری شده برای آموزش مدل‌ها نیاز دارند، که این امر می‌تواند پرهزینه و زمان‌بر باشد. مقاله حاضر، با عنوان “پیش‌آموزش، پرامپت، و پیش‌بینی: بررسی نظام‌مند روش‌های پرامپت در پردازش زبان طبیعی”، به بررسی یک پارادایم نوین در NLP می‌پردازد که به مدل‌ها اجازه می‌دهد با استفاده از داده‌های برچسب‌گذاری شده‌ی کم‌تر یا حتی بدون داده‌ی برچسب‌گذاری شده، عملکرد قابل قبولی داشته باشند. این پارادایم، که به عنوان “یادگیری مبتنی بر پرامپت” شناخته می‌شود، امیدهای زیادی را برای حل چالش‌های موجود در NLP برانگیخته است.

مقاله حاضر توسط پنگفئی لیو، ویزه یوان، جینلان فو، ژنگبائو جیانگ، هیرواکی هایاشی و گراهام نیوبیگ به رشته تحریر درآمده است. این نویسندگان، متخصصان برجسته‌ای در زمینه پردازش زبان طبیعی، یادگیری ماشین و هوش مصنوعی هستند. زمینه تحقیقاتی این نویسندگان، به طور خاص، بر روی توسعه مدل‌های زبانی بزرگ، تکنیک‌های یادگیری کم-نمونه (few-shot learning) و یادگیری بدون-نمونه (zero-shot learning) متمرکز است. این مقاله، حاصل تجربیات و دانش گسترده‌ی این نویسندگان در زمینه یادگیری مبتنی بر پرامپت است و یک بررسی جامع و نظام‌مند از این رویکرد نوین ارائه می‌دهد.

چکیده مقاله به این شرح است: این مقاله به بررسی و سازماندهی کارهای تحقیقاتی در پارادایم جدیدی در پردازش زبان طبیعی می‌پردازد که ما آن را “یادگیری مبتنی بر پرامپت” می‌نامیم. برخلاف یادگیری نظارت‌شده سنتی، که یک مدل را آموزش می‌دهد تا ورودی x را دریافت کرده و خروجی y را به صورت P(y|x) پیش‌بینی کند، یادگیری مبتنی بر پرامپت مبتنی بر مدل‌های زبانی است که احتمال متن را مستقیماً مدل‌سازی می‌کنند. برای استفاده از این مدل‌ها برای انجام وظایف پیش‌بینی، ورودی اصلی x با استفاده از یک الگو به یک رشته متنی پرامپت x’ تبدیل می‌شود که دارای شکاف‌های پر نشده‌ای است، و سپس از مدل زبانی برای پر کردن احتمالی اطلاعات پر نشده برای به دست آوردن یک رشته نهایی x استفاده می‌شود، که از آن می‌توان خروجی نهایی y را استخراج کرد. این چارچوب به دلایل متعددی قدرتمند و جذاب است: این امکان را به مدل زبانی می‌دهد که بر روی مقادیر عظیمی از متن خام پیش‌آموزش داده شود، و با تعریف یک تابع پرامپت جدید، مدل قادر به انجام یادگیری کم-نمونه یا حتی یادگیری بدون-نمونه است، و با تعداد کمی یا بدون داده برچسب‌گذاری شده به سناریوهای جدید سازگار می‌شود. در این مقاله، ما اصول اولیه این پارادایم امیدوارکننده را معرفی می‌کنیم، مجموعه‌ای یکپارچه از نمادهای ریاضی را شرح می‌دهیم که می‌توانند طیف گسترده‌ای از کارهای موجود را پوشش دهند، و کارهای موجود را در امتداد چندین بعد سازماندهی می‌کنیم، به عنوان مثال انتخاب مدل‌های پیش‌آموزش‌شده، پرامپت‌ها و استراتژی‌های تنظیم دقیق. برای اینکه این زمینه برای مبتدیان علاقه‌مند قابل دسترس‌تر شود، ما نه تنها یک بررسی نظام‌مند از کارهای موجود و یک طبقه‌بندی بسیار ساختاریافته از مفاهیم مبتنی بر پرامپت ارائه می‌دهیم، بلکه منابع دیگری را نیز منتشر می‌کنیم، به عنوان مثال، یک وب‌سایت http://pretrain.nlpedia.ai/ شامل نظرسنجی و فهرست مقالات به‌روزرسانی‌شده.

به طور خلاصه، مقاله حاضر به بررسی و تبیین مفهوم یادگیری مبتنی بر پرامپت می‌پردازد. این رویکرد، به جای آموزش مدل‌ها به صورت سنتی با استفاده از داده‌های برچسب‌گذاری شده، از مدل‌های زبانی پیش‌آموزش‌شده استفاده می‌کند و با استفاده از پرامپت‌های متنی، مدل را قادر می‌سازد تا وظایف مختلف را با کمترین میزان داده‌ی برچسب‌گذاری شده یا حتی بدون آن انجام دهد. این مقاله، چارچوبی ریاضیاتی برای توصیف این رویکرد ارائه می‌دهد و کارهای تحقیقاتی موجود در این زمینه را در قالب یک طبقه‌بندی ساختاریافته سازماندهی می‌کند. هدف اصلی این مقاله، تسهیل درک و استفاده از این پارادایم نوین برای محققان و علاقه‌مندان به پردازش زبان طبیعی است.

این مقاله، یک بررسی نظام‌مند (systematic survey) از تحقیقات انجام شده در زمینه یادگیری مبتنی بر پرامپت است. نویسندگان، با جستجو در پایگاه‌های داده‌ی علمی و کنفرانس‌های معتبر، مجموعه‌ای جامع از مقالات مرتبط را جمع‌آوری کرده‌اند. سپس، با مطالعه‌ی دقیق این مقالات، مفاهیم کلیدی، روش‌ها و نتایج به دست آمده را استخراج و سازماندهی کرده‌اند. روش‌شناسی تحقیق در این مقاله را می‌توان به صورت زیر خلاصه کرد:

• جمع‌آوری داده‌ها: جستجو در پایگاه‌های داده‌ی علمی (مانند arXiv، ACL Anthology، IEEE Xplore) با استفاده از کلیدواژه‌های مرتبط با یادگیری مبتنی بر پرامپت.
• غربالگری و انتخاب مقالات: بررسی عناوین، چکیده‌ها و محتوای مقالات جمع‌آوری شده و انتخاب مقالاتی که به طور مستقیم به موضوع یادگیری مبتنی بر پرامپت مرتبط هستند.
• استخراج و سازماندهی اطلاعات: مطالعه دقیق مقالات انتخاب شده و استخراج اطلاعات مربوط به مدل‌های پیش‌آموزش‌شده، پرامپت‌ها، استراتژی‌های تنظیم دقیق، و نتایج به دست آمده.
• تحلیل و سنتز: تحلیل اطلاعات استخراج شده و ارائه یک طبقه‌بندی ساختاریافته از مفاهیم و روش‌های یادگیری مبتنی بر پرامپت.
• تهیه گزارش: نوشتن یک گزارش جامع و نظام‌مند از یافته‌های تحقیق.

مقاله حاضر، یافته‌های کلیدی متعددی را در زمینه یادگیری مبتنی بر پرامپت ارائه می‌دهد. برخی از این یافته‌ها عبارتند از:

• کارایی یادگیری کم-نمونه و بدون-نمونه: یادگیری مبتنی بر پرامپت، امکان استفاده از مدل‌های زبانی پیش‌آموزش‌شده را برای انجام وظایف مختلف با کمترین میزان داده‌ی برچسب‌گذاری شده یا حتی بدون آن فراهم می‌کند. برای مثال، یک مدل زبانی پیش‌آموزش‌شده مانند BERT یا GPT-3 می‌تواند با استفاده از یک پرامپت مناسب، یک کار طبقه‌بندی متن را با دقت قابل قبولی انجام دهد، بدون اینکه نیاز به آموزش مجدد بر روی داده‌های جدید باشد.
• اهمیت انتخاب پرامپت مناسب: عملکرد یادگیری مبتنی بر پرامپت، به شدت به انتخاب پرامپت مناسب بستگی دارد. پرامپت باید به گونه‌ای طراحی شود که مدل زبانی بتواند به طور موثر اطلاعات مورد نیاز برای انجام وظیفه را استخراج کند. برای مثال، برای طبقه‌بندی احساسات یک متن، می‌توان از پرامپت‌هایی مانند “این متن [MASK] است.” یا “احساسات متن [MASK] است.” استفاده کرد، که در آن [MASK] بخشی است که مدل زبانی باید آن را پر کند.
• استراتژی‌های تنظیم دقیق: تنظیم دقیق مدل‌های زبانی پیش‌آموزش‌شده با استفاده از داده‌های برچسب‌گذاری شده، می‌تواند عملکرد یادگیری مبتنی بر پرامپت را بهبود بخشد. استراتژی‌های مختلفی برای تنظیم دقیق مدل‌ها وجود دارد، از جمله تنظیم دقیق کل مدل، تنظیم دقیق لایه‌های خاص، و استفاده از آداپتورها.
• چارچوب ریاضیاتی یکپارچه: مقاله، یک چارچوب ریاضیاتی یکپارچه برای توصیف و مقایسه روش‌های مختلف یادگیری مبتنی بر پرامپت ارائه می‌دهد، که این امر به درک بهتر این رویکرد و توسعه روش‌های جدید کمک می‌کند.

یادگیری مبتنی بر پرامپت، کاربردهای گسترده‌ای در زمینه‌های مختلف پردازش زبان طبیعی دارد. برخی از این کاربردها عبارتند از:

• طبقه‌بندی متن: طبقه‌بندی متن بر اساس موضوع، احساسات، یا سایر ویژگی‌ها.
• استخراج اطلاعات: استخراج اطلاعات خاص از متن، مانند نام افراد، مکان‌ها، یا سازمان‌ها.
• تولید متن: تولید متن بر اساس یک پرامپت داده شده، مانند خلاصه‌سازی متن، ترجمه ماشینی، یا پاسخ به سوالات.
• استدلال زبان طبیعی: حل مسائل استدلالی با استفاده از دانش زبانی.

دستاورد اصلی یادگیری مبتنی بر پرامپت، کاهش وابستگی به داده‌های برچسب‌گذاری شده و امکان استفاده از مدل‌های زبانی پیش‌آموزش‌شده برای انجام وظایف مختلف با کمترین میزان تلاش است. این امر، به ویژه در مواردی که داده‌های برچسب‌گذاری شده کمیاب یا پرهزینه هستند، بسیار ارزشمند است.

به عنوان مثال، در یک پروژه طبقه‌بندی اخبار، می‌توان از یک مدل زبانی پیش‌آموزش‌شده و یک پرامپت ساده مانند “این خبر در مورد [MASK] است.” برای طبقه‌بندی اخبار به دسته‌های مختلف (مانند سیاست، اقتصاد، ورزش) استفاده کرد. با تنظیم دقیق مدل بر روی تعداد کمی از داده‌های برچسب‌گذاری شده، می‌توان دقت طبقه‌بندی را به طور قابل توجهی بهبود بخشید.

مقاله “پیش‌آموزش، پرامپت، و پیش‌بینی: بررسی نظام‌مند روش‌های پرامپت در پردازش زبان طبیعی”، یک بررسی جامع و نظام‌مند از پارادایم نوین یادگیری مبتنی بر پرامپت ارائه می‌دهد. این مقاله، مفاهیم کلیدی، روش‌ها، کاربردها و دستاوردهای این رویکرد را به تفصیل شرح می‌دهد و یک چارچوب ریاضیاتی یکپارچه برای توصیف و مقایسه روش‌های مختلف ارائه می‌کند. یادگیری مبتنی بر پرامپت، یک رویکرد امیدوارکننده برای حل چالش‌های موجود در پردازش زبان طبیعی است و پتانسیل زیادی برای توسعه‌ی کاربردهای جدید و بهبود عملکرد مدل‌های زبانی دارد. با توجه به اهمیت روزافزون این رویکرد، مطالعه‌ی این مقاله به محققان و علاقه‌مندان به پردازش زبان طبیعی توصیه می‌شود. وبسایت ارائه شده توسط نویسندگان http://pretrain.nlpedia.ai/ نیز منبع ارزشمندی برای کسب اطلاعات بیشتر و پیگیری آخرین تحولات در این زمینه است.