در دنیای پردازش زبان طبیعی (NLP)، مدل‌های زبانی بزرگ پیش‌آموزش‌دیده (Pretrained Language Models – PLMs) مانند BERT و GPT، انقلابی عظیم به پا کرده‌اند. این مدل‌ها که بر روی حجم عظیمی از داده‌های متنی عمومی مانند اینترنت و کتاب‌ها آموزش دیده‌اند، توانایی شگرفی در درک و تولید زبان از خود نشان می‌دهند. رویکرد غالب در استفاده از این مدل‌ها، «تنظیم دقیق» (Fine-tuning) آن‌ها بر روی داده‌های کوچکتر و تخصصی‌تر مربوط به یک وظیفه خاص (مانند تشخیص احساسات، پاسخ به پرسش، یا ترجمه) است. با وجود موفقیت چشمگیر این روش، همواره این پرسش مطرح بوده که چه میزان از این موفقیت به خودِ «فرایند پیش‌آموزش» و «حجم انبوه داده‌های آموزشی» و چه میزان به «اهداف پیش‌آموزش» (Pretraining Objectives) و «ساختار مدل» بازمی‌گردد.

مقاله حاضر با عنوان «Downstream Datasets Make Surprisingly Good Pretraining Corpora»، اثری از کندان کریشنا، سوراب گارگ، جفری پی. بینگهام، و زکری سی. لیپتون، پاسخی نوآورانه و تا حدی شگفت‌انگیز به این پرسش ارائه می‌دهد. این پژوهش، با معرفی مفهوم «پیش‌آموزش خودکار» (Self-pretraining)، نشان می‌دهد که چگونه می‌توان تنها با استفاده از همان داده‌های کوچکی که برای تنظیم دقیق مدل به کار می‌روند، به نتایج پیش‌آموزشی دست یافت که حتی با پیکره‌های عظیم عمومی رقابت می‌کند و گاهی از آن‌ها پیشی می‌گیرد. این یافته‌ها پیامدهای عمیقی برای آینده پژوهش در NLP، دسترسی به مدل‌های قدرتمند، و ملاحظات اخلاقی مرتبط با داده‌ها دارند.

این مقاله توسط تیمی از پژوهشگران برجسته در حوزه هوش مصنوعی و پردازش زبان طبیعی، شامل کندان کریشنا، سوراب گارگ، جفری پی. بینگهام، و زکری سی. لیپتون ارائه شده است. این پژوهش در تقاطع دو حوزه کلیدی «محاسبات و زبان» (Computation and Language) و «یادگیری ماشین» (Machine Learning) قرار می‌گیرد. دکتر زکری سی. لیپتون، که سابقه‌ی درخشانی در پژوهش‌های مرتبط با شبکه‌های عصبی، مدل‌سازی زبانی، و اخلاق هوش مصنوعی دارد، رهبری این پروژه را بر عهده داشته است. تمرکز این تیم بر کاوش عمیق‌تر در مکانیسم‌های مؤثر بر عملکرد مدل‌های NLP و یافتن راه‌های بهینه برای آموزش آن‌ها، به ویژه در شرایطی که دسترسی به داده‌های عظیم محدود است، منجر به طرح ایده‌ی نوآورانه‌ی «پیش‌آموزش خودکار» شده است.

در دنیای رایج پردازش زبان طبیعی، رویکرد غالب، تنظیم دقیق (Fine-tuning) مدل‌های ترنسفورمر بزرگ پیش‌آموزش‌دیده (مانند BERT) بر روی مجموعه‌داده‌های کوچکترِ مرتبط با وظیفه مورد نظر (Downstream Datasets) است. با وجود موفقیت این رویکرد، شفافیت در مورد اینکه چه میزان از این بهبود عملکرد، به پیکره‌های عظیمِ مورد استفاده در پیش‌آموزش (Pretraining Corpora) و چه میزان به اهدافِ خودِ پیش‌آموزش (Pretraining Objectives) بازمی‌گردد، همچنان محل بحث است. این مقاله یک مطالعه‌ی در مقیاس بزرگ در زمینه «پیش‌آموزش خودکار» (Self-pretraining) را معرفی می‌کند، جایی که از همان داده‌های آموزشیِ وظیفه خاص (Downstream Training Data) هم برای پیش‌آموزش و هم برای تنظیم دقیق استفاده می‌شود.

در آزمایش‌هایی که با دو مدل ELECTRA و RoBERTa و بر روی ۱۰ مجموعه داده طبقه‌بندیِ مختلف (Distinct Downstream Classification Datasets) انجام شده، مشاهده می‌شود که «پیش‌آموزش خودکار» حتی در مقایسه با پیش‌آموزش استاندارد بر روی پیکره‌ی BookWiki (با استفاده از ده‌ها تا پانصد برابر داده کمتر)، عملکرد قابل رقابتی ارائه می‌دهد. به طرز غافلگیرکننده‌ای، این مدل‌های پیش‌آموزش‌داده‌شده بر روی وظایف خاص، اغلب در وظایف دیگر نیز عملکرد خوبی از خود نشان می‌دهند، از جمله در بنچمارک GLUE. علاوه بر وظایف طبقه‌بندی، «پیش‌آموزش خودکار» در وظایف پیش‌بینی خروجی ساختاریافته مانند پرسش و پاسخ مبتنی بر بازه (Span-based Question Answering) و استدلال عقلانی (Commonsense Inference) نیز مزایایی ارائه می‌دهد و بیش از ۵۰٪ از بهبود عملکرد حاصل از پیش‌آموزش بر روی پیکره BookWiki را تأمین می‌کند.

نتایج این پژوهش نشان می‌دهد که در بسیاری از سناریوها، بهبودهای عملکردی ناشی از پیش‌آموزش، عمدتاً توسط هدف پیش‌آموزش هدایت می‌شوند و لزوماً نیازمند استفاده از حجم عظیمی از داده‌های خارجی نیستند. این یافته‌ها، با توجه به نگرانی‌ها پیرامون مالکیت معنوی و محتوای نامناسب در داده‌های پیش‌آموزش در مقیاس وب، اهمیت ویژه‌ای پیدا می‌کنند.

قلب این پژوهش، طراحی و اجرای دقیق آزمایش‌هایی برای مقایسه رویکردهای مختلف پیش‌آموزش است. نویسندگان یک چارچوب «پیش‌آموزش خودکار» را ابداع کرده‌اند. در این روش، ابتدا مدل پایه‌ی زبانی (مانند RoBERTa یا ELECTRA) با استفاده از داده‌های همان وظیفه پایین‌دستی که قرار است در نهایت روی آن تنظیم دقیق شود، پیش‌آموزش داده می‌شود. این کار معمولاً با استفاده از اهداف استاندارد پیش‌آموزش صورت می‌گیرد، اما به جای استفاده از پیکره‌های عظیم عمومی، از مجموعه داده‌های کوچک و وظیفه‌محور استفاده می‌شود.

پس از مرحله «پیش‌آموزش خودکار»، این مدلِ تازه پیش‌آموزش‌داده‌شده، مستقیماً بر روی وظیفه نهایی (مثلاً طبقه‌بندی متن) تنظیم دقیق می‌شود. این رویکرد با روش استاندارد مقایسه می‌شود که در آن، مدل ابتدا بر روی یک پیکره عظیم عمومی (مانند BookWiki) پیش‌آموزش داده شده و سپس بر روی داده‌های وظیفه پایین‌دستی تنظیم دقیق می‌شود.

معیارهای کلیدی آزمایش‌ها:

• مدل‌های مورد استفاده: RoBERTa و ELECTRA، دو معماری ترنسفورمر بسیار موفق و پرکاربرد.
• مجموعه‌داده‌های طبقه‌بندی: ۱۰ مجموعه داده متنوع در وظایف مختلف طبقه‌بندی، که نشان‌دهنده گستردگی کاربرد این روش است.
• پیکره مرجع پیش‌آموزش: BookWiki، به عنوان نماینده‌ای از پیکره‌های عظیم و عمومی که معمولاً در پیش‌آموزش استفاده می‌شوند.
• وظایف اضافی: علاوه بر طبقه‌بندی، تأثیر پیش‌آموزش خودکار بر وظایفی چون پاسخ به پرسش (Question Answering) و استدلال عقلانی (Commonsense Reasoning) نیز مورد ارزیابی قرار گرفته است.
• مقیاس داده: مقایسه حجم داده‌های استفاده شده در پیش‌آموزش خودکار (که بسیار کمتر است) با حجم داده‌های پیکره BookWiki.

این طراحی آزمایشگاهی به پژوهشگران اجازه می‌دهد تا به طور دقیق، تأثیر استفاده از داده‌های خودِ وظیفه برای پیش‌آموزش را در مقابل استفاده از داده‌های عمومی عظیم، مورد سنجش قرار دهند.

نتایج این مطالعه، انتظارات را بر هم می‌زند و نکات قابل تاملی را آشکار می‌سازد:

• عملکرد رقابتی و برتر «پیش‌آموزش خودکار»: در کمال شگفتی، مدل‌هایی که با استفاده از «پیش‌آموزش خودکار» (بر روی داده‌های وظیفه پایین‌دستی) آموزش دیده‌اند، در اکثر وظایف طبقه‌بندی، عملکردی برابر یا حتی بهتر از مدل‌هایی داشته‌اند که بر روی پیکره عظیم BookWiki پیش‌آموزش دیده‌اند. این اتفاق در حالی رخ داده که حجم داده‌های مورد استفاده در پیش‌آموزش خودکار، هزاران برابر کمتر بوده است.
• برد در ۷ و ۵ وظیفه: به طور مشخص، مدل ELECTRA در ۷ وظیفه طبقه‌بندی و مدل RoBERTa در ۵ وظیفه طبقه‌بندی، عملکرد بهتری نسبت به پیش‌آموزش استاندارد بر روی BookWiki از خود نشان داده‌اند. این یک دستاورد چشمگیر است که نشان می‌دهد، تخصصی بودن داده‌های پیش‌آموزش، می‌تواند بسیار مؤثرتر از حجیم بودن آن‌ها باشد.
• قابلیت تعمیم به وظایف دیگر: یکی از یافته‌های بسیار جالب، این است که مدل‌های «پیش‌آموزش خودکار» شده بر روی یک وظیفه خاص، اغلب در وظایف دیگر نیز عملکرد خوبی دارند. این نشان‌دهنده آن است که فرایند پیش‌آموزش خودکار، صرف‌نظر از وظیفه اولیه، دانش زبانی مفیدی را استخراج کرده است که قابل انتقال به وظایف جدید است. این پدیده در بنچمارک استاندارد GLUE نیز مشاهده شده است.
• عملکرد قوی در وظایف پیچیده: «پیش‌آموزش خودکار» فقط به وظایف طبقه‌بندی محدود نمی‌شود. این روش همچنین در وظایف پیچیده‌تر مانند «پرسش و پاسخ مبتنی بر بازه» و «استدلال عقلانی» نیز مزایای قابل توجهی ارائه داده است. در برخی موارد، این روش توانسته است بیش از ۵۰٪ از بهبود عملکردی را که پیش‌آموزش بر روی پیکره BookWiki ایجاد می‌کرد، تأمین کند.
• اهمیت هدف پیش‌آموزش: نتایج به شدت نشان می‌دهند که هدف پیش‌آموزش (Pretraining Objective) نقش کلیدی در کسب بهبود عملکرد دارد و صرفاً استفاده از حجم عظیم داده، ضامن برتری نیست. این بدان معناست که طراحی اهداف پیش‌آموزش مناسب و انتخاب داده‌های مرتبط با آن اهداف، می‌تواند بسیار حیاتی‌تر از جمع‌آوری انبوهی از داده‌های عمومی باشد.

یافته‌های این مقاله دارای پیامدهای گسترده و عملی برای جامعه تحقیقاتی و صنعتی NLP است:

• کاهش نیاز به داده‌های عظیم: بزرگترین دستاورد این پژوهش، کاهش چشمگیر وابستگی به پیکره‌های عظیم و غالباً دشوار برای جمع‌آوری و پردازش داده‌های پیش‌آموزش است. این امر دسترسی به مدل‌های قدرتمند را برای محققان و سازمان‌هایی که منابع محاسباتی یا داده‌ای محدودی دارند، تسهیل می‌کند.
• توسعه مدل‌های تخصصی‌تر و کارآمدتر: امکان پیش‌آموزش خودکار، به توسعه‌دهندگان اجازه می‌دهد تا مدل‌هایی بسازند که به طور ذاتی برای وظایف خاص یا دامنه‌های خاص (مانند پزشکی، حقوقی، یا مالی) بهینه‌سازی شده‌اند. این مدل‌ها می‌توانند در مقایسه با مدل‌های عمومی، کارایی و دقت بالاتری در دامنه تخصصی خود داشته باشند.
• ملاحظات اخلاقی و حقوقی: با توجه به نگرانی‌های رو به افزایش در مورد محتوای نامناسب، متعصبانه، یا نقض حقوق مالکیت معنوی در داده‌های جمع‌آوری شده از وب (مانند Common Crawl)، «پیش‌آموزش خودکار» راه حلی جذاب برای دور زدن این مشکلات ارائه می‌دهد. با استفاده از داده‌های خاص وظیفه، که معمولاً کنترل شده‌تر و یا متعلق به یک سازمان خاص هستند، می‌توان از ورود محتوای مضر به مرحله پیش‌آموزش جلوگیری کرد.
• تسریع پژوهش و توسعه: کوتاه شدن زمان و هزینه لازم برای پیش‌آموزش مدل‌ها، می‌تواند چرخه تحقیق و توسعه در NLP را تسریع بخشد. محققان می‌توانند به سرعت ایده‌های جدید را آزمایش کرده و مدل‌های سفارشی‌سازی‌شده را بدون صرف زمان و منابع هنگفت برای جمع‌آوری و پردازش پیکره‌های عظیم، توسعه دهند.
• مثال عملی: فرض کنید یک شرکت کوچک قصد دارد یک مدل چت‌بات برای خدمات مشتریان خود بسازد. به جای اینکه از ابتدا با یک مدل از پیش آموزش‌دیده بر روی اینترنت شروع کنند و سپس آن را تنظیم دقیق کنند (که ممکن است هزینه‌بر باشد و داده‌های نامرتبط زیادی را شامل شود)، می‌توانند با استفاده از سوابق مکالمات خدماتی خود، یک پیش‌آموزش خودکار انجام دهند. این مدلِ «پیش‌آموزش خودکار شده» بر روی داده‌های مکالمات مشتریان، به احتمال زیاد درک بسیار بهتری از اصطلاحات، نیازها و لحن مشتریان آن شرکت خواهد داشت و در نهایت منجر به یک چت‌بات کارآمدتر و تخصصی‌تر می‌شود.

مقاله «Downstream Datasets Make Surprisingly Good Pretraining Corpora» با طرح ایده «پیش‌آموزش خودکار»، یک پارادایم جدید و بسیار امیدوارکننده در حوزه پردازش زبان طبیعی معرفی می‌کند. این پژوهش به طور قاطع نشان می‌دهد که ماهیت و ارتباط داده‌های پیش‌آموزش با وظیفه نهایی، اهمیت بسیار بیشتری نسبت به صرف حجم عظیم داده‌ها دارد.

یافته‌های کلیدی این مقاله، به ویژه عملکرد برتر «پیش‌آموزش خودکار» در مقایسه با پیش‌آموزش بر روی پیکره‌های عمومی عظیم، و همچنین قابلیت تعمیم این روش به وظایف متنوع، پیامدهای عمیقی دارد. این نتایج نه تنها راه را برای توسعه مدل‌های NLP کارآمدتر، مقرون‌به‌صرفه‌تر و اخلاقی‌تر هموار می‌سازد، بلکه درک ما را از چگونگی یادگیری زبان توسط مدل‌های بزرگ نیز دگرگون می‌کند.

با توجه به چالش‌های فزاینده مربوط به دسترسی به داده‌ها، هزینه‌های محاسباتی، و مسائل اخلاقی مرتبط با داده‌های پیش‌آموزش در مقیاس وب، «پیش‌آموزش خودکار» می‌تواند به یک ابزار استاندارد در جعبه ابزار محققان و توسعه‌دهندگان NLP تبدیل شود. این مقاله، دروازه‌ای نو به سوی ساخت مدل‌های هوشمند زبانی باز کرده است که نه تنها قدرتمندتر، بلکه دسترس‌پذیرتر و مسئولانه‌تر هستند.