معرفی مقاله و اهمیت آن

یادگیری افزایشی (Incremental Learning – IL) یکی از چالش‌های دیرینه و حیاتی در حوزه‌های بینایی کامپیوتر و پردازش زبان‌های طبیعی (NLP) است. این حوزه به سیستم‌ها امکان می‌دهد تا به طور مداوم و بدون فراموشی دانش قبلی، مهارت‌های جدیدی کسب کنند. در سال‌های اخیر، با ظهور و پیشرفت خیره‌کننده مدل‌های زبانی از پیش آموزش‌دیده (Pre-trained Language Models – PLMs)، رویکرد رایج در تحقیقات IL در NLP، استفاده از این مدل‌ها به عنوان ستون فقرات سیستم‌ها بوده است.

اکثر تحقیقات در این زمینه بر این فرض استوار بوده‌اند که فراموشی فاجعه‌بار (Catastrophic Forgetting)، یعنی از دست دادن شدید دانش قبلی هنگام یادگیری اطلاعات جدید، بزرگترین مانع برای دستیابی به عملکرد برتر در یادگیری افزایشی است. به همین دلیل، تلاش‌های زیادی برای توسعه تکنیک‌های پیچیده به منظور مقابله با این پدیده صورت گرفته است. با این حال، مقاله حاضر با عنوان “یادگیری یا بازیابی؟ بازنگری یادگیری افزایشی با مدل‌های زبانی از پیش آموزش‌دیده” این فرض رایج را به چالش می‌کشد. این تحقیق نشان می‌دهد که این فرض ممکن است گمراه‌کننده باشد و PLMs به طور ذاتی توانایی بیشتری برای مقاومت در برابر فراموشی فاجعه‌بار دارند که اغلب دست‌کم گرفته می‌شود. اهمیت این مقاله در بازنگری اساسی و ارائه یک دیدگاه نوین نسبت به یادگیری افزایشی با PLMs است که می‌تواند مسیر تحقیقات آینده را به سمت رویکردهای ساده‌تر و کارآمدتر سوق دهد.

نویسندگان و زمینه تحقیق

نویسندگان این مقاله علمی عبارتند از: Junhao Zheng، Shengjie Qiu و Qianli Ma. این پژوهش در دسته‌بندی‌های “محاسبات و زبان” (Computation and Language) و “یادگیری ماشین” (Machine Learning) قرار می‌گیرد که نشان‌دهنده ماهیت بین‌رشته‌ای آن در تقاطع این دو حوزه کلیدی علوم کامپیوتر است.

زمینه تحقیق این مقاله عمیقاً در مسائل مرتبط با یادگیری افزایشی در پردازش زبان‌های طبیعی (IL in NLP) ریشه دارد. با ظهور PLMs مانند BERT، GPT، RoBERTa و موارد مشابه، عملکرد NLP در بسیاری از وظایف به طور چشمگیری بهبود یافته است. این مدل‌ها به دلیل آموزش بر روی حجم عظیمی از داده‌های متنی و توانایی بالایشان در درک و تولید زبان، به ابزاری قدرتمند تبدیل شده‌اند. با این حال، استفاده از آنها در سناریوهای یادگیری افزایشی، که در آن مدل باید به تدریج مهارت‌های جدیدی را بدون نیاز به آموزش مجدد از ابتدا بر روی کل داده‌ها کسب کند، با چالش‌هایی همراه است. تحقیقات قبلی عمدتاً بر غلبه بر فراموشی فاجعه‌بار از طریق رویکردهای پیچیده، مانند ذخیره نمونه‌های قدیمی (rehearsal)، تنظیم پارامترها (parameter isolation) یا تولید مجدد داده‌ها (generative replay)، متمرکز بودند. این مقاله با زیر سؤال بردن این پارادایم، به بررسی این موضوع می‌پردازد که آیا PLMs به خودی خود توانایی‌های پنهانی برای مقابله با فراموشی دارند که ما از آن‌ها غافل بوده‌ایم.

چکیده و خلاصه محتوا

مقاله “یادگیری یا بازیابی؟” به بررسی مجدد فرض بنیادی در یادگیری افزایشی (IL) می‌پردازد که فراموشی فاجعه‌بار (catastrophic forgetting) را بزرگترین مانع برای عملکرد بهینه در PLMs می‌داند. محققان با بررسی دقیق بیش از ۲۰ روش رایج در چهار وظیفه طبقه‌بندی NLP (شامل طبقه‌بندی متن، طبقه‌بندی هدف، استخراج رابطه و تشخیص موجودیت نام‌گذاری شده) و تحت دو تنظیمات متداول IL (افزایشی-کلاسی و افزایشی-وظیفه‌ای)، به نتیجه‌ای شگفت‌انگیز دست یافتند: اکثر این روش‌ها توانایی ذاتی PLMs در مقاومت در برابر فراموشی را به شدت دست‌کم می‌گیرند.

بر اساس این مشاهدات، نویسندگان یک روش به ظاهر ساده و در عین حال بسیار مؤثر به نام SEQ* را برای IL با PLMs پیشنهاد می‌کنند. این روش به طور قابل توجهی پارامترهای قابل آموزش کمتری نیاز دارد و زمان آموزش بسیار کوتاه‌تری را مصرف می‌کند. نتایج نشان می‌دهد که SEQ* عملکردی رقابتی یا حتی برتر در مقایسه با روش‌های پیشرفته (SOTA) IL ارائه می‌دهد. این یافته‌ها تأکید می‌کنند که باید در درک خود از IL با PLMs تجدید نظر کنیم و مطالعات آینده را به سمت کاوش عمیق‌تر در فهم پدیده فراموشی فاجعه‌بار در PLMs و نه صرفاً تلاش برای مقابله با آن سوق دهیم. کد، داده‌ها و اسکریپت‌های مورد استفاده در این تحقیق به صورت عمومی در گیت‌هاب منتشر شده‌اند.

روش‌شناسی تحقیق

رویکرد پژوهشی این مقاله بر پایه یک بررسی جامع و سیستماتیک استوار است که تلاش می‌کند تا درک موجود از یادگیری افزایشی با PLMs را به چالش بکشد. این روش‌شناسی را می‌توان در چند گام کلیدی خلاصه کرد:

• بررسی گسترده روش‌ها: محققان بیش از ۲۰ روش مطرح و پیشرفته یادگیری افزایشی را که در ادبیات علمی NLP برای کار با PLMs توسعه یافته‌اند، انتخاب و مورد تجزیه و تحلیل قرار دادند. این انتخاب تضمین می‌کند که طیف وسیعی از استراتژی‌های موجود، از جمله آن‌هایی که بر رویکردهای rehearsal-based (تکرار نمونه‌های قدیمی)، regularization-based (تنظیم‌کننده) و parameter-isolation (جداسازی پارامترها) تمرکز دارند، پوشش داده شده‌اند.

• وظایف و تنظیمات یادگیری افزایشی: برای ارزیابی عملکرد و پدیده‌های مربوط به فراموشی، چهار وظیفه کلیدی در NLP انتخاب شدند که عبارتند از:

  • طبقه‌بندی متن (Text Classification): تعیین دسته یک متن.
  • طبقه‌بندی هدف (Intent Classification): شناسایی نیت کاربر از یک عبارت.
  • استخراج رابطه (Relation Extraction): شناسایی روابط معنایی بین موجودیت‌ها.
  • تشخیص موجودیت نام‌گذاری شده (Named Entity Recognition – NER): شناسایی و طبقه‌بندی موجودیت‌ها (مانند افراد، مکان‌ها، سازمان‌ها).

  این وظایف تحت دو تنظیمات رایج یادگیری افزایشی ارزیابی شدند:

  • یادگیری افزایشی-کلاسی (Class-Incremental Learning – CIL): کلاس‌های جدید به تدریج به مدل معرفی می‌شوند و مدل باید بتواند هم کلاس‌های قدیمی و هم کلاس‌های جدید را شناسایی کند.
  • یادگیری افزایشی-وظیفه‌ای (Task-Incremental Learning – TIL): مدل وظایف کاملاً جدیدی را به ترتیب یاد می‌گیرد و باید بتواند در هر وظیفه عملکرد خوبی داشته باشد.

• مشاهده و تحلیل: با اجرای این روش‌ها در وظایف و تنظیمات ذکر شده، محققان به این نتیجه رسیدند که بسیاری از این روش‌ها پتانسیل PLMs را در حفظ دانش قبلی دست‌کم می‌گیرند. این مشاهدات پایه و اساس پیشنهاد روش جدید را تشکیل داد.

• پیشنهاد روش SEQ*: بر اساس درک جدید، یک روش جدید به نام SEQ* (Sequential Training with PLMs) معرفی شد. نام “Frustratingly Easy” برای این روش، سادگی آن را برجسته می‌کند. ایده اصلی SEQ* این است که به جای پیاده‌سازی مکانیزم‌های پیچیده برای مقابله با فراموشی، به سادگی از قابلیت‌های ذاتی PLMs برای یادگیری پی‌درپی وظایف جدید استفاده شود. به طور دقیق، این روش ممکن است شامل تنظیم دقیق (fine-tuning) یک PLM بر روی داده‌های وظیفه جدید به صورت متوالی باشد، با این فرض که خود PLM به اندازه کافی قدرتمند است که دانش قبلی را حفظ کند.

• ارزیابی و مقایسه: SEQ* با روش‌های SOTA یادگیری افزایشی مقایسه شد. معیارهای ارزیابی شامل عملکرد نهایی (accuracy، F1-score و …)، تعداد پارامترهای قابل آموزش (trainable parameters) و زمان آموزش (training time) بود. این مقایسه‌ها نشان‌دهنده کارایی و اثربخشی SEQ* در کنار سادگی آن بود.

این روش‌شناسی قوی و شفاف، امکان راستی‌آزمایی یافته‌ها را فراهم می‌آورد و به جامعه علمی امکان می‌دهد تا با اطمینان به نتایج این تحقیق اعتماد کنند. ارائه عمومی کد، داده و اسکریپت‌ها نیز گواهی بر این شفافیت است.

یافته‌های کلیدی

این مقاله با آزمایش‌های گسترده و تحلیل دقیق، چندین یافته کلیدی و انقلابی را در حوزه یادگیری افزایشی با PLMs معرفی می‌کند که درک قبلی ما از این حوزه را به چالش می‌کشد:

• دست‌کم گرفتن توانایی ذاتی PLMs: مهمترین یافته این است که مدل‌های زبانی از پیش آموزش‌دیده (PLMs) دارای توانایی ذاتی و قابل توجهی برای مقاومت در برابر فراموشی فاجعه‌بار هستند که در تحقیقات قبلی به شدت دست‌کم گرفته شده است. این بدان معناست که بسیاری از روش‌های پیچیده‌ای که برای جلوگیری از فراموشی طراحی شده‌اند، ممکن است در واقع اثربخشی کمتری از آنچه انتظار می‌رود داشته باشند یا حتی غیرضروری باشند.

• کارایی روش SEQ*: روش پیشنهادی، SEQ* که به عنوان یک روش “به طرز آزاردهنده‌ای آسان” توصیف می‌شود، در مقایسه با روش‌های پیشرفته (SOTA) IL عملکردی رقابتی یا حتی برتر از خود نشان می‌دهد. این نتیجه حاکی از آن است که پیچیدگی لزوماً به عملکرد بهتر منجر نمی‌شود و سادگی می‌تواند راه حل قدرتمندی باشد.

• کاهش منابع مورد نیاز: SEQ* به طور قابل توجهی پارامترهای قابل آموزش کمتری نیاز دارد و زمان آموزش بسیار کوتاه‌تری را مصرف می‌کند. این موضوع نشان‌دهنده بهره‌وری بالای این روش و کاهش چشمگیر هزینه‌های محاسباتی و زمانی برای توسعه و استقرار سیستم‌های IL است.

• لزوم بازنگری در فرض‌ها: این یافته‌ها به جامعه علمی هشدار می‌دهند که فرضیات اولیه خود در مورد فراموشی فاجعه‌بار در PLMs را بازنگری کنند. به جای تمرکز صرف بر “چگونه فراموشی را مهار کنیم؟”، باید بیشتر به “چرا و چگونه PLMs دانش را حفظ می‌کنند؟” بپردازیم.

• تغییر پارادایم تحقیقاتی: نتایج این مقاله می‌تواند به یک تغییر پارادایم در تحقیقات IL با PLMs منجر شود، به طوری که تمرکز از مکانیزم‌های پیچیده مقابله با فراموشی به سمت فهم بنیادی‌تر مکانیسم‌های حفظ دانش در خود PLMs معطوف گردد.

به عنوان مثال، در وظیفه “تشخیص موجودیت نام‌گذاری شده”، جایی که مدل باید انواع مختلف موجودیت‌ها را به مرور زمان یاد بگیرد، روش SEQ* نشان داد که می‌تواند موجودیت‌های جدید را با دقت بالایی شناسایی کند در حالی که فراموشی قابل توجهی در شناسایی موجودیت‌های قدیمی رخ نمی‌دهد، حتی بدون استفاده از بافرهای نمونه یا مکانیزم‌های پیچیده رگولاریزاسیون که در روش‌های SOTA رایج هستند. این خود دلیلی بر توانایی ذاتی PLMs است.

کاربردها و دستاوردها

یافته‌های این تحقیق پیامدهای عملی و نظری گسترده‌ای برای حوزه یادگیری افزایشی (IL) و پردازش زبان‌های طبیعی (NLP) دارد. در ادامه به برخی از مهمترین کاربردها و دستاوردها اشاره می‌شود:

• ساده‌سازی طراحی سیستم‌های IL: مهمترین دستاورد، امکان طراحی سیستم‌های IL با PLMs به روشی بسیار ساده‌تر و کارآمدتر است. با اثبات اینکه PLMs خود دارای قابلیت‌های قوی ضد فراموشی هستند، نیاز به پیاده‌سازی لایه‌ها و مکانیزم‌های پیچیده برای مقابله با فراموشی کاهش می‌یابد. این امر فرآیند تحقیق و توسعه را تسریع می‌بخشد.

• کاهش هزینه‌های محاسباتی: روش SEQ* به طور قابل توجهی پارامترهای قابل آموزش کمتری دارد و زمان آموزش کوتاه‌تری را نیاز دارد. این به معنای صرفه‌جویی در منابع محاسباتی گران‌قیمت (مانند GPUها) و کاهش مصرف انرژی است که نه تنها از نظر اقتصادی مقرون به صرفه است بلکه با ملاحظات زیست‌محیطی نیز همخوانی دارد.

• افزایش سرعت توسعه و استقرار مدل‌ها: با توجه به سادگی و کارایی SEQ*، توسعه‌دهندگان می‌توانند مدل‌های یادگیری افزایشی را با سرعت بیشتری ایجاد و به کار گیرند. این امر به ویژه در سناریوهایی که نیاز به به‌روزرسانی مداوم مدل با داده‌های جدید وجود دارد، بسیار ارزشمند است؛ مثلاً در سیستم‌های هوش مصنوعی مکالمه‌ای که باید به تدریج دامنه‌های جدیدی از دانش را یاد بگیرند.

• تغییر تمرکز تحقیقاتی: این مقاله محققان را تشویق می‌کند تا تمرکز خود را از صرفاً “جبران فراموشی” به “درک عمیق‌تر پدیده فراموشی در PLMs” تغییر دهند. این می‌تواند به کشف بینش‌های جدید در مورد معماری PLMs، نحوه کدگذاری دانش در آنها و اینکه چگونه می‌توان از قابلیت‌های ذاتی آنها بهره برد، منجر شود.

• قابلیت تکرار و توسعه‌پذیری: انتشار عمومی کد، داده‌ها و اسکریپت‌ها در GitHub (https://github.com/zzz47zzz/codebase-for-incremental-learning-with-llm) یک دستاورد مهم برای شفافیت علمی و قابلیت تکرار تحقیق است. این اقدام به سایر محققان اجازه می‌دهد تا نتایج را تأیید کنند، روش‌ها را بهبود بخشند و تحقیقات آینده را بر پایه این کار بنا نهند.

• بهبود سیستم‌های دنیای واقعی: در سیستم‌هایی که نیاز به یادگیری مستمر از جریان داده‌ها دارند، مانند سیستم‌های توصیه، فیلتر هرزنامه، یا تحلیل احساسات بر روی محتوای جدید، رویکردهای ساده‌تر و کارآمدتر IL می‌توانند به طور قابل توجهی عملکرد را بهبود بخشند و نگهداری سیستم را آسان‌تر کنند.

به طور خلاصه، این تحقیق نه تنها یک روش جدید و کارآمد برای یادگیری افزایشی معرفی می‌کند، بلکه با به چالش کشیدن فرضیات قدیمی، راه را برای رویکردهای نوآورانه و مؤثرتر در آینده هموار می‌سازد.

نتیجه‌گیری

مقاله “یادگیری یا بازیابی؟ بازنگری یادگیری افزایشی با مدل‌های زبانی از پیش آموزش‌دیده” یک نقطه عطف مهم در فهم ما از یادگیری افزایشی (IL) در حوزه پردازش زبان‌های طبیعی (NLP) است. این تحقیق با جسارت به چالش کشیدن فرض دیرینه و غالب مبنی بر اینکه فراموشی فاجعه‌بار (Catastrophic Forgetting) بزرگترین مانع برای عملکرد برتر در IL با مدل‌های زبانی از پیش آموزش‌دیده (PLMs) است، دریچه‌ای جدید به روی تحقیقات آتی می‌گشاید.

یافته‌های کلیدی این پژوهش نشان می‌دهند که PLMs به طور ذاتی دارای توانایی قابل توجهی برای مقاومت در برابر فراموشی هستند که غالباً دست‌کم گرفته می‌شود. معرفی روش SEQ*، که با سادگی و کارایی خود عملکردی رقابتی یا حتی برتر از روش‌های پیچیده و پیشرفته فعلی ارائه می‌دهد، گواهی بر این حقیقت است. علاوه بر این، SEQ* نیاز به پارامترهای قابل آموزش بسیار کمتر و زمان آموزش کوتاه‌تر دارد که آن را به گزینه‌ای بسیار جذاب از نظر اقتصادی و محاسباتی تبدیل می‌کند.

این مقاله نه تنها یک رویکرد عملی جدید را برای IL با PLMs ارائه می‌دهد، بلکه محققان را به بازنگری بنیادین در درک خود از پدیده فراموشی فاجعه‌بار در این مدل‌ها تشویق می‌کند. به جای صرفاً توسعه مکانیزم‌های دفاعی پیچیده، باید تلاش کنیم تا مکانیسم‌های داخلی PLMs را که به آنها امکان حفظ دانش را می‌دهند، عمیق‌تر درک کنیم. این تغییر رویکرد می‌تواند به طراحی الگوریتم‌های یادگیری افزایشی ساده‌تر، کارآمدتر و مقیاس‌پذیرتر در آینده منجر شود.

در نهایت، این پژوهش اهمیت مشاهده دقیق و آزمایش تجربی را در علوم کامپیوتر برجسته می‌کند. گاهی اوقات، ساده‌ترین راه‌حل‌ها که بر پایه درک عمیق از سیستم‌های موجود بنا شده‌اند، می‌توانند مؤثرترین باشند. انتشار عمومی کد و داده‌ها نیز زمینه را برای تکرارپذیری، تأیید و گسترش این یافته‌های مهم در جامعه علمی فراهم می‌آورد و نویدبخش پیشرفت‌های هیجان‌انگیز در حوزه یادگیری افزایشی است.