در دهه‌های اخیر، پردازش زبان طبیعی (NLP) به لطف ظهور مدل‌های زبانی بزرگ (LLMs) مبتنی بر معماری ترنسفورمر، مانند BERT و GPT، پیشرفت‌های چشمگیری داشته است. این مدل‌ها توانایی درک و تولید زبان انسان را به سطحی بی‌سابقه رسانده‌اند. یکی از کاربردهای کلیدی این مدل‌ها، طبقه‌بندی متون (Text Classification) است که در حوزه‌هایی مانند تحلیل احساسات، تشخیص اسپم، و دسته‌بندی اخبار کاربرد فراوان دارد.

با این حال، این مدل‌های قدرتمند یک نقطه ضعف بزرگ دارند: آن‌ها به حجم عظیمی از داده‌های آموزشی برچسب‌دار نیاز دارند تا به پتانسیل کامل خود دست یابند. در بسیاری از کاربردهای دنیای واقعی، جمع‌آوری چنین حجمی از داده، هزینه‌بر، زمان‌بر و گاهی غیرممکن است. هنگامی که حجم داده‌های آموزشی در مقایسه با اندازه غول‌پیکر مدل کم باشد، پدیده‌ای به نام کم‌برازش (Under-fitting) یا به عبارت دقیق‌تر، بیش‌برازش (Overfitting) بر روی داده‌های محدود، رخ می‌دهد. در این حالت، مدل به جای یادگیری الگوهای کلی زبان، جزئیات و نویزهای داده‌های آموزشی را حفظ می‌کند و در نتیجه، عملکرد ضعیفی بر روی داده‌های جدید و دیده‌نشده خواهد داشت.

برای غلبه بر این چالش، محققان به سراغ تکنیکی به نام افزایش داده (Data Augmentation) رفته‌اند. هدف این تکنیک، تولید مصنوعی داده‌های جدید و متنوع از داده‌های موجود است تا حجم مجموعه آموزشی افزایش یابد و مدل بتواند الگوهای قوی‌تری را یاد بگیرد. مقاله “DAGAM: Data Augmentation with Generation And Modification” که در اینجا به بررسی آن می‌پردازیم، یک رویکرد نوآورانه و جامع برای افزایش داده در وظایف طبقه‌بندی متن ارائه می‌دهد. اهمیت این مقاله در ارائه یک چارچوب سه‌گانه است که نه‌تنها روش‌های موجود را بهبود می‌بخشد، بلکه با ترکیب هوشمندانه آن‌ها، به نتایج قابل توجهی در بهبود عملکرد مدل‌های زبانی بزرگ دست می‌یابد.

این مقاله توسط تیمی از محققان برجسته به نام‌های Byeong-Cheol Jo، Tak-Sung Heo، Yeongjoon Park، Yongmin Yoo، Won Ik Cho و Kyungsun Kim به رشته تحریر درآمده است. این پژوهش در حوزه تلاقی محاسبات و زبان (Computation and Language) و هوش مصنوعی (Artificial Intelligence) قرار می‌گیرد و نشان‌دهنده تلاش‌های مستمر جامعه علمی برای کارآمدتر کردن و دسترس‌پذیرتر کردن مدل‌های زبانی پیشرفته است.

زمینه این تحقیق، حل مشکل کمبود داده در فرآیند تنظیم دقیق (Fine-tuning) مدل‌های از پیش‌آموزش‌دیده است. این مقاله بر پایه کارهای پیشین در زمینه افزایش داده برای متن بنا شده و با ارائه یک چارچوب ترکیبی، گامی مهم به جلو برداشته است. این رویکرد به ویژه برای کاربردهایی که داده‌های برچسب‌دار در آن‌ها کمیاب است، مانند زبان‌های کمتر رایج یا حوزه‌های تخصصی پزشکی و حقوقی، بسیار ارزشمند است.

طبقه‌بندی متن یکی از وظایف اصلی در پردازش زبان طبیعی است که با ظهور مدل‌های زبانی از پیش‌آموزش‌دیده، به عملکرد فوق‌العاده‌ای دست یافته است. با این حال، به دلیل اندازه بسیار بزرگ این مدل‌ها در مقایسه با حجم داده‌های آموزشی موجود، مشکل کم‌برازش (Under-fitting) اغلب رخ می‌دهد. در همین راستا، این مقاله سه طرح نوآورانه برای افزایش داده معرفی می‌کند که به کاهش این مشکل کمک می‌کنند.

این سه رویکرد عبارتند از:

• DAG (Data Augmentation with Generation): در این روش، از یک مدل مولد برای تولید داده‌های متنی جدید استفاده می‌شود. این داده‌ها از نظر معنایی به داده‌های اصلی شباهت دارند اما از نظر ساختار و واژگان متفاوت هستند.
• DAM (Data Augmentation with Modification): این رویکرد از تکنیک‌های اصلاح متن مانند تخریب (حذف یا جایگزینی کلمات) و تغییر ترتیب کلمات برای ایجاد نسخه‌های جدید از داده‌های موجود بهره می‌برد.
• DAGAM (Data Augmentation with Generation And Modification): این روش نهایی و پیشنهادی اصلی مقاله است که دو رویکرد DAG و DAM را با یکدیگر ترکیب می‌کند تا عملکردی به مراتب بهتر حاصل شود.

نویسندگان این روش‌ها را بر روی شش مجموعه داده استاندارد در حوزه طبقه‌بندی متن پیاده‌سازی کرده و نتایج را از طریق تنظیم دقیق و ارزیابی یک مدل مبتنی بر BERT بررسی کرده‌اند. نتایج به‌دست‌آمده نشان می‌دهد که هر سه روش، به ویژه DAGAM، عملکرد مدل را در مقایسه با آموزش فقط بر روی داده‌های اصلی به طور قابل توجهی بهبود می‌بخشند.

قلب این مقاله، ارائه یک چارچوب روشمند برای افزایش داده است. در ادامه، هر یک از سه مولفه اصلی این چارچوب را با جزئیات بیشتری بررسی می‌کنیم.

الف) افزایش داده با تولید (DAG)

روش DAG بر استفاده از یک مدل زبانی مولد (مانند GPT-2) برای ساخت جملات کاملاً جدید استوار است. ایده اصلی این است که داده‌های تولید شده باید ضمن حفظ برچسب (کلاس) داده اصلی، از نظر معنایی غنی و از نظر واژگانی متنوع باشند. فرآیند کار به این صورت است که مدل مولد ابتدا بر روی مجموعه داده آموزشی اصلی تنظیم دقیق می‌شود تا سبک و محتوای خاص آن دامنه را بیاموزد. سپس، از این مدل برای تولید نمونه‌های جدید برای هر کلاس استفاده می‌شود.

برای مثال، اگر جمله اصلی در کلاس “نقد مثبت فیلم” این باشد: “این فیلم یک شاهکار سینمایی بود.”، مدل مولد ممکن است جملات زیر را تولید کند:

• “از تماشای این فیلم فوق‌العاده لذت بردم.”
• “بازی بازیگران و کارگردانی در این اثر بی‌نظیر بود.”
• “به همه توصیه می‌کنم این فیلم را ببینند.”

این روش به مدل طبقه‌بند کمک می‌کند تا مفاهیم را به شکل عمیق‌تری یاد بگیرد و به کلمات کلیدی خاصی وابسته نباشد.

ب) افزایش داده با اصلاح (DAM)

روش DAM رویکردی ساده‌تر و از نظر محاسباتی بسیار ارزان‌تر است. در این روش، به جای تولید جملات جدید، نمونه‌های موجود از طریق تغییرات جزئی دستکاری می‌شوند. این مقاله دو تکنیک اصلی را در این دسته بررسی می‌کند:

• تخریب (Corruption): این تکنیک شامل عملیات تصادفی مانند حذف، جایگزینی یا درج کلمات در جمله است. برای مثال، جمله “من از این کتاب خیلی خوشم آمد” ممکن است به “من از کتاب خوشم آمد” (حذف) یا “من از این کتاب خیلی زیاد خوشم آمد” (درج) تبدیل شود. این کار مدل را در برابر نویز و خطاهای تایپی در داده‌های واقعی مقاوم‌تر می‌کند.
• تغییر ترتیب کلمات (Word Order Change): در این روش، ترتیب کلمات در جمله به صورت تصادفی تغییر می‌کند. البته این تغییر باید به گونه‌ای باشد که معنای اصلی جمله تا حد زیادی حفظ شود. برای مثال، “بارسلونا رئال مادرید را در فینال شکست داد” می‌تواند به “رئال مادرید را بارسلونا در فینال شکست داد” تبدیل شود. این تکنیک به مدل کمک می‌کند تا به جای تکیه بر ترتیب ثابت کلمات، بر روابط معنایی بین آن‌ها تمرکز کند.

ج) افزایش داده با تولید و اصلاح (DAGAM)

DAGAM، رویکرد پرچمدار این مقاله، یک استراتژی ترکیبی هوشمندانه است که از نقاط قوت هر دو روش DAG و DAM بهره می‌برد. فرآیند کار در این روش دو مرحله دارد:

1. ابتدا، با استفاده از روش DAG، مجموعه داده با نمونه‌های جدید و تولید شده به صورت مصنوعی غنی می‌شود.
2. سپس، روش DAM (شامل تخریب و تغییر ترتیب کلمات) نه تنها بر روی داده‌های اصلی، بلکه بر روی داده‌های تولید شده در مرحله قبل نیز اعمال می‌شود.

این ترکیب قدرتمند، یک مجموعه داده آموزشی بسیار بزرگ و متنوع ایجاد می‌کند. داده‌های تولید شده (DAG) تنوع معنایی و مفهومی را افزایش می‌دهند، در حالی که داده‌های اصلاح شده (DAM) تنوع ساختاری و واژگانی را فراهم کرده و مدل را قوی‌تر می‌سازند. این هم‌افزایی باعث می‌شود مدل طبقه‌بند، الگوهای بسیار جامع‌تری را یاد بگیرد و عملکرد بهتری در مواجهه با داده‌های جدید داشته باشد.

آزمایش‌های انجام شده در این مقاله بر روی شش مجموعه داده معتبر طبقه‌بندی متن، نتایج واضح و قانع‌کننده‌ای را به همراه داشت. یافته‌های اصلی این پژوهش را می‌توان به صورت زیر خلاصه کرد:

• برتری همه روش‌ها نسبت به خط پایه: هر سه روش پیشنهادی (DAG، DAM و DAGAM) توانستند عملکرد مدل BERT را در مقایسه با حالتی که فقط از داده‌های اصلی استفاده می‌شد، بهبود بخشند. این نشان می‌دهد که افزایش داده یک استراتژی مؤثر برای مقابله با کمبود داده است.
• عملکرد برتر DAGAM: در تمامی آزمایش‌ها، روش ترکیبی DAGAM بهترین نتایج را به دست آورد. این یافته، فرضیه اصلی مقاله مبنی بر اینکه ترکیب تولید و اصلاح داده‌ها منجر به هم‌افزایی و بهبود عملکرد می‌شود را به طور کامل تأیید می‌کند.
• کارایی بالاتر DAG نسبت به DAM: نتایج نشان داد که روش تولید داده (DAG) به طور کلی عملکرد بهتری نسبت به روش اصلاح داده (DAM) دارد. این موضوع منطقی به نظر می‌رسد، زیرا تولید جملات کاملاً جدید تنوع معنایی بیشتری ایجاد می‌کند. با این حال، باید توجه داشت که DAM از نظر محاسباتی بسیار سبک‌تر است.
• قابلیت تعمیم‌پذیری: موفقیت این روش‌ها در چندین مجموعه داده مختلف نشان می‌دهد که چارچوب DAGAM یک راه‌حل عمومی و قابل اعتماد برای بهبود وظایف طبقه‌بندی متن است و محدود به یک دامنه خاص نیست.

این پژوهش دستاوردهای نظری و کاربردی مهمی را به همراه دارد. مهم‌ترین کاربردهای عملی آن عبارتند از:

• سناریوهای داده-محدود (Low-resource scenarios): بزرگترین مزیت DAGAM در موقعیت‌هایی است که داده‌های برچسب‌دار کمیاب هستند. این امر به ویژه برای زبان‌هایی با منابع کمتر (مانند فارسی) یا حوزه‌های تخصصی که جمع‌آوری داده در آن‌ها دشوار است، بسیار حائز اهمیت است. با این روش می‌توان با صرف هزینه کمتر، مدل‌های دقیق‌تری ساخت.
• افزایش استواری (Robustness) مدل: تکنیک‌های اصلاحی در DAM، مدل را در برابر تغییرات و نویزهای موجود در داده‌های دنیای واقعی، مانند اشتباهات تایپی، جملات با ساختار غیرمعمول و زبان محاوره‌ای، مقاوم‌تر می‌کند.
• بهینه‌سازی هزینه و عملکرد: چارچوب DAGAM به توسعه‌دهندگان این امکان را می‌دهد که بین هزینه محاسباتی و دقت مدل، یک توازن مناسب برقرار کنند. می‌توان با ترکیب درصدهای مختلفی از داده‌های تولیدی و اصلاحی، به یک راه‌حل بهینه برای کاربرد مورد نظر دست یافت.

دستاورد اصلی این مقاله، ارائه یک چارچوب جامع، سیستماتیک و اثبات‌شده برای افزایش داده متنی است. این چارچوب می‌تواند به عنوان پایه‌ای برای تحقیقات آینده در این زمینه عمل کرده و به دموکراتیزه کردن استفاده از مدل‌های زبانی بزرگ کمک کند.

مقاله “DAGAM: Data Augmentation with Generation And Modification” یک راه‌حل قدرتمند و عملی برای یکی از مهم‌ترین چالش‌های پیش روی مدل‌های زبانی بزرگ، یعنی نیاز به حجم بالای داده‌های آموزشی، ارائه می‌دهد. این پژوهش با معرفی یک چارچوب سه‌گانه شامل افزایش داده از طریق تولید (DAG)، اصلاح (DAM) و ترکیب این دو (DAGAM)، نشان می‌دهد که چگونه می‌توان به طور مؤثری بر مشکل کم‌برازش غلبه کرد.

نتایج تجربی به وضوح اثبات می‌کنند که رویکرد ترکیبی DAGAM با بهره‌گیری از تنوع معنایی داده‌های تولیدی و تنوع ساختاری داده‌های اصلاح‌شده، به طور قابل توجهی عملکرد مدل‌های طبقه‌بندی متن را بهبود می‌بخشد. این کار نه تنها یک پیشرفت علمی مهم در حوزه پردازش زبان طبیعی است، بلکه ابزاری ارزشمند برای مهندسان و دانشمندان داده فراهم می‌کند تا مدل‌های هوش مصنوعی دقیق‌تر و قوی‌تری را حتی با منابع محدود، توسعه دهند. در عصر مدل‌های زبانی غول‌پیکر، روش‌هایی مانند DAGAM نقشی کلیدی در تبدیل پتانسیل این مدل‌ها به کاربردهای عملی و در دسترس برای همگان ایفا خواهند کرد.