در حوزه پردازش زبان طبیعی (NLP)، یکی از چالش‌های مهم، حفظ عملکرد قوی مدل‌ها در مواجهه با تغییرات توزیعی در داده‌ها است. به عبارت دیگر، مدل‌هایی که روی یک مجموعه داده خاص آموزش داده شده‌اند، ممکن است در مواجهه با داده‌های جدید که از توزیع متفاوتی پیروی می‌کنند، عملکرد ضعیفی از خود نشان دهند. این مسئله به ویژه در وظایفی مانند پرسش و پاسخ (QA) حائز اهمیت است، زیرا داده‌های دنیای واقعی می‌توانند بسیار متنوع و غیرقابل پیش‌بینی باشند.

مقاله حاضر، با عنوان انگلیسی “Generative Data Augmentation using LLMs improves Distributional Robustness in Question Answering” و عنوان فارسی “داده‌افزایی مولد با LLMها، استواری توزیعی در پرسش‌وپاسخ را بهبود می‌بخشد”، به بررسی این موضوع می‌پردازد که چگونه می‌توان با استفاده از مدل‌های زبانی بزرگ (LLMها) و تکنیک‌های داده‌افزایی مولد، استواری (Robustness) مدل‌های پرسش و پاسخ را در برابر تغییرات توزیعی بهبود بخشید. اهمیت این تحقیق از آنجا ناشی می‌شود که راهکارهای موجود عمدتاً بر انطباق دامنه (Domain Adaptation) تمرکز دارند، در حالی که مساله تعمیم دامنه (Domain Generalization) در شرایطی که دامنه هدف ناشناخته است، کمتر مورد توجه قرار گرفته است.

این مقاله توسط آریجیت گوش چودوری و آمان چادها به رشته تحریر درآمده است. زمینه تحقیقاتی این نویسندگان در حوزه‌های محاسبات و زبان و هوش مصنوعی قرار دارد. تخصص آن‌ها در زمینه پردازش زبان طبیعی و به طور خاص، در زمینه توسعه مدل‌های مقاوم و قابل تعمیم در وظایف مختلف NLP، از جمله پرسش و پاسخ است.

تحقیقات پیشین این نویسندگان نشان می‌دهد که آن‌ها علاقه خاصی به بررسی چالش‌های مرتبط با تغییرات توزیعی در داده‌ها و ارائه راهکارهایی برای مقابله با این چالش‌ها دارند. تمرکز آن‌ها بر استفاده از تکنیک‌های نوین یادگیری ماشین، از جمله مدل‌های مولد، به منظور بهبود عملکرد مدل‌ها در شرایط واقعی و متنوع است.

چکیده مقاله به این شرح است: “استواری در پردازش زبان طبیعی همچنان یک مسئله مهم است، به طوری که مدل‌های پیشرفته در مواجهه با تغییرات طبیعی در توزیع داده‌ها عملکرد ضعیفی از خود نشان می‌دهند. در زمینه پرسش و پاسخ، تحقیقات در مورد روش‌های انطباق دامنه همچنان در حال گسترش است. با این حال، توجه کمی به مفهوم تعمیم دامنه در شرایط تغییرات طبیعی توزیع، جایی که دامنه هدف ناشناخته است، شده است. با پیشرفت چشمگیر در کیفیت و دسترسی به مدل‌های مولد، ما به این سوال پاسخ می‌دهیم: چگونه مجموعه‌های داده تولید شده بر عملکرد مدل‌های پرسش و پاسخ در شرایط تغییرات طبیعی توزیع تأثیر می‌گذارند؟ ما آزمایش‌هایی را بر روی 4 مجموعه داده مختلف با مقادیر مختلف تغییر توزیع انجام می‌دهیم و تحلیل می‌کنیم که چگونه تولید داده به صورت ‘در طبیعت’ می‌تواند به دستیابی به تعمیم دامنه کمک کند. ما از یک روش دو مرحله‌ای تولید استفاده می‌کنیم، هم متن‌ها و هم جفت‌های پرسش و پاسخ را تولید می‌کنیم تا مجموعه‌های داده موجود را افزایش دهیم. از طریق آزمایش‌های خود، نشان می‌دهیم که چگونه افزایش مجموعه‌های داده درک مطلب با داده‌های تولید شده منجر به استواری بهتر در برابر تغییرات طبیعی توزیع می‌شود.”

به طور خلاصه، این مقاله به بررسی این موضوع می‌پردازد که چگونه می‌توان با استفاده از مدل‌های زبانی بزرگ (LLMها) برای تولید داده‌های جدید، استواری مدل‌های پرسش و پاسخ را در برابر تغییرات توزیعی در داده‌ها بهبود بخشید. نویسندگان با انجام آزمایش‌هایی بر روی چندین مجموعه داده مختلف، نشان می‌دهند که این روش می‌تواند به تعمیم بهتر مدل‌ها در شرایط واقعی و متنوع کمک کند.

روش‌شناسی تحقیق در این مقاله شامل چندین مرحله کلیدی است:

1. انتخاب مجموعه‌های داده: نویسندگان از چهار مجموعه داده مختلف پرسش و پاسخ استفاده کردند که هر کدام دارای ویژگی‌ها و توزیع‌های متفاوتی بودند. این تنوع در مجموعه‌های داده به آن‌ها اجازه می‌دهد تا عملکرد مدل‌ها را در شرایط مختلف ارزیابی کنند.
2. تولید داده با استفاده از LLMها: نویسندگان از یک مدل زبانی بزرگ (LLM) برای تولید داده‌های جدید استفاده کردند. این فرآیند شامل دو مرحله بود:
   • تولید متن (Context): LLM متن‌های جدیدی را تولید می‌کند که می‌توانند به عنوان زمینه برای پرسش و پاسخ مورد استفاده قرار گیرند.
   • تولید جفت‌های پرسش و پاسخ: LLM برای هر متن تولید شده، یک جفت پرسش و پاسخ مرتبط تولید می‌کند.

   برای مثال، فرض کنید یک متن تولید شده در مورد “تأثیرات گرمایش جهانی بر روی اکوسیستم‌های دریایی” باشد. LLM سپس می‌تواند پرسشی مانند “چه تأثیراتی گرمایش جهانی بر روی مرجان‌ها دارد؟” و پاسخ متناسب با آن را تولید کند.

3. داده‌افزایی: داده‌های تولید شده توسط LLM به مجموعه‌های داده اصلی اضافه می‌شوند تا حجم و تنوع داده‌های آموزشی افزایش یابد.
4. آموزش مدل‌های پرسش و پاسخ: مدل‌های پرسش و پاسخ با استفاده از مجموعه‌های داده افزوده شده آموزش داده می‌شوند.
5. ارزیابی عملکرد: عملکرد مدل‌های آموزش داده شده بر روی مجموعه‌های داده آزمایشی که دارای تغییرات توزیعی هستند، ارزیابی می‌شود. این ارزیابی به منظور سنجش استواری مدل‌ها در برابر تغییرات توزیعی انجام می‌شود.

نویسندگان برای ارزیابی عملکرد، از معیارهای مختلفی مانند دقت (Accuracy) و امتیاز F1 استفاده کردند.

یافته‌های کلیدی این تحقیق به شرح زیر است:

• بهبود استواری: داده‌افزایی مولد با استفاده از LLMها به طور قابل توجهی استواری مدل‌های پرسش و پاسخ را در برابر تغییرات توزیعی بهبود می‌بخشد. این بهبود در عملکرد به ویژه در شرایطی که دامنه هدف ناشناخته است، مشهود است.
• تأثیر حجم داده‌های تولید شده: افزایش حجم داده‌های تولید شده توسط LLMها به طور کلی منجر به بهبود عملکرد مدل‌ها می‌شود. با این حال، افزایش بیش از حد داده‌ها ممکن است اثر کاهشی داشته باشد.
• اهمیت کیفیت داده‌های تولید شده: کیفیت داده‌های تولید شده توسط LLMها نقش مهمی در بهبود عملکرد مدل‌ها ایفا می‌کند. داده‌های با کیفیت بالاتر، که از نظر معنایی و ساختاری صحیح هستند، تاثیر مثبت‌تری بر روی استواری مدل‌ها دارند.
• تأثیر بر روی مجموعه‌های داده مختلف: اثر داده‌افزایی مولد بر روی مجموعه‌های داده مختلف، متفاوت است. این تفاوت‌ها به ویژگی‌های خاص هر مجموعه داده و میزان تغییرات توزیعی موجود در آن بستگی دارد.

به عنوان مثال، نویسندگان نشان دادند که داده‌افزایی مولد می‌تواند عملکرد مدل‌ها را در مجموعه‌های داده‌ای که دارای تنوع زبانی بیشتری هستند، بهبود بخشد.

این تحقیق دارای کاربردها و دستاوردهای متعددی است:

• بهبود عملکرد مدل‌های پرسش و پاسخ: نتایج این تحقیق می‌تواند به توسعه مدل‌های پرسش و پاسخ مقاوم‌تر و قابل اعتمادتر منجر شود که در شرایط واقعی و متنوع عملکرد بهتری دارند.
• کاهش نیاز به داده‌های برچسب‌دار: با استفاده از داده‌افزایی مولد، می‌توان نیاز به جمع‌آوری و برچسب‌گذاری دستی داده‌ها را کاهش داد. این امر می‌تواند به صرفه‌جویی در زمان و هزینه کمک کند.
• تعمیم‌پذیری: این روش می‌تواند به بهبود تعمیم‌پذیری مدل‌ها در حوزه‌های مختلف NLP، فراتر از پرسش و پاسخ، کمک کند.
• ارائه یک چارچوب جدید: این تحقیق یک چارچوب جدید برای استفاده از LLMها در داده‌افزایی و بهبود استواری مدل‌ها ارائه می‌دهد.

یکی از دستاوردهای مهم این تحقیق، ارائه یک راهکار عملی و موثر برای مقابله با چالش تغییرات توزیعی در داده‌ها است. این راهکار می‌تواند به محققان و توسعه‌دهندگان NLP کمک کند تا مدل‌هایی را توسعه دهند که در شرایط واقعی عملکرد بهتری داشته باشند.

در مجموع، مقاله حاضر یک تحقیق ارزشمند در زمینه بهبود استواری مدل‌های پرسش و پاسخ با استفاده از داده‌افزایی مولد و LLMها ارائه می‌دهد. نویسندگان با انجام آزمایش‌هایی دقیق و جامع، نشان می‌دهند که این روش می‌تواند به طور قابل توجهی عملکرد مدل‌ها را در برابر تغییرات توزیعی بهبود بخشد.

نتایج این تحقیق می‌تواند در توسعه مدل‌های NLP مقاوم‌تر و قابل اعتمادتر مورد استفاده قرار گیرد و به محققان و توسعه‌دهندگان در این زمینه کمک کند تا چالش‌های مرتبط با تغییرات توزیعی در داده‌ها را به طور موثرتری حل کنند. همچنین این پژوهش نشان می‌دهد که استفاده از مدل‌های زبانی بزرگ در فرآیند داده‌افزایی، پتانسیل بالایی برای بهبود عملکرد مدل‌های یادگیری ماشین در وظایف مختلف دارد.

با توجه به پیشرفت‌های روزافزون در زمینه مدل‌های زبانی بزرگ، انتظار می‌رود که در آینده شاهد کاربردهای بیشتری از این مدل‌ها در داده‌افزایی و بهبود عملکرد مدل‌های NLP باشیم.