در دهه‌ی اخیر، الگوریتم‌های پردازش زبان طبیعی (NLP) به موفقیت‌های چشمگیری دست یافته‌اند. مدل‌های زبانی بزرگ مانند GPT و BERT توانایی درک و تولید متون پیچیده را به نمایش گذاشته‌اند. با این حال، این مدل‌ها یک ضعف اساسی دارند: شکنندگی در برابر داده‌های خارج از توزیع (Out-of-Distribution). به عبارت دیگر، مدلی که با دقت بالا نظرات کاربران در مورد فیلم‌ها را تحلیل می‌کند، ممکن است در تحلیل نظرات مربوط به کتاب‌ها یا رستوران‌ها عملکرد ضعیفی داشته باشد. این چالش، که به «تطبیق دامنه» (Domain Adaptation) معروف است، یکی از موانع اصلی در کاربردی‌سازی گسترده‌ی NLP محسوب می‌شود.

مشکل زمانی حادتر می‌شود که برای «دامنه‌ی هدف» (مثلاً کتاب‌ها) داده‌های برچسب‌دار بسیار کمی در دسترس باشد یا اصلاً وجود نداشته باشد. این سناریو که «تطبیق دامنه کم‌منابع» (Low-Resource Domain Adaptation) نام دارد، در دنیای واقعی بسیار رایج است. جمع‌آوری و برچسب‌زنی داده برای هر دامنه‌ی جدید، فرآیندی پرهزینه و زمان‌بر است.

مقاله “DoCoGen: Domain Counterfactual Generation for Low Resource Domain Adaptation” یک راه‌حل خلاقانه و قدرتمند برای این معضل ارائه می‌دهد. این مقاله به جای تلاش برای تطبیق مدل با داده‌های اندک، رویکردی متفاوت را در پیش می‌گیرد: تولید هوشمندانه داده‌های ترکیبی برای دامنه‌ی هدف. این روش که DoCoGen نام دارد، می‌تواند یک متن از دامنه‌ی مبدأ را به متنی معادل در دامنه‌ی هدف تبدیل کند، در حالی که تمام ویژگی‌های اصلی آن، از جمله برچسب وظیفه (مثلاً احساسات مثبت یا منفی)، حفظ می‌شود. اهمیت این رویکرد در آن است که فرآیند آموزش مدل تولیدکننده کاملاً بدون نظارت (Unsupervised) بوده و نیازی به داده‌های برچسب‌دار یا زوج‌های متنی موازی ندارد، که این خود یک پیشرفت بزرگ در زمینه افزایش داده (Data Augmentation) و تطبیق دامنه به شمار می‌رود.

این مقاله توسط تیمی از محققان برجسته شامل نیتای کالدرون (Nitay Calderon)، ایال بن-دیوید (Eyal Ben-David)، امیر فدر (Amir Feder) و روی رایشارت (Roi Reichart) به نگارش درآمده است. این پژوهشگران در حوزه‌های هوش مصنوعی، یادگیری ماشین و پردازش زبان طبیعی دارای سوابق درخشانی هستند و مقالات آن‌ها در کنفرانس‌های تراز اول جهانی منتشر شده است. این مقاله در دسته‌بندی‌های «محاسبات و زبان» (Computation and Language) و «هوش مصنوعی» (Artificial Intelligence) قرار می‌گیرد که نشان‌دهنده‌ی ماهیت میان‌رشته‌ای و تمرکز آن بر کاربردهای عملی مدل‌های زبانی پیشرفته است. این اثر در بطن تحقیقاتی قرار دارد که به دنبال افزایش استحکام (Robustness) و تعمیم‌پذیری (Generalization) مدل‌های هوش مصنوعی در شرایط واقعی و پر از چالش است.

همان‌طور که پیش‌تر اشاره شد، الگوریتم‌های NLP در مواجهه با داده‌هایی از دامنه‌هایی که برای آن آموزش ندیده‌اند، دچار افت عملکرد می‌شوند. مقاله DoCoGen یک رویکرد تولید متن کنترل‌شده را برای حل این چالش پیشنهاد می‌کند. الگوریتم DoCoGen با دریافت یک نمونه متن ورودی، یک «نمونه متنی پادواقعی-دامنه» (Domain-Counterfactual یا D-con) تولید می‌کند. این نمونه‌ی جدید از تمام جنبه‌ها، به ویژه برچسب وظیفه (مانند تحلیل احساسات)، شبیه به متن اصلی است، اما دامنه‌ی آن به دامنه‌ی مورد نظر تغییر یافته است.

نکته‌ی کلیدی و نوآورانه این است که DoCoGen تنها با استفاده از نمونه‌های متنی بدون برچسب از دامنه‌های مختلف آموزش می‌بیند. این یعنی برای آموزش آن هیچ نیازی به برچسب وظایف NLP (مانند مثبت/منفی) یا زوج‌های موازی از متون اصلی و پادواقعی‌هایشان نیست. این ویژگی، DoCoGen را به ابزاری بسیار کارآمد برای سناریوهای کم‌منابع تبدیل می‌کند.

محققان نشان می‌دهند که DoCoGen قادر به تولید متون پادواقعی منسجم و منطقی است که حتی می‌توانند شامل چندین جمله باشند. آن‌ها از متون تولید شده توسط این مدل برای افزایش داده‌های یک طبقه‌بند تحلیل احساسات در ۲۰ سناریوی تطبیق دامنه و یک طبقه‌بند تشخیص قصد چندبرچسبی در ۷۸ سناریوی مختلف استفاده کردند. نتایج نشان داد که این روش نه تنها از مدل‌های پایه قوی عملکرد بهتری دارد، بلکه دقت یک الگوریتم پیشرفته‌ی تطبیق دامنه بدون نظارت را نیز بهبود می‌بخشد.

مبنای کار DoCoGen بر مفهوم «پادواقعی» (Counterfactual) استوار است. یک گزاره‌ی پادواقعی به این پرسش پاسخ می‌دهد: «اگر یک جنبه از واقعیت متفاوت بود، چه اتفاقی می‌افتاد؟». در اینجا، این پرسش به این صورت مطرح می‌شود: «اگر این متن در دامنه‌ی دیگری نوشته می‌شد، چه شکلی داشت؟».

برای مثال، جمله زیر را در دامنه‌ی «نقد فیلم» در نظر بگیرید:

«کارگردانی این فیلم بی‌نظیر بود و بازیگران نقش خود را به خوبی ایفا کردند.» (برچسب: مثبت)

یک پادواقعی-دامنه برای این جمله در دامنه‌ی «نقد رستوران» می‌تواند به شکل زیر باشد:

«چیدمان این رستوران بی‌نظیر بود و پیشخدمت‌ها وظیفه خود را به خوبی ایفا کردند.» (برچسب: مثبت)

همان‌طور که مشاهده می‌شود، کلمات مختص دامنه (کارگردانی، فیلم، بازیگران) با کلمات معادل در دامنه‌ی هدف (چیدمان، رستوران، پیشخدمت‌ها) جایگزین شده‌اند، در حالی که ساختار جمله، لحن و مهم‌تر از همه، برچسب احساسات (مثبت) ثابت باقی مانده است.

مدل DoCoGen یاد می‌گیرد که چگونه ویژگی‌های مستقل از دامنه (مانند کلمات «بی‌نظیر بود» و «به خوبی ایفا کردند») را از ویژگی‌های وابسته به دامنه (مانند «فیلم» و «رستوران») تفکیک کند. این فرآیند تفکیک (Disentanglement) قلب تپنده‌ی این روش است. آموزش این مدل به صورت کاملاً بدون نظارت و با اهداف زیر انجام می‌شود:

• بازسازی چرخه‌ای (Cycle Reconstruction): مدل یک متن را از دامنه‌ی A به دامنه‌ی B و سپس از دامنه‌ی B دوباره به دامنه‌ی A برمی‌گرداند. متن نهایی باید تا حد امکان به متن اصلی شباهت داشته باشد. این هدف تضمین می‌کند که محتوای اصلی در حین تبدیل از بین نرود.
• تفکیک سبک دامنه: مدل تشویق می‌شود تا بازنمایی پنهانی (Latent Representation) از متن را به دو بخش جداگانه تقسیم کند: یکی برای محتوا و دیگری برای سبک یا دامنه.
• هدف طبقه‌بندی دامنه: یک طبقه‌بند (Discriminator) آموزش می‌بیند تا تشخیص دهد متن تولید شده واقعاً به دامنه‌ی هدف تعلق دارد یا خیر. این بخش به مدل تولیدکننده فشار می‌آورد تا متونی طبیعی و قابل قبول در دامنه‌ی هدف بسازد.

این معماری هوشمندانه به DoCoGen اجازه می‌دهد تا بدون نیاز به حتی یک نمونه‌ی زوج موازی، الگوهای زبانی هر دامنه را یاد گرفته و آن‌ها را به طور کنترل‌شده به یکدیگر تبدیل کند.

مقاله به صورت تجربی و با آزمون‌های متعدد، کارایی بالای DoCoGen را اثبات می‌کند. یافته‌های اصلی این پژوهش به شرح زیر است:

• کیفیت تولید متن: ارزیابی‌های کیفی و کمی نشان داد که متون پادواقعی تولید شده توسط DoCoGen از نظر دستوری صحیح، منسجم و از نظر معنایی به متن اصلی وفادار هستند. مدل توانایی تولید متون چندجمله‌ای پیچیده را نیز دارد.
• بهبود عملکرد در تحلیل احساسات: در آزمون‌هایی که روی ۲۰ جفت دامنه مختلف (مانند کتاب، DVD، لوازم الکترونیکی و آشپزخانه) انجام شد، افزودن داده‌های تولید شده توسط DoCoGen به داده‌های آموزشی، عملکرد طبقه‌بند احساسات را به طور معناداری افزایش داد.
• موفقیت در وظیفه‌ی پیچیده‌ی تشخیص قصد: در یک وظیفه‌ی چالش‌برانگیزتر یعنی تشخیص قصد کاربر به صورت چندبرچسبی، DoCoGen در ۷۸ سناریوی تطبیق دامنه مورد ارزیابی قرار گرفت. نتایج در این بخش نیز نشان‌دهنده‌ی برتری قاطع این روش نسبت به مدل‌های پایه بود.
• عملکرد بهتر از روش‌های رقیب: DoCoGen با روش‌های قدرتمند تطبیق دامنه بدون نظارت مقایسه شد و توانست در اکثر موارد از آن‌ها پیشی بگیرد. این موضوع نشان می‌دهد که تولید پادواقعی یک استراتژی مؤثرتر از سایر تکنیک‌های رایج است.
• قابلیت ترکیب با سایر مدل‌ها: یکی از یافته‌های جالب این بود که داده‌های تولید شده توسط DoCoGen می‌توانند دقت یک مدل پیشرفته‌ی تطبیق دامنه (State-of-the-Art) را نیز بهبود بخشند. این یعنی DoCoGen می‌تواند به عنوان یک ابزار مکمل و تقویت‌کننده در کنار سایر الگوریتم‌ها استفاده شود.

دستاورد اصلی DoCoGen فراتر از یک پیشرفت آکادمیک است و کاربردهای عملی گسترده‌ای را در دنیای واقعی ممکن می‌سازد:

• کاهش هزینه‌های توسعه‌ی هوش مصنوعی: شرکت‌ها می‌توانند مدل‌های NLP خود را برای محصولات، خدمات یا بازارهای جدید بدون نیاز به صرف هزینه‌های گزاف برای برچسب‌زنی داده‌ها، تطبیق دهند.
• تسریع در پیاده‌سازی سیستم‌ها: یک سیستم تحلیل نظرات مشتریان که برای صنعت هتلداری ساخته شده، می‌تواند به سرعت برای صنعت رستوران‌داری یا گردشگری نیز به کار گرفته شود.
• افزایش دسترسی به فناوری: این روش به سازمان‌های کوچکتر یا محققانی که روی زبان‌ها یا دامنه‌های کم‌داده کار می‌کنند، اجازه می‌دهد تا سیستم‌های NLP کارآمدی بسازند.
• ساخت مدل‌های قوی‌تر و عادلانه‌تر: با قرار دادن مدل‌ها در معرض تنوع بیشتری از داده‌های ترکیبی، می‌توان استحکام آن‌ها را در برابر تغییرات زبانی افزایش داد و از سوگیری‌های احتمالی ناشی از کمبود داده در یک دامنه‌ی خاص جلوگیری کرد.
• کاربرد در حریم خصوصی: با تغییر ویژگی‌های وابسته به دامنه، می‌توان متونی تولید کرد که اطلاعات حساس را پنهان کرده و در عین حال پیام اصلی را حفظ می‌کنند.

مقاله DoCoGen یک راه‌حل زیبا، نوآورانه و بسیار مؤثر برای یکی از قدیمی‌ترین چالش‌های پردازش زبان طبیعی، یعنی تطبیق دامنه در شرایط کم‌منابع، ارائه می‌دهد. توانایی این مدل در تولید پادواقعی‌های دامنه‌ای با کیفیت بالا، بدون نیاز به هرگونه نظارت مستقیم یا داده‌های موازی، یک گام بزرگ رو به جلو محسوب می‌شود. این رویکرد نه تنها به عنوان یک تکنیک افزایش داده عمل می‌کند، بلکه پارادایم جدیدی را معرفی می‌کند که در آن به جای وابستگی صرف به داده‌های موجود، می‌توانیم به صورت هوشمندانه داده‌های مورد نیاز خود را خلق کنیم.

DoCoGen با پر کردن شکاف بین دامنه‌های مختلف، مدل‌های هوش مصنوعی را کاربردی‌تر، انعطاف‌پذیرتر و در دسترس‌تر می‌سازد و مسیر را برای توسعه‌ی سیستم‌های زبانی هوشمندتر و قوی‌تر در آینده هموار می‌کند.