در سال‌های اخیر، سیستم‌های تولید متن مبتنی بر هوش مصنوعی، مانند مدل‌های زبانی بزرگ (LLMs)، پیشرفت‌های چشمگیری داشته‌اند و در کاربردهای متنوعی از ترجمه ماشینی گرفته تا خلاصه‌سازی خودکار و تولید محتوای خلاقانه به کار گرفته می‌شوند. با این حال، ارزیابی کیفیت متون تولید شده توسط این سیستم‌ها همچنان یکی از بزرگترین چالش‌های حوزه پردازش زبان طبیعی (NLP) است. معیارهای سنتی مانند BLEU یا ROUGE عمدتاً بر اساس همپوشانی کلمات بین متن تولید شده و متن مرجع عمل می‌کنند و قادر به سنجش دقیق کیفیت دستوری و ساختاری جملات نیستند. یک جمله ممکن است کلمات کلیدی درستی داشته باشد اما از نظر گرامری کاملاً اشتباه باشد.

این چالش به ویژه در زبان‌های غنی از نظر صرفی (Morphologically-Rich Languages) مانند فارسی، روسی، ترکی یا آلمانی برجسته‌تر است. در این زبان‌ها، تغییرات کوچک در صرف فعل، تطابق اسم و صفت، یا حروف اضافه می‌تواند معنای جمله را به کلی تغییر دهد یا آن را بی‌معنا سازد. مقاله “Evaluating the Morphosyntactic Well-formedness of Generated Texts” به طور مستقیم به این خلاء پژوهشی می‌پردازد و یک معیار نوین به نام L’AMBRE را برای ارزیابی دقیق خوش‌ساختی صرفی‌نحوی متون ارائه می‌دهد. این پژوهش گامی مهم در جهت حرکت به سوی ارزیابی‌های عمیق‌تر و معنادارتر در حوزه تولید متن است.

این مقاله حاصل همکاری گروهی از پژوهشگران برجسته در حوزه پردازش زبان طبیعی و یادگیری ماشین است: آدیتیا پراتاپا، آنتونیوس آناستازوپولوس، شروتی ریجهوانی، آدیتی چودهاری، دیوید مورتنسن، گراهام نوبیگ و یولیا تسوتکوف. بسیاری از این نویسندگان، از جمله گراهام نوبیگ و یولیا تسوتکوف، از چهره‌های شناخته‌شده و تأثیرگذار دانشگاه کارنگی ملون (Carnegie Mellon University) و سایر مراکز تحقیقاتی پیشرو هستند. این تیم تحقیقاتی با تخصص در زمینه‌هایی مانند ترجمه ماشینی، تحلیل نحوی و یادگیری چندزبانه، دانش لازم برای tackling چنین مسئله پیچیده‌ای را فراهم آورده‌اند. این پژوهش در دسته پردازش زبان و محاسبات (Computation and Language) قرار می‌گیرد و بر یکی از زیرشاخه‌های کلیدی آن، یعنی ارزیابی تولید زبان طبیعی، متمرکز است.

مقاله با این فرض آغاز می‌شود که سیستم‌های تولید متن در همه جا حضور دارند، اما ارزیابی آن‌ها، به خصوص در محیط‌های چندزبانه، یک چالش باقی مانده است. نویسندگان برای حل این مشکل، معیار L’AMBRE را معرفی می‌کنند که برای سنجش خوش‌ساختی صرفی‌نحوی (Morphosyntactic Well-formedness) یک متن طراحی شده است. این معیار با استفاده از دو جزء کلیدی کار می‌کند: تجزیه وابستگی (Dependency Parse) جمله و مجموعه‌ای از قواعد صرفی‌نحوی زبان مورد نظر.

یکی از نوآوری‌های اصلی این پژوهش، ارائه روشی برای استخراج خودکار این قواعد مستقیماً از پیکره‌های درختی وابستگی (Dependency Treebanks) است. این ویژگی باعث می‌شود که معیار L’AMBRE به راحتی برای زبان‌های مختلف قابل تعمیم باشد. علاوه بر این، نویسندگان به یک مشکل عملی مهم نیز پرداخته‌اند: خروجی سیستم‌های تولید متن اغلب دارای نویز و خطاهای دستوری است که باعث سردرگمی تجزیه‌گرهای استاندارد می‌شود. برای غلبه بر این مشکل، آن‌ها یک روش ساده و کارآمد برای آموزش تجزیه‌گرهای مقاوم (Robust Parsers) ارائه می‌دهند که می‌توانند متون پرخطا را نیز با دقت بالاتری تحلیل کنند. در نهایت، کارایی این معیار از طریق یک مطالعه در زمانی (Diachronic Study) بر روی خروجی‌های سیستم‌های ترجمه ماشینی برای زبان‌های غنی از نظر صرفی نشان داده می‌شود.

روش‌شناسی ارائه شده در این مقاله بر سه ستون اصلی استوار است که در کنار هم یک سیستم ارزیابی قدرتمند را تشکیل می‌دهند:

• معیار L’AMBRE: هسته اصلی این روش، خود معیار L’AMBRE است. این معیار یک جمله را دریافت کرده و امتیاز خوش‌ساختی آن را بر اساس میزان تبعیت از قواعد دستوری زبان محاسبه می‌کند. فرآیند کار به این صورت است که ابتدا جمله توسط یک تجزیه‌گر وابستگی تحلیل می‌شود. خروجی این تحلیل یک درخت است که روابط دستوری بین کلمات (مانند فاعل، مفعول، صفت) را مشخص می‌کند. سپس، L’AMBRE این ساختار درختی و ویژگی‌های صرفی کلمات (مانند شخص، شمار، جنسیت) را با مجموعه‌ای از قواعد از پیش استخراج‌شده مقایسه می‌کند. امتیاز نهایی، نشان‌دهنده درصدی از قواعد دستوری است که در جمله رعایت شده‌اند.
• استخراج خودکار قواعد: به جای تعریف دستی قواعد دستوری که فرآیندی بسیار زمان‌بر و نیازمند تخصص زبان‌شناسی است، این مقاله یک رویکرد خودکار را پیشنهاد می‌کند. سیستم با تحلیل هزاران جمله صحیح از یک پیکره درختی وابستگی (Dependency Treebank)، الگوهای مکرر دستوری را شناسایی می‌کند. برای مثال، با مشاهده مکرر تطابق شمار بین فاعل و فعل در جملات فارسی، قانونی را استخراج می‌کند که “یک فاعل جمع نیازمند یک فعل جمع است”. این رویکرد زبان-آزاد (Language-Agnostic) است و می‌توان آن را برای هر زبانی که دارای پیکره درختی باشد، به کار برد.
• آموزش تجزیه‌گرهای مقاوم: تجزیه‌گرهای نحوی استاندارد بر روی متون تمیز و صحیح انسانی آموزش دیده‌اند و در مواجهه با جملات پر از خطای ماشینی، عملکرد ضعیفی دارند. برای حل این مشکل، نویسندگان از روش افزایش داده (Data Augmentation) استفاده می‌کنند. آن‌ها به طور مصنوعی خطاهای دستوری رایج (مانند عدم تطابق فاعل و فعل یا ترتیب نادرست کلمات) را به داده‌های آموزشی تمیز اضافه می‌کنند. با آموزش دادن تجزیه‌گر بر روی این داده‌های ترکیبی (تمیز و نویزی)، مدلی به دست می‌آید که در تحلیل جملات ناقص و پرخطا بسیار مقاوم‌تر عمل می‌کند. این مقاومت برای ارزیابی قابل اعتماد خروجی‌های واقعی سیستم‌های تولید متن ضروری است.

آزمایش‌های انجام شده در این مقاله نتایج قابل توجهی را به همراه داشت که کارایی رویکرد پیشنهادی را تأیید می‌کند:

• همبستگی بالا با قضاوت انسانی: یکی از مهم‌ترین یافته‌ها این بود که امتیازات L’AMBRE همبستگی بالایی با ارزیابی‌های انسانی از کیفیت دستوری جملات داشت. جملاتی که توسط انسان‌ها به عنوان “نادرست از نظر دستوری” علامت‌گذاری شده بودند، به طور مداوم امتیاز پایینی از L’AMBRE دریافت می‌کردند.
• تفکیک‌پذیری بهتر از معیارهای سنتی: برخلاف معیارهایی مانند BLEU که ممکن است به یک جمله با گرامر ضعیف اما کلمات کلیدی مناسب امتیاز بالایی بدهند، L’AMBRE به طور خاص بر روی ساختار دستوری تمرکز دارد. این معیار توانست به خوبی بین جملاتی که از نظر معنایی مشابه اما از نظر دستوری متفاوت بودند، تمایز قائل شود.
• تحلیل در زمانی سیستم‌های ترجمه: در یک مطالعه در زمانی، نویسندگان خروجی‌های سیستم‌های ترجمه ماشینی (مانند Google Translate) را در طول چندین سال بررسی کردند. نتایج نشان داد که معیار L’AMBRE توانست به وضوح پیشرفت تدریجی کیفیت دستوری این سیستم‌ها را در طول زمان ردیابی کند؛ امری که نشان‌دهنده حساسیت و اعتبار این معیار است.
• اثبات کارایی تجزیه‌گرهای مقاوم: نتایج به وضوح نشان داد که استفاده از تجزیه‌گرهای مقاوم، دقت و پایداری معیار L’AMBRE را به ویژه هنگام ارزیابی متون تولید شده توسط سیستم‌های ضعیف‌تر یا قدیمی‌تر، به طور قابل توجهی افزایش می‌دهد.

دستاوردها و کاربردهای این پژوهش فراتر از یک مقاله آکادمیک است و پتانسیل تأثیرگذاری بر صنعت و تحقیقات پردازش زبان طبیعی را دارد:

ارزیابی دقیق‌تر سیستم‌های NLP: معیار L’AMBRE می‌تواند به عنوان یک ابزار استاندارد برای ارزیابی طیف گسترده‌ای از وظایف تولید متن به کار رود، از جمله:

• ترجمه ماشینی: برای اطمینان از اینکه ترجمه‌ها نه تنها روان، بلکه از نظر دستوری نیز صحیح هستند.
• خلاصه‌سازی متن: برای سنجش اینکه آیا خلاصه‌های تولید شده جملاتی خوش‌ساخت و قابل فهم هستند یا خیر.
• سیستم‌های گفتگو (Chatbots): برای ارزیابی اینکه آیا پاسخ‌های ربات‌ها طبیعی و از نظر گرامری صحیح است.

کمک به توسعه مدل‌ها: با ارائه بازخوردهای دقیق در مورد انواع خطاهای صرفی‌نحوی، L’AMBRE می‌تواند به توسعه‌دهندگان کمک کند تا نقاط ضعف مدل‌های خود را شناسایی کرده و آن‌ها را بهبود بخشند. این معیار می‌تواند در چرخه‌های آموزش مدل به عنوان بخشی از تابع پاداش (Reward Function) نیز به کار رود.

اهمیت ویژه برای زبان‌های پیچیده: این ابزار برای زبان‌های غنی از نظر صرفی مانند فارسی یک موهبت است. برای مثال، یک سیستم ترجمه ممکن است جمله “The students read the book” را به اشتباه “دانش‌آموزان کتاب را خواند” ترجمه کند. معیارهای سنتی ممکن است این خطا را نادیده بگیرند، اما L’AMBRE به دلیل نقض قاعده تطابق فاعل و فعل، به سرعت آن را شناسایی و جریمه می‌کند.

مقیاس‌پذیری و دسترسی: به لطف رویکرد استخراج خودکار قواعد، این روش به راحتی برای صدها زبان که دارای منابع نحوی (Treebanks) هستند، قابل پیاده‌سازی است و به دموکراتیزه کردن ارزیابی با کیفیت بالا کمک می‌کند.

مقاله “ارزیابی خوش‌ساختی صرفی‌نحوی متون تولید شده” یک پاسخ نوآورانه و بسیار ضروری به یکی از چالش‌های اساسی در عصر تولید متن توسط هوش مصنوعی ارائه می‌دهد. با معرفی معیار L’AMBRE، نویسندگان ابزاری خودکار، زبان-آزاد و قابل اعتماد برای سنجش کیفیت دستوری متون فراهم کرده‌اند. ترکیب هوشمندانه تجزیه وابستگی، استخراج خودکار قواعد دستوری و توسعه تجزیه‌گرهای مقاوم، این رویکرد را به یک راهکار جامع و عملی تبدیل کرده است.

این پژوهش نشان می‌دهد که ارزیابی سیستم‌های تولید زبان باید از سطح تطابق کلمات فراتر رفته و به درک عمیق‌تری از ساختارهای زبانی برسد. L’AMBRE نه تنها به ما امکان می‌دهد تا کیفیت مدل‌های فعلی را بهتر بسنجیم، بلکه راه را برای توسعه نسل بعدی سیستم‌های هوش مصنوعی که قادر به تولید متونی بی‌نقص از نظر دستوری هستند، هموارتر می‌کند.