در دنیای پردازش زبان طبیعی (NLP)، زبان فارسی همواره با چالش منحصربه‌فردی روبرو بوده است: شکاف عمیق میان گونهٔ رسمی (کتابی) و گونهٔ غیررسمی (محاوره‌ای). اکثر ابزارها و مدل‌های کامپیوتری موجود بر اساس متون رسمی مانند اخبار، مقالات علمی و کتاب‌های ادبی آموزش دیده‌اند. این در حالی است که بخش عظیمی از محتوای تولید شده توسط کاربران، از شبکه‌های اجتماعی و پیام‌رسان‌ها گرفته تا مکالمات روزمره، به زبان محاوره‌ای است. مقاله «درخت‌بانک وابستگی جهانی فارسی محاوره‌ای» (Informal Persian Universal Dependency Treebank) به قلم رویا کبیری، سیمین کریمی و میهای سوردینو، گامی بلند و جسورانه برای پر کردن این شکاف است.

اهمیت این پژوهش در آن است که برای اولین بار به صورت علمی و با ارائه داده‌های مستند، نشان می‌دهد که تفاوت‌های فارسی رسمی و محاوره‌ای صرفاً به تلفظ یا چند واژهٔ ساده محدود نمی‌شود، بلکه این دو گونه تفاوت‌های بنیادین آواشناختی، صرفی و نحوی دارند. این مقاله نه تنها این مشکل را به طور دقیق صورت‌بندی می‌کند، بلکه با ارائه یک منبع داده حیاتی و متن‌باز به نام «درخت‌بانک فارسی محاوره‌ای»، راه را برای ساخت مدل‌های هوش مصنوعی که زبان فارسی را همان‌گونه که مردم واقعاً از آن استفاده می‌کنند بفهمند، هموار می‌سازد.

قدرت این مقاله از ترکیب تخصص‌های نویسندگان آن نشأت می‌گیرد. این پژوهش محصول همکاری سه محقق برجسته است:

• رویا کبیری: پژوهشگر حوزه پردازش زبان طبیعی و نویسنده اصلی مقاله که تخصص محاسباتی و فنی لازم برای اجرای این پروژه را فراهم کرده است.
• سیمین کریمی: زبان‌شناس نامدار و استاد دانشگاه آریزونا که به دلیل تحقیقات عمیقش بر روی ساختار نحوی زبان فارسی در سطح جهانی شناخته شده است. حضور او تضمین‌کننده دقت و عمق تحلیل‌های زبان‌شناختی مقاله است.
• میهای سوردینو: متخصص برجسته در زمینه یادگیری ماشین و پردازش زبان طبیعی که دیدگاه محاسباتی پیشرفته و تجربه در ساخت سیستم‌های پیچیده NLP را به این تیم افزوده است.

این مقاله در حوزه زبان‌شناسی محاسباتی قرار می‌گیرد؛ حوزه‌ای میان‌رشته‌ای که تلاش می‌کند با استفاده از روش‌های کامپیوتری و آماری، به تحلیل و درک ساختار زبان بپردازد. این تحقیق به طور خاص به یکی از داغ‌ترین موضوعات این حوزه، یعنی ایجاد منابع داده‌ای (Datasets) برای گونه‌های زبانی کمتر مورد توجه (Low-resource or under-represented varieties)، می‌پردازد و اهمیت آن را در سطح جهانی برجسته می‌کند.

محور اصلی مقاله بر این فرضیه استوار است که مدل‌های کامپیوتری آموزش‌دیده بر روی فارسی رسمی، در مواجهه با فارسی محاوره‌ای با «افت عملکرد چشمگیر» مواجه می‌شوند. نویسندگان برای اثبات این موضوع، ابتدا تفاوت‌های کلیدی این دو گونه را فراتر از سطح تلفظ بررسی می‌کنند. برای مثال:

• تفاوت‌های صرفی (Morphological): تبدیل «می‌روم» به «می‌رم»، «خانه‌ها» به «خونه‌ها» یا «خونا»، و استفاده از شناسه‌های فعلی متفاوت.
• تفاوت‌های نحوی (Syntactic): حذف یا جابجایی مفعول‌نمای «را» (مثلاً «کتاب رو خوندم» به جای «کتاب را خواندم»)، تغییر ترتیب واژگان در جمله، و استفاده گسترده از ساختارهای کوتاه‌تر و ضمیرهای پیوسته (clitics).

با توجه به این تفاوت‌های ساختاری، نویسندگان استدلال می‌کنند که فارسی محاوره‌ای یک «دامنه» (Domain) زبانی مجزا است. بنابراین، راه‌حل، ساخت یک منبع داده تخصصی برای این گونه زبانی بود. آن‌ها درخت‌بانک وابستگی جهانی فارسی محاوره‌ای را ایجاد کردند؛ مجموعه‌ای از جملات فارسی محاوره‌ای که به دقت برچسب‌گذاری دستوری شده‌اند. در این درخت‌بانک، برای هر جمله، نقش دستوری هر کلمه (اسم، فعل، صفت) و روابط وابستگی میان آن‌ها (چه کلمه‌ای فاعل است، چه کلمه‌ای مفعول، و…) بر اساس چارچوب استاندارد «وابستگی جهانی» (Universal Dependencies) مشخص شده است. این چارچوب به محققان اجازه می‌دهد تا ساختارهای دستوری را به شیوه‌ای یکسان در زبان‌های مختلف تحلیل و مقایسه کنند.

برای اثبات علمی مدعای خود، نویسندگان یک آزمایش محاسباتی دقیق طراحی کردند که مراحل آن به شرح زیر است:

1. ساخت منبع داده: اولین و مهم‌ترین گام، ایجاد درخت‌بانک فارسی محاوره‌ای بود. این فرآیند شامل جمع‌آوری جملات از منابع غیررسمی، و سپس برچسب‌گذاری (Annotation) دقیق آن‌ها توسط زبان‌شناسان بر اساس استانداردهای Universal Dependencies (UD) بود. این کار پرزحمت، زیربنای کل تحقیق را تشکیل می‌دهد.
2. آموزش مدل‌ها بر روی داده‌های رسمی: در مرحله بعد، دو ابزار استاندارد «تجزیه‌گر وابستگی» (Dependency Parser) را انتخاب کردند. این تجزیه‌گرها الگوریتم‌هایی هستند که می‌توانند ساختار دستوری یک جمله را به صورت خودکار تحلیل کنند. آن‌ها این مدل‌ها را منحصراً با استفاده از درخت‌بانک‌های موجودِ فارسی رسمی آموزش دادند.
3. ارزیابی بر روی داده‌های خارج از دامنه: این مرحله، قلب آزمایش بود. مدل‌هایی که فقط زبان فارسی رسمی را «یاد گرفته بودند»، بر روی مجموعه داده‌های جدید فارسی محاوره‌ای (که برایشان کاملاً جدید بود) آزمایش شدند. این نوع ارزیابی که به آن ارزیابی خارج از دامنه (Out-of-Domain Evaluation) گفته می‌شود، معیار بسیار خوبی برای سنجش قابلیت «تعمیم‌پذیری» (Generalization) یک مدل است؛ یعنی آیا مدل می‌تواند دانشی را که در یک زمینه یاد گرفته، در زمینه دیگری به کار ببرد؟

نتایج آزمایش، فرضیه اصلی پژوهشگران را به شکلی قاطع تأیید کرد:

• افت شدید عملکرد: تجزیه‌گرها در تحلیل جملات محاوره‌ای، عملکرد بسیار ضعیف‌تری نسبت به عملکردشان بر روی جملات رسمی داشتند. این نشان می‌دهد که دانش دستوری زبان رسمی برای درک صحیح زبان محاوره‌ای کافی نیست.
• دلایل افت عملکرد: نویسندگان دو دلیل اصلی برای این شکست را شناسایی کردند:
  • توکن‌های ناشناخته (Unknown Tokens): زبان محاوره‌ای پر از کلمات، اختصارات و املای متفاوتی است که در متون رسمی وجود ندارند (مانند «می‌رم»، «چطوری»، «دمت گرم»). مدل‌ها با دیدن این کلمات برای اولین بار، قادر به تحلیل صحیح آن‌ها نبودند.
  • ساختارهای دستوری جدید (New Structures): مهم‌تر از کلمات جدید، ساختارهای نحوی متفاوت بود. الگوهای دستوری که در زبان محاوره‌ای رایج هستند (مانند جایگاه «را» یا ترتیب اجزای جمله)، برای مدل‌های آموزش‌دیده بر روی زبان رسمی، کاملاً بیگانه بودند.
• تحلیل دقیق خطاها: یافتهٔ بسیار جالب این بود که بیشترین خطاها در شناسایی روابط وابستگی‌ای رخ داده بود که دقیقاً نمایانگر ویژگی‌های منحصربه‌فرد فارسی محاوره‌ای هستند. به عبارت دیگر، مدل‌ها دقیقاً در همان نقاطی شکست می‌خوردند که دو گونه زبانی از هم متمایز می‌شوند. این مشاهده، بهترین دلیل برای اثبات این است که تفاوت‌ها سیستماتیک و گرامری هستند، نه تصادفی.

این مقاله صرفاً یک تحلیل نظری نیست، بلکه دستاوردهای عملی و علمی مهمی به همراه دارد:

• ارائه اولین درخت‌بانک متن‌باز فارسی محاوره‌ای: این منبع داده، یک هدیه ارزشمند به جامعه پژوهشی فارسی‌زبان است. از این پس، محققان و توسعه‌دهندگان می‌توانند از آن برای ساخت و ارزیابی ابزارهای NLP دقیق‌تر استفاده کنند.
• بهبود ابزارهای کاربردی: با استفاده از این درخت‌بانک می‌توان عملکرد برنامه‌هایی مانند دستیارهای صوتی، چت‌بات‌ها، سیستم‌های تحلیل نظرات در شبکه‌های اجتماعی و موتورهای ترجمه ماشینی را به طور چشمگیری بهبود بخشید تا بتوانند با کاربران فارسی‌زبان به زبان طبیعی خودشان تعامل کنند.
• اثبات علمی نیاز به داده‌های محاوره‌ای: این پژوهش با ارائه آمار و ارقام مستدل، به شرکت‌ها و مراکز تحقیقاتی نشان می‌دهد که سرمایه‌گذاری برای جمع‌آوری و برچسب‌گذاری داده‌های محاوره‌ای نه یک انتخاب، بلکه یک ضرورت برای ساخت فناوری‌های کارآمد است.
• الگویی برای زبان‌های دیگر: بسیاری از زبان‌های دیگر جهان (مانند عربی، آلمانی و هندی) نیز دارای شکاف مشابهی میان گونه رسمی و محاوره‌ای هستند. این مقاله به عنوان یک نقشه راه و مطالعه موردی برای پژوهشگران آن زبان‌ها عمل می‌کند تا اهمیت گونه‌های غیررسمی را در پردازش زبان طبیعی برجسته سازند.

مقاله «درخت‌بانک وابستگی جهانی فارسی محاوره‌ای» یک نقطه عطف در حوزه پردازش زبان طبیعی برای زبان فارسی است. این تحقیق به طور قانع‌کننده‌ای نشان می‌دهد که نادیده گرفتن تفاوت‌های ساختاری میان فارسی رسمی و محاوره‌ای، منجر به ساخت ابزارهای ناکارآمد و شکننده می‌شود. نویسندگان با شناسایی دقیق مشکل و ارائه یک راه‌حل عملی (یعنی ساخت یک درخت‌بانک تخصصی)، گامی اساسی برای پیشرفت این حوزه برداشته‌اند.

پیام نهایی این مقاله فراتر از زبان فارسی است: در عصر هوش مصنوعی، برای ساخت فناوری‌هایی که واقعاً به انسان‌ها خدمت می‌کنند، باید زبان را در تمام تنوع و پویایی آن، آن‌گونه که واقعاً به کار می‌رود، مطالعه کنیم. این پژوهش یک سنگ بنای مهم برای آینده‌ای است که در آن، ماشین‌ها قادر خواهند بود زبان محاوره‌ای و روزمره ما را بهتر و عمیق‌تر درک کنند.