در دنیای امروز که داده‌های متنی به سرعت در حال رشد هستند، توانایی رایانه‌ها برای درک و تفسیر زبان طبیعی انسان اهمیت حیاتی یافته است. یکی از چالش‌برانگیزترین مسائل در پردازش زبان طبیعی (NLP)، مسئله ابهام‌زدایی معنای واژه (Word Sense Disambiguation – WSD) است. این وظیفه به شناسایی معنای صحیح یک کلمه در یک بافتار خاص می‌پردازد، چرا که بسیاری از کلمات در زبان‌های طبیعی دارای چندین معنا هستند. به عنوان مثال، کلمه “بانک” می‌تواند به “ساحل رودخانه” یا “موسسه مالی” اشاره داشته باشد و تنها با توجه به جمله و کلمات اطراف آن می‌توان معنای دقیق را دریافت.

توسعه سیستم‌های WSD به منابع زبانی قابل اعتماد، به ویژه پیکره‌های حاشیه‌نویسی‌شده با معنا، وابسته است. علیرغم پیشرفت‌های چشمگیر در این حوزه برای زبان‌هایی مانند انگلیسی، زبان فارسی از فقدان چنین منابع استاندارد و جامعی رنج می‌برد. همین موضوع، مانع بزرگی بر سر راه توسعه سیستم‌های پیشرفته NLP برای فارسی شده بود. مقاله “Persian-WSD-Corpus: A Sense Annotated Corpus for Persian All-words Word Sense Disambiguation” به طور مستقیم به این کمبود حیاتی پاسخ می‌دهد.

این مقاله با معرفی SBU-WSD-Corpus، نخستین مجموعه داده استاندارد برای وظیفه All-words WSD در زبان فارسی، گامی بلند در جهت توسعه و ارزیابی سیستم‌های ابهام‌زدایی معنایی در این زبان برداشته است. این دستاورد نه تنها یک مرجع حیاتی برای پژوهشگران فارسی‌زبان فراهم می‌کند، بلکه پتانسیل پیشرفت‌های قابل توجهی را در سایر کاربردهای NLP برای فارسی به ارمغان می‌آورد.

این پژوهش ارزشمند توسط تیمی از متخصصان برجسته در حوزه پردازش زبان طبیعی و زبان‌شناسی محاسباتی انجام شده است. نویسندگان این مقاله عبارتند از:

• حسین روحی‌زاده
• مهرنوش شمس‌فرد
• وحیده تجلی
• مسعود روحی‌زاده

نام این نویسندگان نشان‌دهنده تخصص و پیشینه قوی آن‌ها در مطالعات زبان‌شناسی محاسباتی، هوش مصنوعی و به طور خاص، پردازش زبان فارسی است. تحقیقات آن‌ها در چارچوب تلاش‌های گسترده‌تر برای غنی‌سازی منابع زبانی، به ویژه برای زبان‌هایی با منابع کمتر در مقایسه با زبان‌هایی مانند انگلیسی، قرار می‌گیرد. این دسته از پژوهش‌ها برای ایجاد برابری زبانی در حوزه فناوری و توسعه راهکارهای هوش مصنوعی بومی از اهمیت بالایی برخوردارند.

این مقاله در دسته “محاسبات و زبان” (Computation and Language) طبقه‌بندی می‌شود که نشان‌دهنده ماهیت بین‌رشته‌ای آن در تقاطع علوم کامپیوتر و زبان‌شناسی است. این زمینه تحقیقاتی به مطالعه چگونگی تعامل رایانه‌ها با زبان انسان می‌پردازد و پایه‌های نظری و عملی برای توسعه سیستم‌های هوش مصنوعی زبانی را فراهم می‌آورد.

ابهام‌زدایی معنای واژه (WSD) یک وظیفه دیرینه و چالش‌برانگیز در پردازش زبان طبیعی (NLP) است که هدف آن شناسایی خودکار مرتبط‌ترین معنای یک کلمه در یک بافتار خاص است. ایجاد مجموعه‌های آزمایشی استاندارد WSD یک پیش‌نیاز مهم برای توسعه و ارزیابی سیستم‌های مختلف WSD در هر زبانی محسوب می‌شود. علی‌رغم وجود چنین مجموعه‌هایی برای بسیاری از زبان‌ها، زبان فارسی فاقد یک معیار استاندارد All-words WSD بود که به تمامی کلمات محتوایی در یک متن توجه کند.

نویسندگان در این مقاله به طور مؤثر این کمبود را با معرفی SBU-WSD-Corpus جبران کرده‌اند. این پیکره نخستین مجموعه آزمایشی استاندارد برای وظیفه All-words WSD در فارسی است و به صورت دستی با استفاده از مخزن معانی FarsNet (واژه‌نامه معنایی فارسی) حاشیه‌نویسی شده است. برای این منظور، سه حاشیه‌نویس از ابزار SAMP (ابزاری برای حاشیه‌نویسی معنایی بر اساس نمودار واژگانی FarsNet) استفاده کرده‌اند تا فرآیند حاشیه‌نویسی را با دقت بالا انجام دهند.

SBU-WSD-Corpus شامل 19 سند فارسی از حوزه‌های مختلف نظیر ورزش، علم، هنر و غیره است که تنوع بالایی را در محتوا تضمین می‌کند. این پیکره در مجموع، 5892 کلمه محتوایی از متون فارسی را شامل می‌شود که از این میان، 3371 کلمه به صورت دستی معناگذاری و حاشیه‌نویسی شده‌اند. جزئیات این کلمات حاشیه‌نویسی‌شده به شرح زیر است:

• 2073 اسم
• 566 فعل
• 610 صفت
• 122 قید

علاوه بر این، برای مطالعات آتی در زمینه All-words WSD فارسی، چندین مدل WSD بر روی SBU-WSD-Corpus ارزیابی شده‌اند تا خطوط پایه (baselines) عملکردی ارائه شود و پژوهشگران بتوانند نتایج مدل‌های خود را با آن‌ها مقایسه کنند. این پیکره ارزشمند به صورت عمومی در آدرس https://github.com/hrouhizadeh/SBU-WSD-Corpus در دسترس قرار گرفته است.

توسعه SBU-WSD-Corpus با رویکردی دقیق و نظام‌مند انجام شده تا از کیفیت و اعتبار آن اطمینان حاصل شود. روش‌شناسی این تحقیق شامل چندین مرحله کلیدی است:

• منبع معانی: FarsNet

  انتخاب FarsNet به عنوان منبع اصلی معانی برای حاشیه‌نویسی، یک تصمیم استراتژیک و هوشمندانه است. FarsNet یک شبکه معنایی جامع برای زبان فارسی است که به صورت سلسله‌مراتبی واژگان را بر اساس روابط معنایی (مانند مترادف، متضاد، جزء-کل) دسته‌بندی می‌کند. این شبکه معنایی، مجموعه کاملی از مفاهیم و معانی را برای کلمات فارسی فراهم می‌آورد که پایه‌ای قوی برای ابهام‌زدایی معنایی است.

• ابزار حاشیه‌نویسی: SAMP

  برای تسهیل فرآیند پیچیده حاشیه‌نویسی دستی و اطمینان از سازگاری و دقت آن، ابزار SAMP (Sense Annotation based on FarsNet lexical graph) توسعه یافته و مورد استفاده قرار گرفته است. این ابزار به حاشیه‌نویسان کمک می‌کند تا با دقت بالا و بر اساس ساختار گراف واژگانی FarsNet، معنای صحیح هر کلمه را در بافت مربوطه انتخاب کنند. استفاده از یک ابزار اختصاصی، خطای انسانی را به حداقل رسانده و کارایی فرآیند را افزایش می‌دهد.

• حاشیه‌نویسان انسانی

  سه حاشیه‌نویس انسانی آموزش‌دیده، وظیفه بررسی و انتخاب معنای مناسب برای هر کلمه را بر عهده داشتند. این فرآیند دستی تضمین‌کننده کیفیت بالای حاشیه‌نویسی و صحت معنایی داده‌هاست، چرا که ماشین‌ها هنوز در درک ظرایف معنایی زبان انسان محدودیت‌هایی دارند و نظارت انسانی در مراحل اولیه جمع‌آوری داده‌های مرجع، حیاتی است. ارزیابی توافق بین حاشیه‌نویسان نیز به تأیید کیفیت نهایی پیکره کمک می‌کند.

• محتوای پیکره و تنوع دامنه‌ای

  پیکره از 19 سند متنی فارسی جمع‌آوری شده است که تنوع بالایی از حوزه‌ها از جمله ورزش، علم، هنر و غیره را پوشش می‌دهد. این تنوع موضوعی اهمیت زیادی دارد زیرا تضمین می‌کند که پیکره نماینده مناسبی از کاربردهای مختلف زبان فارسی باشد و برای آموزش و ارزیابی مدل‌های WSD در شرایط واقعی کاربردی باشد. این امر به جلوگیری از بیش‌برازش (overfitting) مدل‌ها به یک دامنه خاص کمک می‌کند.

• دامنه حاشیه‌نویسی: All-words

  رویکرد “All-words” به این معناست که تمامی کلمات محتوایی (اسامی، افعال، صفات، قیود) در متون مورد بررسی قرار گرفته و برای آن‌ها معنا حاشیه‌نویسی شده است، نه فقط کلمات خاص و از پیش تعیین‌شده. این رویکرد، جامعیت پیکره را افزایش می‌دهد و آن را برای توسعه سیستم‌های WSD عمومی‌تر و کاربردی‌تر می‌کند.

• ساختار و آمار واژگان حاشیه‌نویسی‌شده

  جزئیات آماری پیکره نشان می‌دهد که از 5892 کلمه محتوایی در 19 سند، 3371 کلمه به صورت دستی حاشیه‌نویسی معنایی شده‌اند. این شامل 2073 اسم، 566 فعل، 610 صفت و 122 قید است. این توزیع نشان‌دهنده پوشش گسترده انواع مختلف کلمات و اهمیت بخشیدن به آن‌ها در فرآیند ابهام‌زدایی است که برای یک سیستم WSD کارآمد ضروری است.

• ارزیابی مدل‌ها و خطوط پایه

  در نهایت، برای تعیین معیارهای اولیه و قابل مقایسه، چندین مدل موجود WSD بر روی SBU-WSD-Corpus ارزیابی شده‌اند. این خطوط پایه (baselines) به پژوهشگران آینده امکان می‌دهند تا عملکرد مدل‌های خود را با معیارهای مشخص و معتبر مقایسه کنند و پیشرفت‌های حاصله را به صورت کمی ارزیابی نمایند.

تحقیق حاضر نتایج و دستاوردهای مهمی را برای جامعه پردازش زبان طبیعی فارسی به همراه داشته است:

• ایجاد نخستین معیار استاندارد WSD برای فارسی: بارزترین دستاورد این تحقیق، توسعه و ارائه موفقیت‌آمیز SBU-WSD-Corpus است که یک گام انقلابی برای پردازش زبان طبیعی فارسی محسوب می‌شود. این پیکره به عنوان اولین معیار استاندارد All-words WSD برای زبان فارسی، خلاء موجود در منابع زبانی را پر می‌کند و بستری محکم برای تحقیقات آینده فراهم می‌آورد.
• کیفیت بالای داده‌ها: کیفیت بالای حاشیه‌نویسی دستی، که توسط سه حاشیه‌نویس و با استفاده از FarsNet و ابزار SAMP انجام شده، تضمین می‌کند که داده‌های موجود در پیکره دقیق و قابل اعتماد هستند. این دقت برای آموزش و ارزیابی مدل‌های WSD با عملکرد بالا، حیاتی است.
• جامعیت و تنوع: تنوع حوزه‌های متنی (ورزش، علم، هنر) که 19 سند پیکره را تشکیل می‌دهند، باعث می‌شود که SBU-WSD-Corpus نماینده خوبی از کاربردهای مختلف زبان فارسی باشد و از این رو، مدل‌های آموزش‌دیده بر روی آن، قدرت تعمیم‌پذیری بالایی داشته باشند و بتوانند در سناریوهای واقعی عملکرد خوبی از خود نشان دهند.
• ارائه خطوط پایه عملکردی: ارائه خطوط پایه عملکردی برای چندین مدل WSD بر روی این پیکره، امکان مقایسه عادلانه و استاندارد را برای پژوهشگرانی که در آینده مدل‌های جدیدی را توسعه می‌دهند، فراهم می‌کند. این خطوط پایه، نقطه‌شروعی روشن برای ارزیابی پیشرفت‌های آتی هستند.
• پوشش جامع انواع کلمات: آمارهای دقیق از تعداد و نوع کلمات حاشیه‌نویسی‌شده (2073 اسم، 566 فعل، 610 صفت و 122 قید) نشان‌دهنده جامعیت و دقت در پوشش بخش‌های مختلف گفتار است که برای یک سیستم WSD کارآمد و همه‌کاره ضروری است. این تنوع اطمینان می‌دهد که مدل‌ها می‌توانند با انواع گوناگون ابهامات معنایی در کلمات مختلف سروکار داشته باشند.

توسعه SBU-WSD-Corpus فراتر از یک دستاورد صرفاً آکادمیک، دارای کاربردهای عملی گسترده‌ای است که می‌تواند تحولی در حوزه NLP فارسی ایجاد کند:

• تسهیل تحقیق و توسعه WSD: مهم‌ترین کاربرد، فراهم آوردن ابزاری اساسی برای توسعه و ارزیابی سیستم‌های ابهام‌زدایی معنایی در زبان فارسی است. محققان اکنون می‌توانند الگوریتم‌ها و مدل‌های جدید را بر روی یک مجموعه داده استاندارد آموزش داده و تست کنند. این امر به تسریع نوآوری در این حوزه کمک شایانی می‌کند.
• تقویت وظایف NLP دیگر: ابهام‌زدایی معنایی یک وظیفه زیربنایی است که بهبود آن می‌تواند به طور چشمگیری بر عملکرد سایر وظایف مهم NLP تأثیر بگذارد و دقت آن‌ها را افزایش دهد:
  • ترجمه ماشینی (Machine Translation): رفع ابهام معنایی کلمات، به سیستم‌های ترجمه ماشینی کمک می‌کند تا ترجمه‌های دقیق‌تر و طبیعی‌تری ارائه دهند. مثلاً، تشخیص معنای صحیح “شیر” (مایع نوشیدنی یا حیوان وحشی) قبل از ترجمه، برای انتخاب معادل درست در زبان مقصد حیاتی است.
  • بازیابی اطلاعات (Information Retrieval): سیستم‌های بازیابی اطلاعات می‌توانند با درک دقیق‌تر معنای پرس‌وجوها و اسناد، نتایج جستجوی مرتبط‌تر و دقیق‌تری را ارائه دهند و از بازیابی اسناد نامربوط جلوگیری کنند.
  • پاسخ‌گویی به سوال (Question Answering): فهم عمیق‌تر سوالات و متون منبع، به سیستم‌های پاسخ‌گویی به سوال امکان می‌دهد تا پاسخ‌های صحیح‌تری را استخراج کنند، به خصوص در مواردی که سوال شامل کلمات چندمعنایی است.
  • خلاصه‌سازی متن (Text Summarization): تشخیص معنای دقیق کلمات برای استخراج اطلاعات کلیدی و خلاصه‌سازی مؤثر متون حیاتی است. این کار به سیستم کمک می‌کند تا جملات اصلی را با دقت بیشتری انتخاب کند.
  • تحلیل احساسات (Sentiment Analysis): درک تفاوت‌های ظریف معنایی کلمات می‌تواند به بهبود دقت تحلیل احساسات کمک کند، به خصوص در مواردی که کلمات دارای معانی چندگانه هستند و بار معنایی مثبت یا منفی آن‌ها به بافت بستگی دارد (مثلاً “تلخ” می‌تواند به مزه یا حس اشاره کند).
• همکاری و پژوهش باز: دسترسی عمومی به این پیکره (از طریق GitHub) جامعه علمی را تشویق به همکاری و نوآوری می‌کند. این امر باعث می‌شود تا پژوهشگران در سراسر جهان بتوانند بر روی یک پایه مشترک کار کنند، نتایج خود را به راحتی با یکدیگر مقایسه نمایند و به پیشرفت جمعی در این حوزه کمک کنند.
• پشتیبانی و اعتبارسنجی FarsNet: این پروژه نه تنها از FarsNet به عنوان منبع استفاده کرده، بلکه ممکن است در آینده به بهبود و اعتبارسنجی خود FarsNet نیز کمک کند، با شناسایی معانی جدید یا بهبود تعاریف موجود بر اساس کاربردهای واقعی و بازخوردهای حاشیه‌نویسان.

در مجموع، توسعه و انتشار SBU-WSD-Corpus توسط حسین روحی‌زاده و همکارانش، یک دستاورد چشمگیر و حیاتی برای حوزه پردازش زبان طبیعی فارسی است. این پیکره نخستین مجموعه داده استاندارد و حاشیه‌نویسی‌شده برای ابهام‌زدایی معنای واژگان در تمامی کلمات (All-words WSD) فارسی است که خلاء بزرگی در منابع زبانی این زبان را پر می‌کند و مسیر را برای نوآوری‌های آتی هموار می‌سازد.

با استفاده از روش‌شناسی دقیق، حاشیه‌نویسی دستی با کیفیت بالا و بهره‌گیری از FarsNet و ابزار SAMP، پژوهشگران یک منبع داده قابل اعتماد و جامع را برای جامعه علمی فراهم آورده‌اند. این پیکره نه تنها به توسعه و ارزیابی سیستم‌های WSD فارسی کمک می‌کند، بلکه به عنوان یک سنگ بنا برای پیشرفت سایر وظایف پیشرفته NLP مانند ترجمه ماشینی، بازیابی اطلاعات، پاسخ‌گویی به سوال و تحلیل احساسات عمل خواهد کرد و دقت آن‌ها را به طرز قابل توجهی افزایش می‌دهد.

انتشار عمومی این منبع، روحیه همکاری و نوآوری را در میان پژوهشگران تقویت می‌کند و آینده‌ای روشن‌تر را برای تحقیقات زبان‌شناختی محاسباتی در فارسی نوید می‌دهد. SBU-WSD-Corpus بدون شک به عنوان یک مرجع کلیدی در مطالعات آتی WSD فارسی شناخته خواهد شد و به جایگاه زبان فارسی در عرصه فناوری‌های زبانی کمک شایانی خواهد کرد.