زبان سانسکریت، با قدمتی چندهزارساله و گنجینه‌ای بی‌بدیل از متون ادبی، فلسفی و علمی، یکی از ستون‌های اصلی میراث فرهنگی بشر به شمار می‌رود. با پیشرفت فناوری‌های هوش مصنوعی و پردازش زبان طبیعی (NLP)، تلاش‌های فزاینده‌ای برای دیجیتالی کردن و تحلیل محاسباتی این متون غنی صورت گرفته است. با این حال، سانسکریت در دنیای NLP به عنوان یک زبان کم‌منبع (Low-resource Language) طبقه‌بندی می‌شود. این اصطلاح به این معنا نیست که متون سانسکریت کمیاب هستند، بلکه به کمبود داده‌های ساختاریافته و برچسب‌خورده برای آموزش مدل‌های یادگیری ماشینِ نظارت‌شده (Supervised Learning) اشاره دارد.

مقاله “ارزیابی تعبیه‌های کلمه عصبی برای سانسکریت” نوشته جیونش ساندهان و همکارانش، دقیقاً به همین چالش اساسی می‌پردازد. اهمیت این پژوهش در آن است که یک جزء بنیادی و حیاتی در هر سیستم NLP مدرن، یعنی «تعبیه‌های کلمه» (Word Embeddings)، را برای زبان سانسکریت به طور نظام‌مند مورد مطالعه و ارزیابی قرار می‌دهد. این مقاله با ایجاد یک معیار استاندارد برای سنجش کیفیت بازنمایی‌های کلمات، راه را برای توسعه ابزارهای پیشرفته‌تر مانند ترجمه ماشینی، تحلیل معنایی و طبقه‌بندی متون در زبان سانسکریت هموار می‌کند و به مثابه پلی مستحکم میان سنت غنی این زبان و فناوری‌های نوین عمل می‌کند.

این مقاله حاصل همکاری گروهی از پژوهشگران برجسته در حوزه زبان‌شناسی محاسباتی و هوش مصنوعی است: جیونش ساندهان، اوم آدیدوا، دیگومارتی کومال، لاکسمیدار بهرا و پاوان گویال. این محققان در مراکز علمی پیشرو فعالیت داشته و سوابق درخشانی در زمینه پردازش زبان‌های طبیعی، به‌ویژه زبان‌های هندی، دارند. این پژوهش در بستر یک جنبش علمی گسترده‌تر برای حفظ و احیای دیجیتال زبان سانسکریت انجام شده است. در دهه اخیر، تلاش‌های قابل ستایشی از سوی جامعه علمی برای دیجیتالی کردن نسخ خطی، ایجاد پیکره‌های متنی (Corpora) و توسعه ابزارهای پایه‌ای NLP برای سانسکریت صورت گرفته است. این مقاله گامی مهم در جهت بهره‌برداری مؤثر از این منابع دیجیتال و تبدیل آن‌ها به دانش قابل استفاده برای ماشین‌ها است.

موفقیت‌های چشمگیر مدل‌های یادگیری نظارت‌شده در سال‌های اخیر، توجه زبان‌شناسان محاسباتی فعال در حوزه سانسکریت را به خود جلب کرده است. این امر منجر به ایجاد مجموعه داده‌های برچسب‌خورده برای وظایف مختلفی مانند برچسب‌گذاری اجزای کلام (Part-of-Speech Tagging) و شناسایی موجودیت‌های نام‌دار (Named Entity Recognition) شده است. با این حال، جزء اصلی و زیربنایی این رویکردها، بازنمایی کلمات به صورت بردارهای عددی یا همان «تعبیه‌های کلمه» است.

تعبیه‌های کلمه به مدل‌ها اجازه می‌دهند تا دانش آموخته‌شده از حجم عظیمی از داده‌های بدون برچسب را به وظایفی منتقل کنند که داده‌های برچسب‌خورده محدودی دارند. این فرآیند که انتقال دانش (Knowledge Transfer) نامیده می‌شود، برای زبان‌های کم‌منبعی مانند سانسکریت حیاتی است. هدف اصلی این مقاله، انجام یک مطالعه نظام‌مند و جامع بر روی رویکردهای مختلف تولید تعبیه‌های کلمه برای زبان سانسکریت است. نویسندگان، این مدل‌ها را در دسته‌های کلی طبقه‌بندی کرده و عملکرد آن‌ها را بر روی چهار وظیفه ارزیابی ذاتی (Intrinsic Evaluation Tasks) می‌سنجند تا مشخص کنند کدام رویکردها برای ساختار منحصربه‌فرد و چالش‌های زبان سانسکریت مناسب‌تر هستند.

پژوهشگران در این مقاله یک رویکرد چندمرحله‌ای و دقیق را برای ارزیابی مدل‌های تعبیه کلمه به کار بسته‌اند:

• گردآوری و پیش‌پردازش پیکره: اولین گام، جمع‌آوری یک پیکره متنی بزرگ و متنوع از منابع دیجیتالی سانسکریت بود. این پیکره سپس تحت فرآیندهای پیچیده پیش‌پردازش قرار گرفت تا برای آموزش مدل‌ها آماده شود. این فرآیند شامل توکن‌سازی (تقسیم متن به کلمات) و نرمال‌سازی است که به دلیل ویژگی‌های سانسکریت مانند «ساندی» (ادغام حروف در مرز کلمات) بسیار چالش‌برانگیز است.
• طبقه‌بندی و آموزش مدل‌های تعبیه: نویسندگان مدل‌های مختلف تعبیه کلمه را که در اصل برای زبان‌های دیگر طراحی شده بودند، برای سانسکریت پیاده‌سازی و آموزش دادند. این مدل‌ها به طور کلی در دسته‌های زیر قرار می‌گیرند:
  • مدل‌های پیش‌بین (Predictive Models): این دسته شامل الگوریتم‌های محبوبی مانند Word2Vec (با دو معماری Skip-gram و CBOW) و GloVe است. Word2Vec تلاش می‌کند کلمات همسایه (زمینه) را بر اساس یک کلمه مرکزی پیش‌بینی کند (یا برعکس)، در حالی که GloVe بر اساس ماتریس هم‌رخدادی کلمات عمل می‌کند.
  • مدل‌های مبتنی بر زیرکلمه (Subword-based Models): الگوریتمی مانند FastText که کلمات را به واحدهای کوچک‌تر (n-gram های کاراکتری) تقسیم می‌کند. این رویکرد برای زبان‌های با صرف پیچیده مانند سانسکریت بسیار مفید است، زیرا می‌تواند برای کلمات نادری که در داده‌های آموزشی وجود ندارند نیز بردار معناداری تولید کند.
• ارزیابی ذاتی (Intrinsic Evaluation): کیفیت بردارهای تولید شده توسط هر مدل، از طریق چهار وظیفه استاندارد ارزیابی شد. این وظایف کیفیت بازنمایی‌های معنایی را بدون نیاز به یک کاربرد نهایی می‌سنجند:
  1. تشابه کلمات (Word Similarity): سنجش اینکه آیا مدل می‌تواند میزان شباهت معنایی بین دو کلمه را به درستی تخمین بزند. برای مثال، بردار کلمه «سوریا» (خورشید) باید به بردار «آدیتیا» (یکی از نام‌های خورشید) نزدیک‌تر از بردار «چاندرا» (ماه) باشد.
  2. قیاس کلمات (Word Analogy): توانایی مدل در درک روابط معنایی. مثال کلاسیک آن «پادشاه – مرد + زن ≈ ملکه» است. در سانسکریت می‌توان این رابطه را آزمود: «راما – پوروشا (مرد) + استری (زن) ≈ سیتا».
  3. شناسایی کلمه ناهماهنگ (Outlier Detection): در یک مجموعه از کلمات مرتبط، مدل باید بتواند کلمه‌ای که از نظر معنایی با بقیه تفاوت دارد را شناسایی کند.
  4. خوشه‌بندی معنایی (Semantic Clustering): گروه‌بندی کلماتی که معانی مشابهی دارند در کنار یکدیگر.

این مطالعه جامع به نتایج و یافته‌های مهمی دست یافت که برای آینده پژوهش‌های NLP در سانسکریت بسیار ارزشمند است:

• عدم وجود یک مدل برتر مطلق: هیچ‌کدام از مدل‌های تعبیه کلمه در تمام وظایف ارزیابی، بهترین عملکرد را نداشتند. برای مثال، مدل‌های مبتنی بر زیرکلمه مانند FastText در مدیریت کلمات نادر و صرف‌های پیچیده بهتر عمل کردند، در حالی که مدل‌هایی مانند GloVe ممکن است در وظایف قیاس عملکرد بهتری داشته باشند. این نشان می‌دهد که انتخاب مدل باید بر اساس کاربرد نهایی مورد نظر صورت گیرد.
• تأثیر حیاتی هایپرپارامترها: عملکرد مدل‌ها به شدت به تنظیمات هایپرپارامترها مانند ابعاد بردار، اندازه پنجره زمینه و تعداد دورهای آموزش وابسته بود. این یافته بر اهمیت تنظیم دقیق مدل‌ها برای زبان سانسکریت تأکید می‌کند.
• چالش‌های منحصربه‌فرد زبان سانسکریت: پژوهش به وضوح نشان داد که ویژگی‌های ساختاری سانسکریت، چالش‌های جدی برای مدل‌های استاندارد ایجاد می‌کنند:
  • صرف پیچیده (Complex Morphology): سانسکریت یک زبان با صرف بسیار غنی است. یک ریشه کلمه می‌تواند صدها شکل مختلف داشته باشد. این امر منجر به پراکندگی داده‌ها شده و کار را برای مدل‌هایی که هر شکل کلمه را یک واحد مجزا در نظر می‌گیرند، دشوار می‌سازد.
  • ترکیبات ساندی (Sandhi Compounds): پدیده ساندی، که در آن کلمات در هنگام اتصال به یکدیگر از نظر آوایی تغییر می‌کنند، باعث ایجاد کلمات ترکیبی بسیار طولانی می‌شود. این پدیده، فرآیند توکن‌سازی را به یکی از بزرگترین موانع در پردازش زبان سانسکریت تبدیل کرده است.

دستاورد اصلی این مقاله، ارائه اولین معیار (Benchmark) نظام‌مند و جامع برای ارزیابی تعبیه‌های کلمه در زبان سانسکریت است. این پژوهش یک منبع بنیادی برای محققان و توسعه‌دهندگانی فراهم می‌کند که قصد دارند ابزارهای NLP پیشرفته برای این زبان بسازند. کاربردهای عملی این دستاورد بسیار گسترده است:

• بهبود وظایف پایین‌دستی (Downstream Tasks): تعبیه‌های کلمه باکیفیت و از پیش آموزش‌دیده می‌توانند به عنوان ورودی برای مدل‌های یادگیری ماشین در وظایف مختلف استفاده شوند و عملکرد آن‌ها را، به‌ویژه در شرایط کمبود داده‌های برچسب‌خورده، به طور قابل توجهی بهبود بخشند. این وظایف عبارتند از:
  • ترجمه ماشینی: ترجمه متون سانسکریت به زبان‌های مدرن و بالعکس.
  • تحلیل احساسات: درک نگرش مثبت یا منفی در متون تفسیری و فلسفی.
  • شناسایی موجودیت‌های نام‌دار (NER): استخراج اسامی خدایان، شخصیت‌ها و مکان‌ها از متون حماسی مانند مهاباراتا و رامایانا.
  • طبقه‌بندی متون: دسته‌بندی خودکار متون بر اساس نویسنده، دوره تاریخی یا مکتب فکری.
• تسهیل پژوهش‌های زبان‌شناسی: این بازنمایی‌های برداری می‌توانند توسط زبان‌شناسان برای مطالعه روابط معنایی بین کلمات و ردیابی تحولات معنایی در طول تاریخ استفاده شوند.

مقاله “ارزیابی تعبیه‌های کلمه عصبی برای سانسکریت” یک گام بنیادین و ضروری در مسیر پیشرفت پردازش زبان طبیعی برای این زبان کلاسیک است. نویسندگان با موفقیت، روش‌های مختلف تعبیه کلمه را به صورت نظام‌مند ارزیابی کرده و یک معیار ارزشمند برای پژوهش‌های آینده ارائه داده‌اند. این تحقیق نه تنها کارایی مدل‌های موجود را برای سانسکریت می‌سنجد، بلکه چالش‌های کلیدی مانند صرف پیچیده و پدیده ساندی را نیز برجسته می‌کند.

این پژوهش راه را برای توسعه مدل‌های زبانی پیچیده‌تر و مختص سانسکریت، مانند مدل‌های زبانی بزرگ مبتنی بر معماری ترنسفورمر (مانند BERT)، هموار می‌کند. در نهایت، چنین تلاش‌هایی به ما کمک می‌کند تا گنجینه عظیم دانش نهفته در متون سانسکریت را در عصر دیجیتال بازگشایی کرده و آن را برای نسل‌های آینده قابل دسترس و قابل تحلیل سازیم.