در عصر انفجار اطلاعات، توانایی استخراج سریع و دقیق نکات کلیدی از حجم انبوهی از متون، به یک نیاز اساسی تبدیل شده است. فناوری خلاصه‌سازی خودکار متن پاسخی به این نیاز است. این فناوری به دو شاخه اصلی تقسیم می‌شود: خلاصه‌سازی استخراجی (Extractive) که جملات مهم را از متن اصلی انتخاب می‌کند و خلاصه‌سازی انتزاعی (Abstractive) که با درک محتوای متن، خلاصه‌ای جدید با کلمات و ساختارهای تازه تولید می‌کند. روش دوم شباهت بیشتری به خلاصه‌سازی انسانی دارد اما به مراتب پیچیده‌تر است.

با ظهور شبکه‌های عصبی عمیق، مدل‌های خلاصه‌سازی انتزاعی پیشرفت چشمگیری داشته‌اند، اما موفقیت آن‌ها عمدتاً محدود به زبان‌های پرمنبعی مانند انگلیسی است که دارای مجموعه داده‌های آموزشی عظیم هستند. این در حالی است که هزاران زبان دیگر در جهان، از جمله زبان فارسی، به عنوان زبان‌های کم‌منبع (Less-resource) شناخته می‌شوند و از کمبود داده‌های باکیفیت رنج می‌برند. این شکاف دیجیتال مانع از بهره‌مندی جوامع غیرانگلیسی‌زبان از این فناوری‌های پیشرفته می‌شود.

مقاله “Cross-lingual Transfer of Abstractive Summarizer to Less-resource Language” نوشته آلش ژاگر و مارکو روبنیک-شیکونیا، راهکاری نوآورانه برای این چالش ارائه می‌دهد. این پژوهش نشان می‌دهد چگونه می‌توان یک مدل خلاصه‌ساز قدرتمند که بر روی زبان انگلیسی آموزش دیده را برای خلاصه‌سازی متون در یک زبان کم‌منبع (در این مورد، زبان اسلوونیایی) به کار گرفت. اهمیت این مقاله در ارائه یک نقشه راه عملی برای «دموکراتیزه کردن» فناوری خلاصه‌سازی و قابل دسترس کردن آن برای زبان‌های مختلف در سراسر جهان است.

این مقاله توسط آلش ژاگر (Aleš Žagar) و مارکو روبنیک-شیکونیا (Marko Robnik-Šikonja)، پژوهشگران دانشکده علوم کامپیوتر و اطلاعات دانشگاه لیوبلیانا در اسلوونی، به رشته تحریر درآمده است. انتخاب زبان اسلوونیایی به عنوان زبان هدف در این تحقیق، با توجه به وابستگی سازمانی نویسندگان، کاملاً طبیعی بوده و نمونه‌ای عالی از یک زبان کم‌منبع اروپایی است.

این پژوهش در تقاطع دو حوزه مهم علوم کامپیوتر قرار دارد: پردازش زبان طبیعی (NLP) و یادگیری ماشین (Machine Learning). این اثر در ادامه روندی جهانی در حوزه هوش مصنوعی است که بر استفاده از مدل‌های از پیش آموزش‌دیده (Pre-trained Models) بر روی داده‌های عظیم و سپس انتقال دانش آن‌ها به وظایف یا زبان‌های خاص با داده‌های محدودتر تمرکز دارد. این رویکرد که به «یادگیری انتقال» (Transfer Learning) معروف است، سنگ بنای بسیاری از موفقیت‌های اخیر در هوش مصنوعی بوده است.

هدف اصلی این پژوهش، توسعه یک مدل خلاصه‌ساز انتزاعی برای زبان اسلوونیایی با استفاده از یک مدل قدرتمند انگلیسی است. چالش اصلی در این مسیر، ماهیت وابسته‌به‌زبانِ بخش رمزگشای (Decoder) مدل‌های عصبی است. مدل‌های خلاصه‌ساز معمولاً از معماری رمزگذار-رمزگشا (Encoder-Decoder) استفاده می‌کنند. در حالی که رمزگذار می‌تواند برای درک متون زبان‌های مختلف تطبیق داده شود، رمزگشا که وظیفه تولید متن خروجی را بر عهده دارد، کاملاً به گرامر و واژگان زبان آموزش‌دیده (انگلیسی) وابسته است و نمی‌تواند مستقیماً متن منسجمی به زبان دیگر (اسلوونیایی) تولید کند.

نویسندگان برای حل این مشکل، راهکاری هوشمندانه ارائه می‌دهند: استفاده از یک مدل زبان (Language Model) کمکی که منحصراً بر روی زبان مقصد (اسلوونیایی) آموزش دیده است. این مدل زبان در حین تولید خلاصه، به رمزگشا کمک می‌کند تا کلمات و ساختارهای صحیح و طبیعی‌تری را در زبان مقصد انتخاب کند و از تولید عبارات بی‌معنی جلوگیری نماید.

آن‌ها مدل‌های مختلفی را با استفاده از این روش و با حجم‌های متفاوتی از داده‌های اسلوونیایی برای فرآیند «تنظیم دقیق» (Fine-tuning) آزمایش کردند. نتایج هم از طریق معیارهای ارزیابی خودکار و هم از طریق ارزیابی انسانی بررسی شد و نشان داد که بهترین مدل انتقال‌یافته، کیفیتی مشابه با مدلی دارد که از ابتدا فقط بر روی داده‌های محدود اسلوونیایی آموزش دیده است. این یافته، موفقیت رویکرد انتقال بین‌زبانی را به اثبات می‌رساند.

پایه و اساس روش‌شناسی این تحقیق بر مفهوم یادگیری انتقال بین‌زبانی (Cross-lingual Transfer Learning) استوار است. مراحل کلیدی این فرآیند به شرح زیر است:

• مدل پایه: پژوهشگران از یک مدل خلاصه‌ساز انتزاعی مبتنی بر شبکه‌های عصبی عمیق با معماری Sequence-to-Sequence (seq2seq) به همراه مکانیزم توجه (Attention) استفاده کردند. این مدل از قبل بر روی یک مجموعه داده عظیم خبری به زبان انگلیسی آموزش دیده و توانایی بالایی در خلاصه‌سازی متون انگلیسی کسب کرده بود.
• چالش رمزگشای تک‌زبانه: مشکل اصلی این بود که بخش رمزگشای این مدل برای تولید جملات انگلیسی طراحی شده بود. اگر متن ورودی اسلوونیایی به آن داده می‌شد، خروجی ترکیبی نامفهوم از کلمات انگلیسی و اسلوونیایی بود.
• راهکار نوآورانه: برای غلبه بر این مانع، دو تکنیک اصلی به کار گرفته شد:
  1. تنظیم دقیق (Fine-tuning): مدل از پیش آموزش‌دیده انگلیسی، بر روی مجموعه داده کوچکی از مقالات خبری اسلوونیایی و خلاصه‌های انسانی آن‌ها مجدداً آموزش داده شد. این فرآیند به مدل کمک می‌کند تا خود را با واژگان و ساختارهای زبان جدید تطبیق دهد.
  2. هدایت رمزگشا با مدل زبان: این مهم‌ترین نوآوری تحقیق است. یک مدل زبان جداگانه، که فقط با متون اسلوونیایی آموزش دیده بود، در فرآیند تولید خلاصه (inference) به کار گرفته شد. این مدل زبان، احتمال تولید دنباله‌ای از کلمات را در زبان اسلوونیایی محاسبه می‌کند. در هر مرحله از تولید خلاصه، رمزگشا گزینه‌های مختلفی برای کلمه بعدی پیشنهاد می‌دهد و مدل زبان اسلوونیایی به آن گزینه‌ای که از نظر زبانی طبیعی‌تر و صحیح‌تر است، امتیاز بالاتری می‌دهد. این مکانیزم، رمزگشا را به سمت تولید متنی روان و قابل فهم در زبان مقصد هدایت می‌کند.
• ارزیابی: کیفیت خلاصه‌های تولیدشده با دو روش سنجیده شد:
  • معیارهای خودکار (ROUGE): این معیارها با مقایسه کلمات و عبارات مشترک بین خلاصه تولیدشده توسط ماشین و خلاصه مرجع نوشته‌شده توسط انسان، امتیازی به کیفیت خلاصه می‌دهند.
  • ارزیابی انسانی: گروهی از ارزیابان انسانی، خلاصه‌ها را از دو جنبه کلیدی بررسی کردند: دقت (Accuracy)، یعنی میزان وفاداری خلاصه به محتوای متن اصلی، و خوانایی (Readability)، یعنی میزان روانی و طبیعی بودن متن خلاصه.

نتایج این تحقیق بسیار امیدبخش و قابل توجه بود و موفقیت رویکرد پیشنهادی را تأیید کرد.

• عملکرد رقابتی در ارزیابی خودکار: نتایج معیارهای ROUGE نشان داد که بهترین مدل انتقال‌یافته (مدل انگلیسی که بر روی داده‌های اسلوونیایی تنظیم دقیق شده بود) عملکردی به خوبیِ مدلی داشت که از صفر فقط روی داده‌های اسلوونیایی آموزش دیده بود. این یافته بسیار مهم است، زیرا نشان می‌دهد که دانش عظیم موجود در مدل انگلیسی با موفقیت به زبان جدید منتقل شده و کمبود داده در زبان مقصد را جبران کرده است.
• کیفیت بالا در ارزیابی انسانی: ارزیابان انسانی به خلاصه‌های تولیدشده توسط بهترین مدل، امتیاز بالایی از نظر دقت و صحت محتوا دادند. این بدان معناست که مدل توانسته بود نکات اصلی مقالات را به درستی استخراج و بازنویسی کند. از نظر خوانایی نیز، خلاصه‌ها “قابل قبول” ارزیابی شدند که برای مدل‌های انتزاعی نسل اول یک دستاورد بزرگ محسوب می‌شود.
• چالش توهم‌زایی (Hallucination): نویسندگان با صداقت علمی به یکی از محدودیت‌های مدل خود نیز اشاره کردند. مانند بسیاری از مدل‌های انتزاعی دیگر، این مدل نیز گاهی اوقات دچار پدیده‌ای به نام توهم‌زایی می‌شود؛ یعنی اطلاعاتی را در خلاصه تولید می‌کند که در متن اصلی وجود ندارد یا حتی با آن در تضاد است. این مشکل یکی از چالش‌های باز در حوزه خلاصه‌سازی انتزاعی است و نشان می‌دهد که این فناوری هنوز به بلوغ کامل نرسیده است.

این مقاله دستاوردهای علمی و کاربردی مهمی را به همراه دارد:

• ارائه یک الگو برای زبان‌های کم‌منبع: این تحقیق یک نقشه راه عملی برای ساخت خلاصه‌سازهای انتزاعی در زبان‌هایی مانند فارسی، عربی، ترکی و صدها زبان دیگر که با کمبود داده مواجه هستند، فراهم می‌کند.
• کاهش شکاف دیجیتال: با این روش، دیگر نیازی به جمع‌آوری مجموعه داده‌های میلیونی برای هر زبان نیست. می‌توان از دانش مدل‌های موجود برای توانمندسازی زبان‌های کمتر برخوردار استفاده کرد و فناوری‌های پیشرفته هوش مصنوعی را در اختیار جمعیت بزرگ‌تری از مردم جهان قرار داد.
• کاربردهای عملی:
  • خلاصه‌سازی خودکار اخبار برای وب‌سایت‌های خبری محلی.
  • ایجاد خلاصه‌ای از اسناد طولانی دولتی، حقوقی یا پزشکی.
  • توسعه ابزارهای کمکی برای پژوهشگران و دانشجویانی که با متون غیرانگلیسی سروکار دارند.
• مشارکت علمی: مهم‌ترین سهم علمی این مقاله، اثبات این موضوع است که مشکل «رمزگشای تک‌زبانه» در انتقال بین‌زبانی، با استفاده از یک مدل زبان کمکی در زبان مقصد، قابل حل است. این ایده راه را برای تحقیقات آینده در این زمینه هموار می‌کند.

مقاله “انتقال بین‌زبانی خلاصه‌ساز انتزاعی به زبان‌های کم‌منبع” یک گام مهم و رو به جلو در جهت فراگیر کردن فناوری‌های پیشرفته پردازش زبان طبیعی است. نویسندگان با موفقیت نشان دادند که می‌توان با بهره‌گیری از دانش یک مدل آموزش‌دیده بر روی زبان انگلیسی و با استفاده از یک راهکار هوشمندانه برای حل مشکل رمزگشا، یک خلاصه‌ساز کارآمد برای زبانی کم‌منبع مانند اسلوونیایی ساخت.

این پژوهش ثابت می‌کند که یادگیری انتقال یک استراتژی قدرتمند برای غلبه بر محدودیت داده است و می‌تواند به توسعه ابزارهای هوشمند برای جوامع زبانی مختلف در سراسر جهان کمک کند. اگرچه چالش‌هایی مانند توهم‌زایی همچنان پابرجا هستند، اما این کار مسیری روشن برای آینده‌ای را ترسیم می‌کند که در آن، پیشرفت‌های هوش مصنوعی تنها به چند زبان مسلط محدود نخواهد بود و به یک میراث مشترک برای تمام بشریت تبدیل خواهد شد.