در دنیای امروز، با گسترش روزافزون متون علمی، تخصصی و رسمی، استفاده از سرواژه‌ها (acronyms) به منظور خلاصه سازی و تسهیل در خوانایی متون، امری رایج و ضروری است. سرواژه‌ها، شکل کوتاه‌شده‌ی یک عبارت یا اصطلاح هستند که معمولاً از حروف اول کلمات تشکیل‌دهنده آن عبارت ساخته می‌شوند. استخراج خودکار این سرواژه‌ها از متون، می‌تواند به بهبود عملکرد در وظایف مختلف پردازش زبان طبیعی (NLP) مانند ترجمه ماشینی، بازیابی اطلاعات و خلاصه‌سازی متن کمک شایانی نماید.

مقاله حاضر، با عنوان اصلی “An Ensemble Approach to Acronym Extraction using Transformers”، توسط تیمی از محققان به نام‌های Prashant Sharma، Hadeel Saadany، Leonardo Zilio، Diptesh Kanojia و Constantin Orăsan ارائه شده است. این محققان، در زمینه پردازش زبان طبیعی و یادگیری ماشین فعالیت دارند و تلاش آن‌ها معطوف به توسعه روش‌هایی نوین برای استخراج و شناسایی سرواژه‌ها از متون مختلف است. زمینه اصلی تحقیق این مقاله، استفاده از مدل‌های یادگیری عمیق، به ویژه مدل‌های مبتنی بر ترنسفورمرها، برای حل چالش‌های موجود در استخراج خودکار سرواژه‌ها است.

این مقاله، یک رویکرد ترکیبی (ensemble approach) برای استخراج سرواژه‌ها از متون ارائه می‌دهد. روش پیشنهادی، از دو روش مجزا برای شناسایی سرواژه‌ها و عبارت کامل متناظر با آن‌ها استفاده می‌کند. در روش اول، یک مدل زبانی چندزبانه مبتنی بر ترنسفورمر (multilingual contextual language model) آموزش داده می‌شود تا به طور خاص برای این وظیفه تنظیم شود. در روش دوم، از یک معماری شبکه عصبی کانولوشن (convolutional neural network) برای استخراج سرواژه‌های اضافی استفاده شده و نتایج آن به خروجی روش اول اضافه می‌شود. به منظور بهبود عملکرد مدل، مجموعه داده آموزشی رسمی با نمونه‌های آموزشی اضافی استخراج شده از مجلات دسترسی آزاد (open-access journals) تکمیل شده است. تحلیل داده‌ها همچنین به وجود نویز در مجموعه داده فعلی اشاره دارد. نتایج این تحقیق نشان می‌دهد که روش پیشنهادی، به امتیازات قابل قبولی در معیار Macro-F1 در داده‌های آزمایشی منتشر شده دست یافته است. این امتیازات برای زبان‌های مختلف به شرح زیر است: دانمارکی (0.74)، انگلیسی-حقوقی (0.72)، انگلیسی-علمی (0.73)، فرانسوی (0.63)، فارسی (0.57)، اسپانیایی (0.65)، ویتنامی (0.65). کد و مدل‌های آموزش داده شده در این تحقیق به صورت عمومی منتشر شده‌اند تا سایر محققان نیز بتوانند از آن‌ها استفاده کنند.

روش‌شناسی تحقیق در این مقاله، ترکیبی از دو روش اصلی است:

• استفاده از مدل زبانی چندزبانه مبتنی بر ترنسفورمر: در این روش، یک مدل زبانی بزرگ مانند BERT یا mBERT که از قبل بر روی حجم عظیمی از داده‌های متنی آموزش داده شده است، برای وظیفه استخراج سرواژه‌ها fine-tune (تنظیم دقیق) می‌شود. این کار با استفاده از داده‌های آموزشی انجام می‌گیرد که شامل جفت‌های سرواژه و عبارت کامل متناظر با آن‌ها است. مدل پس از آموزش، قادر خواهد بود تا سرواژه‌ها را در متون جدید شناسایی کرده و عبارت کامل آن‌ها را حدس بزند. برای مثال، اگر مدل با عبارت “WHO” و عبارت کامل “World Health Organization” آموزش دیده باشد، در صورت مواجهه با “WHO” در متن جدید، قادر خواهد بود “World Health Organization” را به عنوان عبارت کامل آن پیشنهاد دهد.
• استفاده از شبکه عصبی کانولوشن: این روش، به عنوان یک روش مکمل برای روش اول عمل می‌کند و هدف آن، شناسایی سرواژه‌هایی است که ممکن است توسط مدل زبانی مبتنی بر ترنسفورمر از قلم افتاده باشند. شبکه عصبی کانولوشن، الگوهای موجود در حروف و کلمات اطراف سرواژه‌ها را یاد می‌گیرد و بر اساس این الگوها، اقدام به شناسایی سرواژه‌های جدید می‌کند. برای مثال، این شبکه ممکن است یاد بگیرد که سرواژه‌ها معمولاً از حروف بزرگ تشکیل شده‌اند و اغلب در ابتدای عبارات یا جملات قرار دارند.

علاوه بر این، محققان برای بهبود عملکرد مدل، اقدام به augmentation (توسعه) مجموعه داده آموزشی کرده‌اند. این کار با استخراج نمونه‌های آموزشی اضافی از مجلات دسترسی آزاد انجام شده است. همچنین، آن‌ها به بررسی و تحلیل مجموعه داده موجود پرداخته‌اند و به وجود نویز و اطلاعات نادرست در آن پی برده‌اند.

یافته‌های کلیدی این تحقیق به شرح زیر است:

• رویکرد ترکیبی پیشنهادی، عملکرد بهتری نسبت به استفاده از هر یک از روش‌ها به صورت جداگانه دارد.
• توسعه مجموعه داده آموزشی با استفاده از داده‌های استخراج شده از مجلات دسترسی آزاد، به بهبود عملکرد مدل کمک می‌کند.
• وجود نویز در مجموعه داده‌های موجود، می‌تواند بر عملکرد مدل تاثیر منفی بگذارد.
• مدل پیشنهادی، توانایی خوبی در استخراج سرواژه‌ها از متون مختلف به زبان‌های مختلف دارد.

در جدول زیر، نتایج دقیق عملکرد مدل برای زبان‌های مختلف نشان داده شده است:

نتایج این تحقیق، کاربردهای متعددی در زمینه‌های مختلف دارد. از جمله این کاربردها می‌توان به موارد زیر اشاره کرد:

• ترجمه ماشینی: شناسایی و استخراج دقیق سرواژه‌ها می‌تواند به بهبود کیفیت ترجمه ماشینی متون تخصصی کمک کند.
• بازیابی اطلاعات: با استفاده از این روش، می‌توان اطلاعات دقیق‌تری را از متون استخراج کرده و در نتیجه، نتایج جستجو را بهبود بخشید.
• خلاصه‌سازی متن: با شناسایی سرواژه‌ها و جایگزینی آن‌ها با عبارت کامل، می‌توان خلاصه‌های خواناتری از متون ارائه داد.
• توسعه فرهنگ لغت‌های تخصصی: نتایج این تحقیق می‌تواند در توسعه فرهنگ لغت‌های تخصصی و جمع‌آوری اطلاعات مربوط به سرواژه‌ها و عبارات کامل آن‌ها مورد استفاده قرار گیرد.

علاوه بر این، انتشار عمومی کد و مدل‌های آموزش داده شده در این تحقیق، به سایر محققان امکان می‌دهد تا از این یافته‌ها در تحقیقات خود استفاده کرده و آن‌ها را توسعه دهند.

مقاله “رویکردی ترکیبی مبتنی بر ترنسفورمرها برای استخراج سرواژه”، یک روش نوین و موثر برای استخراج خودکار سرواژه‌ها از متون ارائه می‌دهد. این روش، با استفاده از ترکیب دو مدل یادگیری عمیق و توسعه مجموعه داده آموزشی، به نتایج قابل قبولی در زبان‌های مختلف دست یافته است. یافته‌های این تحقیق، کاربردهای متعددی در زمینه‌های پردازش زبان طبیعی دارد و می‌تواند به بهبود عملکرد در وظایفی مانند ترجمه ماشینی، بازیابی اطلاعات و خلاصه‌سازی متن کمک کند. با توجه به اهمیت روزافزون سرواژه‌ها در متون تخصصی و رسمی، توسعه روش‌هایی کارآمد برای استخراج خودکار آن‌ها، امری ضروری و ارزشمند است. این مقاله، گامی مهم در این راستا محسوب می‌شود.