در دنیای علم و فناوری، استفاده از سرواژه‌ها (Acronyms) امری رایج و اجتناب‌ناپذیر است. این کلمات اختصاری به خلاصه‌سازی مفاهیم پیچیده و تسریع ارتباطات کمک شایانی می‌کنند. با این حال، همین ابزار کارآمد می‌تواند منشأ ابهام و سردرگمی شود. یک سرواژه ممکن است معانی متعددی در حوزه‌های مختلف علمی داشته باشد. برای مثال، سرواژه “AI” می‌تواند به “هوش مصنوعی (Artificial Intelligence)” یا “آنفولانزای پرندگان (Avian Influenza)” اشاره داشته باشد. تشخیص معنای صحیح در یک متن خاص، چالشی است که تحت عنوان “ابهام‌زدایی از سرواژه‌ها (Acronym Disambiguation – AD)” شناخته می‌شود.

این مسئله نه تنها برای خوانندگان انسانی، بلکه برای سیستم‌های پردازش زبان طبیعی (NLP) نیز یک مانع جدی است. موتورهای جستجو، سیستم‌های خلاصه‌سازی خودکار و ابزارهای استخراج اطلاعات برای درک دقیق محتوای متون علمی، نیازمند شناسایی معنای صحیح این سرواژه‌ها هستند. مقاله “BERT-based Acronym Disambiguation with Multiple Training Strategies” که در این نوشتار به بررسی آن می‌پردازیم، یک راهکار نوآورانه و بسیار مؤثر برای حل این چالش در حوزه متون علمی ارائه می‌دهد. اهمیت این مقاله در ارائه یک مدل پیشرفته و کسب رتبه اول در یک رقابت علمی معتبر نهفته است که نشان از کارایی بالای رویکرد پیشنهادی دارد.

این مقاله توسط تیمی از محققان به نام‌های Chunguang Pan، Bingyan Song، Shengguang Wang و Zhipeng Luo به رشته تحریر درآمده است. دستاورد اصلی این تحقیق در بستر یک رقابت علمی معتبر به نام SDU@AAAI-21 Shared Task 2 ارائه شده است. این رویدادها که با عنوان “وظایف مشترک” شناخته می‌شوند، بستری را برای تیم‌های تحقیقاتی از سراسر جهان فراهم می‌کنند تا راهکارهای خود را برای یک مسئله مشخص بر روی یک مجموعه داده استاندارد (Dataset) ارزیابی و مقایسه کنند. کسب رتبه نخست توسط این تیم در چنین رقابت فشرده‌ای، اعتبار و کارایی روش پیشنهادی آن‌ها را به وضوح نشان می‌دهد. این موفقیت بیانگر آن است که مدل ارائه شده نه تنها از نظر تئوری مستحکم است، بلکه در عمل نیز توانسته بهترین عملکرد را در میان رقبا به ثبت برساند.

هدف اصلی وظیفه ابهام‌زدایی از سرواژه‌ها (AD)، یافتن شکل بازشده (Expansion) صحیح برای یک سرواژه مبهم در یک جمله معین است. علی‌رغم پژوهش‌های گسترده در حوزه پردازش زبان طبیعی، این مسئله، به ویژه در متون علمی، کمتر مورد توجه قرار گرفته است. نویسندگان این مقاله برای پر کردن این خلاء، یک مدل طبقه‌بندی دوتایی (Binary Classification) مبتنی بر معماری قدرتمند BERT ارائه کرده‌اند.

ایده اصلی مدل ساده است: برای هر سرواژه در یک جمله، یک شکل بازشدهٔ بالقوه به مدل داده می‌شود و مدل باید تصمیم بگیرد که آیا این شکل بازشده صحیح است یا خیر (پاسخ بله/خیر). اما نوآوری اصلی این مقاله در به‌کارگیری مجموعه‌ای از استراتژی‌های آموزشی هوشمندانه برای تقویت این مدل پایه است. این استراتژی‌ها عبارتند از:

• انتخاب دینامیک نمونه‌های منفی (Dynamic Negative Sample Selection)
• پیش‌آموزش تطبیقی با وظیفه (Task-Adaptive Pre-training)
• آموزش متخاصمانه (Adversarial Training)
• برچسب‌زنی کاذب (Pseudo-Labeling)

این مقاله نشان می‌دهد که ترکیب این تکنیک‌ها به طور قابل توجهی عملکرد مدل را بهبود بخشیده و آن را به بهترین راه‌حل در مجموعه داده استاندارد SciAD تبدیل کرده است.

سنگ بنای موفقیت این پژوهش، ترکیب یک مدل پایه قدرتمند با استراتژی‌های آموزشی پیشرفته است. در ادامه، هر یک از این مؤلفه‌ها را به تفصیل بررسی می‌کنیم.

مدل پایه: طبقه‌بندی دوتایی مبتنی بر BERT

مدل BERT (Bidirectional Encoder Representations from Transformers) یک مدل زبانی پیش‌آموخته است که توانایی فوق‌العاده‌ای در درک بافتار کلمات در جمله دارد. در این تحقیق، مسئله به این صورت فرمول‌بندی شده است: ورودی مدل شامل جمله حاوی سرواژه و یکی از شکل‌های بازشدهٔ ممکن برای آن است. این دو بخش با یک توکن ویژه به نام `[SEP]` از هم جدا می‌شوند. برای مثال، اگر جمله “The model was trained with SVM” را داشته باشیم و بخواهیم بررسی کنیم که آیا “SVM” به “Support Vector Machine” اشاره دارد، ورودی مدل به شکل زیر خواهد بود:

`[CLS] The model was trained with SVM [SEP] Support Vector Machine [SEP]`

مدل BERT این ورودی را پردازش کرده و بردار خروجی مربوط به توکن `[CLS]` را به یک لایه طبقه‌بند می‌دهد تا احتمال صحیح بودن این جفت (جمله و شکل بازشده) را محاسبه کند.

استراتژی‌های آموزشی پیشرفته

جادوی اصلی این مقاله در به‌کارگیری چهار استراتژی زیر برای بهینه‌سازی فرآیند آموزش نهفته است:

• انتخاب دینامیک نمونه‌های منفی (Dynamic Negative Sample Selection): در هر مرحله از آموزش، علاوه بر نمونه مثبت (شکل بازشدهٔ صحیح)، مدل به نمونه‌های منفی (شکل‌های بازشدهٔ غلط) نیز نیاز دارد. انتخاب تصادفی نمونه‌های منفی ممکن است بسیار ساده باشد و مدل را به اندازه کافی به چالش نکشد. این استراتژی به جای آن، نمونه‌های منفی “دشوار” را انتخاب می‌کند؛ یعنی شکل‌های بازشده‌ای که شباهت بیشتری به پاسخ صحیح دارند و مدل را مجبور به یادگیری تمایزهای ظریف‌تر می‌کنند. برای مثال، برای سرواژه “ML” در حوزه کامپیوتر، “Maximum Likelihood” یک نمونه منفی دشوارتر از “Milliliter” است.
• پیش‌آموزش تطبیقی با وظیفه (Task-Adaptive Pre-training – TAPT): مدل BERT به صورت استاندارد روی متون عمومی مانند ویکی‌پدیا آموزش دیده است. اما زبان متون علمی، تخصصی و متفاوت است. در استراتژی TAPT، محققان ابتدا مدل BERT را بر روی مجموعه داده بزرگی از مقالات علمی (مشابه با داده‌های اصلی وظیفه) مجدداً پیش‌آموزش می‌دهند. این کار باعث می‌شود مدل با واژگان، ساختارها و مفاهیم رایج در حوزه علمی مربوطه “آشناتر” شود و درک عمیق‌تری از بافتار پیدا کند.
• آموزش متخاصمانه (Adversarial Training): این تکنیک با هدف افزایش استحکام و پایداری (Robustness) مدل به کار می‌رود. در حین آموزش، نویزهای کوچکی که به صورت هوشمندانه طراحی شده‌اند، به بردارهای ورودی اضافه می‌شوند. این نویزها به گونه‌ای هستند که بیشترین تأثیر را در به اشتباه انداختن مدل دارند. سپس مدل طوری آموزش می‌بیند که حتی در حضور این “اختلالات متخاصمانه” نیز بتواند پیش‌بینی درستی انجام دهد. این فرآیند را می‌توان به واکسینه کردن مدل تشبیه کرد که آن را در برابر تغییرات پیش‌بینی‌نشده در داده‌های واقعی مقاوم‌تر می‌سازد.
• برچسب‌زنی کاذب (Pseudo-Labeling): این یک روش یادگیری نیمه‌نظارتی برای بهره‌برداری از داده‌های بدون برچسب است. فرآیند به این صورت است: ابتدا مدل روی داده‌های برچسب‌دار موجود آموزش می‌بیند. سپس، از این مدل برای پیش‌بینی برچسب روی مجموعه داده بزرگی که برچسب ندارند، استفاده می‌شود. پیش‌بینی‌هایی که مدل با اطمینان بسیار بالایی انجام داده است، به عنوان “برچسب‌های کاذب” در نظر گرفته شده و به داده‌های آموزشی اضافه می‌شوند. این کار به مدل اجازه می‌دهد تا از الگوهای موجود در داده‌های بیشتر بیاموزد و عملکرد خود را بهبود بخشد.

آزمایش‌های انجام شده بر روی مجموعه داده استاندارد SciAD (Scientific Acronym Disambiguation) نتایج چشمگیری را نشان دادند. مدل پیشنهادی که ترکیبی از BERT و چهار استراتژی آموزشی مذکور بود، توانست با اختلاف قابل توجهی نسبت به سایر رقبا، رتبه اول را در رقابت SDU@AAAI-21 کسب کند. این موفقیت نشان‌دهنده اثربخشی فوق‌العاده رویکرد ترکیبی است. تحلیل‌های بیشتر نشان داد که هر یک از استراتژی‌های آموزشی به نوبه خود در بهبود عملکرد نهایی نقش داشته‌اند، اما این هم‌افزایی (Synergy) میان آن‌ها بود که منجر به دستیابی به بهترین نتیجه شد. به طور خاص، ترکیب پیش‌آموزش تطبیقی (TAPT) و آموزش متخاصمانه بیشترین تأثیر را در افزایش دقت و پایداری مدل داشته است.

راهکار ارائه شده در این مقاله دارای کاربردهای عملی گسترده‌ای در زمینه پردازش اطلاعات علمی است. برخی از مهم‌ترین این کاربردها عبارتند از:

• بهبود موتورهای جستجوی علمی: موتورهایی مانند Google Scholar و PubMed می‌توانند با استفاده از این تکنولوژی، معنای دقیق سرواژه‌ها را در پرس‌وجوی کاربر و متن مقالات درک کرده و نتایج بسیار مرتبط‌تری را نمایش دهند.
• سیستم‌های استخراج اطلاعات (Information Extraction): برای ساخت پایگاه‌های دانش (Knowledge Bases) و گراف‌های دانش از متون علمی، درک دقیق موجودیت‌ها و روابط میان آن‌ها حیاتی است. این مدل می‌تواند به شناسایی صحیح مفاهیم اختصاری کمک کند.
• ابزارهای خلاصه‌سازی و تحلیل متن: سیستم‌هایی که مقالات علمی را به صورت خودکار خلاصه‌سازی یا تحلیل می‌کنند، با استفاده از این مدل می‌توانند از خطاهای ناشی از ابهام سرواژه‌ها جلوگیری کنند.
• افزایش دسترسی‌پذیری دانش: این فناوری می‌تواند به خوانندگانی که با یک حوزه علمی خاص آشنایی کامل ندارند، کمک کند تا با دیدن شکل بازشدهٔ صحیح سرواژه‌ها، متون تخصصی را بهتر درک کنند.

دستاورد اصلی این پژوهش، ارائه یک چارچوب جامع و کارآمد برای یکی از چالش‌های ظریف اما مهم در پردازش زبان طبیعی است که راه را برای توسعه ابزارهای هوشمندتر و دقیق‌تر در تحلیل متون علمی هموار می‌کند.

مقاله “BERT-based Acronym Disambiguation with Multiple Training Strategies” یک نمونه برجسته از چگونگی ترکیب یک مدل پایه قدرتمند مانند BERT با استراتژی‌های آموزشی هوشمندانه برای حل یک مسئله پیچیده است. نویسندگان با موفقیت نشان دادند که عملکرد مدل صرفاً به معماری آن وابسته نیست، بلکه نحوه آموزش آن نیز نقشی حیاتی ایفا می‌کند. این پژوهش با ارائه یک مدل پیشرفته که در یک رقابت معتبر علمی به رتبه اول دست یافت، یک معیار جدید (Benchmark) برای وظیفه ابهام‌زدایی از سرواژه‌ها در حوزه علمی تعریف کرده و نقشه راهی ارزشمند برای تحقیقات آینده در این زمینه فراهم نموده است. این کار گامی مهم در جهت تحقق هدف نهایی پردازش زبان طبیعی، یعنی درک عمیق و دقیق زبان انسان توسط ماشین، به شمار می‌رود.