مدل‌های زبانی پیش‌آموزش‌داده‌شده (PLMs) مانند BERT و RoBERTa انقلابی در حوزه پردازش زبان طبیعی (NLP) ایجاد کرده‌اند و عملکرد خارق‌العاده‌ای را در طیف وسیعی از وظایف از خود نشان داده‌اند. با این حال، یکی از نقاط ضعف اساسی این مدل‌ها، کمبود دانش، به‌ویژه در وظایفی است که نیاز به استدلال مبتنی بر دانش دارند. اگرچه تلاش‌های فراوانی برای تزریق دانش به این مدل‌ها صورت گرفته است، اما این چالش همچنان به قوت خود باقی است. مقاله “DictBERT: Dictionary Description Knowledge Enhanced Language Model Pre-training via Contrastive Learning” به این مشکل اساسی پرداخته و رویکردی نوین را برای غنی‌سازی مدل‌های زبانی با دانش ارائه می‌دهد.

اهمیت این تحقیق در این است که راه‌حلی عملی و قابل دسترس برای ادغام دانش ساختاریافته در مدل‌های زبانی ارائه می‌دهد. برخلاف گراف‌های دانش (KGs) که جمع‌آوری و نگهداری آن‌ها پیچیده و پرهزینه است، دانش موجود در فرهنگ لغت‌ها (دیکشنری‌ها) نسبتاً سهل‌الوصول‌تر است. DictBERT با بهره‌گیری از این منبع دانش، قصد دارد تا شکاف دانشی مدل‌های زبانی را پر کند و توانایی آن‌ها را در درک و تولید متونی که نیازمند دانش عمیق هستند، به طرز چشمگیری بهبود بخشد.

این مقاله توسط گروهی از پژوهشگران شامل Qianglong Chen، Feng-Lin Li، Guohai Xu، Ming Yan، Ji Zhang و Yin Zhang نگاشته شده است. زمینه تخصصی این تحقیق در حوزه “محاسبات و زبان” (Computation and Language) قرار می‌گیرد که زیرشاخه‌ای از هوش مصنوعی و پردازش زبان طبیعی است. تمرکز این پژوهش بر روی توسعه و بهبود مدل‌های زبانی است که قادر به درک بهتر مفاهیم و استدلال بر اساس دانش باشند.

این تیم پژوهشی با تکیه بر دانش پیشین در زمینه مدل‌های زبانی و با هدف رفع محدودیت‌های فعلی، به دنبال طراحی روش‌هایی هستند که ادغام دانش را به شیوه‌ای کارآمد و مؤثر ممکن سازد. انتخاب فرهنگ لغت به عنوان منبع دانش، نشان‌دهنده رویکرد عمل‌گرایانه آن‌ها برای یافتن راه‌حل‌هایی است که در عمل قابلیت پیاده‌سازی بالایی دارند.

چکیده مقاله، هسته اصلی نوآوری DictBERT را خلاصه می‌کند: “اگرچه مدل‌های زبانی پیش‌آموزش‌داده‌شده (PLMs) در وظایف مختلف پردازش زبان طبیعی (NLP) به عملکردی پیشرفته دست یافته‌اند، اما در مواجهه با وظایف مبتنی بر دانش، کمبود دانش از خود نشان می‌دهند. علی‌رغم تلاش‌های فراوان برای تزریق دانش به PLMs، این مشکل همچنان باز است. برای پرداختن به این چالش، ما DictBERT، یک رویکرد نوین را معرفی می‌کنیم که PLMs را با دانش فرهنگ لغت غنی می‌سازد که به راحتی از گراف دانش (KG) قابل دستیابی است. در طول پیش‌آموزش، ما دو وظیفه پیش‌آموزش نوین را برای تزریق دانش فرهنگ لغت به PLMs از طریق یادگیری متضاد ارائه می‌دهیم: پیش‌بینی مدخل فرهنگ لغت و تمایز توصیف مدخل. در طول تنظیم دقیق (fine-tuning)، ما از DictBERT پیش‌آموزش‌داده‌شده به عنوان یک پایگاه دانش (KB) پلاگین برای بازیابی دانش ضمنی برای مدخل‌های شناسایی‌شده در یک دنباله ورودی استفاده می‌کنیم و دانش بازیابی‌شده را برای بهبود بازنمایی آن از طریق یک مکانیزم توجه فرا-مرحله‌ای (extra-hop attention) نوین به ورودی منتقل می‌کنیم. ما رویکرد خود را بر روی طیف وسیعی از وظایف مبتنی بر دانش و درک زبان، از جمله NER، استخراج رابطه، CommonsenseQA، OpenBookQA و GLUE ارزیابی می‌کنیم. نتایج تجربی نشان می‌دهد که مدل ما می‌تواند PLMs معمولی را به طور قابل توجهی بهبود بخشد: این مدل بهبود قابل توجهی ۰.۵%، ۲.۹%، ۹.۰%، ۷.۱% و ۳.۳% را در BERT-large به دست می‌آورد و همچنین بر روی RoBERTa-large مؤثر است.”

به طور خلاصه، DictBERT با دو نوآوری کلیدی سعی در حل مشکل کمبود دانش در مدل‌های زبانی دارد:

• تزریق دانش فرهنگ لغت در مرحله پیش‌آموزش: این مرحله از دو وظیفه جدید استفاده می‌کند که بر اساس یادگیری متضاد (Contrastive Learning) عمل می‌کنند. این روش امکان یادگیری روابط معنایی و توصیفی کلمات را از طریق مقایسه و تمایز فراهم می‌آورد.
• استفاده از DictBERT به عنوان پایگاه دانش در مرحله تنظیم دقیق: پس از پیش‌آموزش، DictBERT می‌تواند مانند یک “دانش‌افزا” (knowledge booster) عمل کند. این مدل با شناسایی کلمات کلیدی در متن ورودی، دانش مرتبط را از فرهنگ لغت بازیابی کرده و آن را به نحوی به نمایش ورودی اضافه می‌کند که منجر به درک عمیق‌تر و استدلال بهتر مدل می‌شود.

روش‌شناسی DictBERT بر دو مرحله اصلی استوار است: پیش‌آموزش (Pre-training) و تنظیم دقیق (Fine-tuning). هر دو مرحله برای ادغام مؤثر دانش فرهنگ لغت در مدل زبانی طراحی شده‌اند.

۴.۱. پیش‌آموزش با دانش فرهنگ لغت

در این مرحله، هدف اصلی آموزش مدل برای درک و استفاده از دانش توصیفی موجود در فرهنگ لغت‌ها است. برای این منظور، دو وظیفه پیش‌آموزش نوین معرفی شده‌اند که از تکنیک یادگیری متضاد بهره می‌برند. یادگیری متضاد یک رویکرد قدرتمند است که مدل را قادر می‌سازد تا تفاوت بین نمونه‌های مثبت (مشابه) و نمونه‌های منفی (متفاوت) را بیاموزد. در اینجا، دانش از مدخل‌ها (entries) و توضیحات (descriptions) آن‌ها در فرهنگ لغت استخراج می‌شود.

وظیفه ۱: پیش‌بینی مدخل فرهنگ لغت (Dictionary Entry Prediction)

این وظیفه شبیه به وظیفه Masked Language Modeling (MLM) در BERT است، اما با تمرکز بر دانش توصیفی. در این وظیفه، بخشی از توضیحات یک مدخل فرهنگ لغت حذف می‌شود و مدل باید آن را بر اساس کلمه اصلی (مدخل) و سایر توضیحات مرتبط، پیش‌بینی کند. ایده این است که مدل یاد بگیرد چگونه واژگان و عبارات مرتبط با یک مفهوم را از طریق توضیحات آن درک کند.

وظیفه ۲: تمایز توصیف مدخل (Entry Description Discrimination)

این وظیفه بر یادگیری تفاوت بین توضیحات مختلف برای یک مدخل یا تفاوت بین توضیحات مدخل‌های مختلف متمرکز است. مدل با مجموعه‌ای از توضیحات (یک توصیف صحیح و چندین توصیف نادرست) مواجه می‌شود و باید توصیف صحیح مربوط به یک مدخل خاص را تشخیص دهد. این امر به مدل کمک می‌کند تا ظرافت‌های معنایی و ارتباط بین کلمات و توضیحات آن‌ها را بهتر درک کند.

استفاده از یادگیری متضاد در هر دو وظیفه باعث می‌شود که مدل قادر باشد نمایش‌های (representations) بهتری از کلمات و مفاهیم ایجاد کند که غنی از دانش توصیفی هستند.

۴.۲. تنظیم دقیق با استفاده از دانش بازیابی‌شده

پس از اینکه مدل با دانش فرهنگ لغت پیش‌آموزش دید، در مرحله تنظیم دقیق، DictBERT به عنوان یک “پایگاه دانش پلاگین” (plugin knowledge base) عمل می‌کند. این بخش نیز دارای نوآوری‌هایی است:

بازیابی دانش ضمنی: برای یک متن ورودی، DictBERT ابتدا کلمات یا عباراتی که به نظر می‌رسد مدخل‌های فرهنگ لغت هستند را شناسایی می‌کند. سپس، دانش ضمنی مرتبط با این مدخل‌ها را از “دانشگاه” (Dictionary) بازیابی می‌کند. این دانش می‌تواند شامل مترادف‌ها، متضادها، تعاریف، مثال‌ها و روابط معنایی باشد.

مکانیزم توجه فرا-مرحله‌ای (Extra-Hop Attention): دانش بازیابی‌شده به طور مستقیم به نمایش ورودی اضافه نمی‌شود. در عوض، یک مکانیزم توجه نوین به نام “extra-hop attention” برای ادغام این دانش استفاده می‌شود. این مکانیزم به مدل اجازه می‌دهد تا نه تنها بر روی اطلاعات اصلی ورودی، بلکه بر روی دانش بازیابی‌شده و روابط بین آن‌ها نیز تمرکز کند. این امر باعث می‌شود که مدل بتواند اطلاعات را در “مراحل” بیشتری پردازش کرده و درک عمیق‌تری از زمینه و مفاهیم پیدا کند.

به عنوان مثال، اگر جمله ورودی “اپل یک شرکت فناوری است” باشد، DictBERT می‌تواند مدخل “اپل” را شناسایی کرده و دانش مرتبط مانند “شرکت فناوری آمریکایی”، “تولیدکننده آیفون و مک” را بازیابی کند. مکانیزم attention سپس به مدل کمک می‌کند تا این اطلاعات اضافی را با معنای اصلی جمله ادغام کند و درک کند که منظور از “اپل” میوه نیست، بلکه شرکت است.

نتایج آزمایشگاهی DictBERT در طیف وسیعی از وظایف، به ویژه وظایف مبتنی بر دانش، بسیار امیدوارکننده بوده است. یافته‌های کلیدی این تحقیق عبارتند از:

• بهبود قابل توجه در وظایف مبتنی بر دانش: DictBERT توانسته است عملکرد مدل‌های زبانی پایه مانند BERT-large و RoBERTa-large را در وظایفی مانند استخراج رابطه (Relation Extraction)، پرسش و پاسخ با دانش عمومی (CommonsenseQA) و پرسش و پاسخ مبتنی بر دانش کتاب (OpenBookQA) به طور چشمگیری افزایش دهد.
• افزایش عملکرد در وظایف زبانی عمومی: حتی در وظایفی که لزوماً به دانش صریح نیاز ندارند، مانند وظایف مجموعه GLUE، DictBERT بهبودهایی را نشان داده است. این نشان می‌دهد که تزریق دانش، درک کلی زبان را نیز تقویت می‌کند.
• اثربخشی رویکرد دوگانه (پیش‌آموزش و تنظیم دقیق): ترکیب پیش‌آموزش با وظایف نوآورانه مبتنی بر فرهنگ لغت و سپس استفاده از دانش بازیابی‌شده در مرحله تنظیم دقیق، یک استراتژی مؤثر برای غنی‌سازی مدل‌های زبانی با دانش عملی است.
• برتری دانش فرهنگ لغت: نتایج نشان می‌دهد که دانش فرهنگ لغت، به دلیل ماهیت توصیفی و ساختاریافته، منبعی ارزشمند و قابل دسترس برای افزایش توانایی‌های مدل‌های زبانی است.
• عملکرد قوی بر روی مدل‌های مختلف: DictBERT نه تنها بر روی BERT-large، بلکه بر روی RoBERTa-large نیز نتایج مثبتی به همراه داشته است، که نشان‌دهنده قابلیت تعمیم‌پذیری این رویکرد است.

به طور خاص، مقاله به بهبودهای زیر اشاره می‌کند:

• BERT-large: ۰.۵% در NER (Named Entity Recognition)، ۲.۹% در استخراج رابطه، ۹.۰% در CommonsenseQA، ۷.۱% در OpenBookQA، و ۳.۳% در مجموعه GLUE.

DictBERT پتانسیل بالایی برای کاربردهای متنوع در حوزه پردازش زبان طبیعی و هوش مصنوعی دارد. دستاوردهای این تحقیق می‌توانند به طور مستقیم بر بهبود عملکرد سیستم‌های مبتنی بر زبان تأثیر بگذارند:

• سیستم‌های پرسش و پاسخ (Question Answering Systems): با توانایی درک بهتر مفاهیم و استفاده از دانش عمیق، سیستم‌های پرسش و پاسخ قادر خواهند بود به سؤالات پیچیده‌تر و نیازمند استدلال پاسخ دهند.
• استخراج اطلاعات (Information Extraction): بهبود در استخراج رابطه و شناسایی موجودیت‌های نام‌دار (NER) به استخراج دقیق‌تر و کامل‌تر اطلاعات از متون کمک می‌کند.
• تحلیل معنایی و درک مطلب (Semantic Analysis and Comprehension): مدل‌های ارتقاء یافته با DictBERT می‌توانند درک بهتری از معنای جملات، پاراگراف‌ها و حتی اسناد طولانی داشته باشند.
• تولید متن (Text Generation): درک غنی‌تر از مفاهیم می‌تواند منجر به تولید متونی شود که از نظر معنایی دقیق‌تر، منسجم‌تر و آگاهانه‌تر هستند.
• سیستم‌های توصیه‌گر (Recommender Systems): با درک عمیق‌تر علایق کاربر و ویژگی‌های آیتم‌ها، سیستم‌های توصیه‌گر می‌توانند پیشنهادهای شخصی‌سازی شده‌تری ارائه دهند.
• دستیارهای مجازی هوشمند: توانایی استدلال و استفاده از دانش، دستیارهای مجازی را قادر می‌سازد تا وظایف پیچیده‌تر را انجام داده و مکالمات طبیعی‌تری داشته باشند.

دستاورد اصلی DictBERT، ارائه یک چارچوب مؤثر و قابل دسترس برای ادغام دانش توصیفی از فرهنگ لغت‌ها در مدل‌های زبانی است. این رویکرد، محدودیت‌های مدل‌های زبانی صرفاً مبتنی بر متن را کاهش داده و راه را برای ایجاد سیستم‌های هوش مصنوعی که دانش دنیای واقعی را بهتر درک می‌کنند، هموار می‌سازد.

مقاله “DictBERT: Dictionary Description Knowledge Enhanced Language Model Pre-training via Contrastive Learning” گامی مهم در جهت رفع کمبود دانش در مدل‌های زبانی پیش‌آموزش‌داده‌شده است. نویسندگان با معرفی رویکردی نوآورانه، از دانش غنی و قابل دسترس فرهنگ لغت‌ها بهره برده و از طریق دو وظیفه پیش‌آموزش جدید مبتنی بر یادگیری متضاد، به مدل‌ها امکان درک عمیق‌تر مفاهیم و روابط معنایی را می‌دهند.

مرحله تنظیم دقیق با استفاده از مکانیزم توجه فرا-مرحله‌ای، دانش بازیابی‌شده را به شیوه‌ای هوشمندانه ادغام کرده و توانایی مدل را در استدلال و درک متون پیچیده افزایش می‌دهد. نتایج تجربی این تحقیق، اثربخشی DictBERT را در طیف وسیعی از وظایف، به ویژه وظایف نیازمند دانش، به اثبات رسانده و بهبودهای قابل توجهی را نسبت به مدل‌های پایه نشان داده است.

DictBERT نه تنها یک پیشرفت فنی در زمینه مدل‌های زبانی محسوب می‌شود، بلکه مسیری را برای توسعه هوش مصنوعی آگاه‌تر و تواناتر باز می‌کند. با قابلیت تعمیم‌پذیری به مدل‌های مختلف و پتانسیل کاربرد در حوزه‌های متنوع، این رویکرد نویدبخش آینده‌ای است که در آن ماشین‌ها قادر به فهم و تعامل با جهان از دریچه دانش گسترده‌تری هستند.