معرفی مقاله و اهمیت آن

در سال‌های اخیر، ظهور مدل‌های زبانی از پیش‌آموزش‌دیده (PLMs) پارادایم جدیدی را در حوزه پردازش زبان طبیعی (NLP) ایجاد کرده است. این مدل‌ها با یادگیری نمایش‌های متنی غنی و معنادار از پیکره‌های عظیم متنی، انقلاب بزرگی در این زمینه به پا کرده و عملکرد بی‌سابقه‌ای را برای طیف وسیعی از وظایف NLP ارائه داده‌اند. از برجسته‌ترین نمونه‌های این مدل‌ها می‌توان به BERT، GPT و RoBERTa اشاره کرد که توانایی‌های چشمگیری در درک و تولید زبان از خود نشان داده‌اند.

با این حال، با وجود قابلیت‌های فوق‌العاده در پردازش الگوهای زبانی، PLMها دارای محدودیتی اساسی هستند: آگاهی دانش آن‌ها هنوز رضایت‌بخش نیست. به عبارت دیگر، اگرچه این مدل‌ها می‌توانند برخی دانش‌های واقعی و حقایق را از داده‌های آموزشی خود استخراج و ذخیره کنند، اما درک عمیق، استدلال و به‌روزرسانی دانش آن‌ها محدود است. این ضعف به خصوص در وظایفی که نیازمند درک عمیق‌تر از جهان، حقایق علمی، یا استدلال‌های عقل سلیم هستند، خود را نشان می‌دهد.

برای رفع این چالش، ادغام دانش در PLMها به یکی از فعال‌ترین و پرشتاب‌ترین حوزه‌های تحقیقاتی تبدیل شده است. مقاله “Knowledge Enhanced Pretrained Language Models: A Comprehensive Survey” که توسط Xiaokai Wei و همکارانش نگاشته شده، یک بررسی جامع و دقیق از ادبیات موجود در این زمینه نوظهور و رو به رشد ارائه می‌دهد. این مقاله با ارائه یک دید کلی ساختاریافته، به محققان کمک می‌کند تا پیچیدگی‌های این حوزه را بهتر درک کنند و مسیرهای تحقیقاتی آینده را شناسایی نمایند. اهمیت این بررسی در سرعت بالای پیشرفت این حوزه و نیاز به یک چارچوب طبقه‌بندی‌شده برای سازماندهی و فهم روش‌های متنوع آن نهفته است.

نویسندگان و زمینه تحقیق

این مقاله مهم توسط تیمی متشکل از پژوهشگران برجسته به نام‌های Xiaokai Wei، Shen Wang، Dejiao Zhang، Parminder Bhatia و Andrew Arnold به رشته تحریر درآمده است. این نویسندگان از متخصصان شناخته‌شده در زمینه محاسبات و زبان (Computation and Language) هستند که تخصص گسترده‌ای در پردازش زبان طبیعی، یادگیری ماشین و هوش مصنوعی دارند.

زمینه اصلی تحقیق این مقاله در تقاطع مدل‌های زبانی از پیش‌آموزش‌دیده و نمایش دانش قرار دارد. در حالی که PLMها در تقلید ساختارهای زبانی و بافتار (context) بسیار موفق عمل می‌کنند، اغلب در مواجهه با اطلاعات دنیای واقعی، حقایق دقیق، و استدلال‌های مبتنی بر دانش عمومی دچار مشکل می‌شوند. اینجاست که نیاز به ادغام صریح دانش بیرونی مطرح می‌شود.

این تیم تحقیقاتی با شناسایی این خلاء، به بررسی راه‌حل‌هایی پرداخته‌اند که به PLMها امکان می‌دهد تا نه تنها از الگوهای زبانی، بلکه از دانش ساختاریافته (مانند گراف‌های دانش) یا حتی دانش غیرساختاریافته (مانند متن‌های تخصصی) نیز بهره‌مند شوند. هدف آن‌ها ایجاد مدل‌هایی است که بتوانند با آگاهی بیشتری از دانش، وظایف NLP را با دقت و قابلیت اطمینان بالاتری انجام دهند. این بررسی جامع، گواهی بر شناخت عمیق این تیم از چالش‌ها و پیشرفت‌های این حوزه است و به عنوان یک راهنمای ارزشمند برای جامعه علمی عمل می‌کند.

چکیده و خلاصه محتوا

مدل‌های زبانی از پیش‌آموزش‌دیده (PLMs) با ایجاد نمایش‌های متنی زمینه‌مند و آموزنده بر روی پیکره‌های بزرگ متنی، پارادایم جدیدی را در پردازش زبان طبیعی (NLP) بنیان نهاده‌اند. این پارادایم، کل این حوزه را متحول کرده و عملکرد پیشرفته‌ترین را برای طیف گسترده‌ای از وظایف NLP رقم زده است. با این حال، علی‌رغم توانایی PLMها در ذخیره برخی دانش/حقایق از پیکره‌های آموزشی، آگاهی دانش آن‌ها هنوز فاصله زیادی با رضایت‌بخشی دارد.

برای رفع این مشکل، ادغام دانش در PLMها اخیراً به یک حوزه تحقیقاتی بسیار فعال تبدیل شده و رویکردهای متنوعی توسعه یافته‌اند. این مقاله یک بررسی جامع از ادبیات در این زمینه نوظهور و سریع‌الرشد – مدل‌های زبانی از پیش‌آموزش‌دیده با بهبود دانش (KE-PLMs) – ارائه می‌دهد. نویسندگان سه طبقه‌بندی (تاکسونومی) برای دسته‌بندی کارهای موجود معرفی می‌کنند. علاوه بر این، آن‌ها کاربردهای مختلف درک زبان طبیعی (NLU) و تولید زبان طبیعی (NLG) را که در آن‌ها KE-PLMها عملکرد بهتری نسبت به PLMهای سنتی از خود نشان داده‌اند، بررسی می‌کنند. در نهایت، چالش‌هایی که KE-PLMها با آن روبرو هستند و همچنین مسیرهای امیدبخش برای تحقیقات آتی مورد بحث قرار می‌گیرد.

به طور خلاصه، این مقاله نه تنها وضعیت فعلی حوزه KE-PLMs را ترسیم می‌کند، بلکه با ارائه یک نقشه راه ساختاریافته، به محققان کمک می‌کند تا پیچیدگی‌های این زمینه را درک کرده و جهت‌گیری‌های آتی را شناسایی کنند. این بررسی نشان می‌دهد که چگونه افزودن دانش صریح می‌تواند به مدل‌های زبانی کمک کند تا از محدودیت‌های صرفاً آماری فراتر رفته و به سمت درک عمیق‌تر و استدلال هوشمندانه‌تر حرکت کنند.

روش‌شناسی تحقیق

روش‌شناسی به کار رفته در این مقاله، بر مبنای بررسی جامع و سیستماتیک ادبیات موجود در زمینه مدل‌های زبانی از پیش‌آموزش‌دیده با بهبود دانش (KE-PLMs) استوار است. نویسندگان به جای انجام یک تحقیق تجربی جدید، به جمع‌آوری، تحلیل و دسته‌بندی مقالات تحقیقاتی منتشر شده در این حوزه می‌پردازند تا یک دیدگاه کلان و ساختاریافته ارائه دهند. این رویکرد به ویژه در حوزه‌هایی که به سرعت در حال رشد هستند، برای سازماندهی دانش و شناسایی شکاف‌های تحقیقاتی بسیار ارزشمند است.

سه طبقه‌بندی کلیدی:

یکی از مهم‌ترین جنبه‌های روش‌شناسی، معرفی سه طبقه‌بندی برای دسته‌بندی کارهای موجود است. اگرچه جزئیات دقیق این طبقه‌بندی‌ها در چکیده ذکر نشده، اما می‌توان حدس زد که آن‌ها بر اساس جنبه‌های مهم ادغام دانش در PLMها تعریف شده‌اند. در اینجا سه رویکرد محتمل برای این طبقه‌بندی‌ها مطرح می‌شود که به درک بهتر موضوع کمک می‌کند:

1. بر اساس نوع دانش مورد استفاده:

   • دانش ساختاریافته: این دسته شامل روش‌هایی است که از منابع دانشی سازمان‌یافته مانند گراف‌های دانش (Knowledge Graphs – KGs) استفاده می‌کنند. گراف‌های دانش، اطلاعات را به صورت موجودیت‌ها و روابط بین آن‌ها (مانند “پاریس – پایتختِ – فرانسه”) ذخیره می‌کنند. ادغام این نوع دانش می‌تواند دقت مدل را در وظایف مبتنی بر حقایق به شدت افزایش دهد. مثال بارز آن، مدل‌هایی هستند که از Freebase یا Wikidata بهره می‌برند.

   • دانش غیرساختاریافته/متنی: این دسته شامل استفاده از اطلاعات موجود در متون عادی (مانند ویکی‌پدیا یا پیکره‌های تخصصی) است که به صورت صریح ساختاردهی نشده‌اند. مدل‌ها باید بتوانند دانش را از این متون استخراج و به روشی قابل استفاده در خود جای دهند. این روش انعطاف‌پذیری بیشتری دارد اما نیازمند روش‌های پیچیده‌تر برای استخراج و نمایش دانش است.

   • دانش ضمنی/عقل سلیم: شامل دانش پایه‌ای و شهودی است که انسان‌ها به طور طبیعی درک می‌کنند اما به راحتی قابل کدگذاری نیست. تلاش‌هایی برای ادغام دانش عقل سلیم (مانند پروژه ConceptNet) در PLMها صورت گرفته است تا مدل‌ها بتوانند در موقعیت‌های مبهم، استدلال بهتری داشته باشند.

2. بر اساس روش ادغام دانش:

   • ادغام در مرحله پیش‌آموزش (Pre-training Integration): در این رویکرد، دانش بیرونی مستقیماً در حین فرآیند پیش‌آموزش PLM ادغام می‌شود. این کار می‌تواند از طریق اهداف آموزشی جدید (مانند پیش‌بینی موجودیت‌های گراف دانش)، یا با تغییر معماری مدل برای پذیرش ورودی‌های دانشی صورت گیرد. مدل‌های K-BERT و ERNIE از این دسته هستند.

   • ادغام در مرحله تنظیم دقیق (Fine-tuning Integration): در این حالت، یک PLM از پیش‌آموزش‌دیده موجود، با استفاده از دانش بیرونی، برای یک وظیفه خاص تنظیم دقیق می‌شود. این روش معمولاً شامل اضافه کردن لایه‌های جدید یا مکانیسم‌های توجه (attention) است که به مدل اجازه می‌دهد در زمان حل یک وظیفه، به دانش مرتبط دسترسی پیدا کند.

   • رویکردهای هیبریدی: برخی مدل‌ها از ترکیبی از روش‌های فوق استفاده می‌کنند، به عنوان مثال، دانش را هم در مرحله پیش‌آموزش و هم در مرحله تنظیم دقیق به کار می‌برند تا از مزایای هر دو بهره‌مند شوند.

3. بر اساس سطح انتزاع دانش:

   • سطح کلمه/توکن: دانش در سطح واژگان و توکن‌های منفرد ادغام می‌شود، مثلاً با غنی‌سازی جاسازی کلمات.

   • سطح موجودیت: دانش مربوط به موجودیت‌های نام‌گذاری شده (مانند افراد، مکان‌ها، سازمان‌ها) در مدل گنجانده می‌شود. این موجودیت‌ها اغلب با گراف‌های دانش پیوند داده می‌شوند.

   • سطح رابطه/فاکت: دانش مربوط به روابط بین موجودیت‌ها و حقایق سه‌تایی (مثلاً “فلان شخص – متولد شد در – فلان تاریخ”) به طور مستقیم در مدل وارد می‌شود.

این طبقه‌بندی‌ها به نویسندگان امکان می‌دهد تا حجم عظیمی از تحقیقات را به صورت منظم و قابل فهم ارائه دهند و به محققان کمک می‌کند تا جایگاه کار خود را در چشم‌انداز کلی مشخص کنند. علاوه بر این، مقاله به بررسی عملکرد KE-PLMs در وظایف مختلف NLU و NLG می‌پردازد و برتری آن‌ها را نسبت به PLMهای سنتی نشان می‌دهد.

یافته‌های کلیدی

مقاله “Knowledge Enhanced Pretrained Language Models: A Comprehensive Survey” با تجزیه و تحلیل دقیق ادبیات موجود، چندین یافته کلیدی را برجسته می‌کند که درک ما از KE-PLMs و پتانسیل آن‌ها را عمیق‌تر می‌کند:

• عملکرد برتر KE-PLMs: یکی از مهم‌ترین یافته‌ها این است که KE-PLMs در طیف وسیعی از وظایف NLP، به ویژه آن‌هایی که نیازمند دانش عمیق‌تر یا استدلال مبتنی بر واقعیت هستند، عملکرد به مراتب بهتری نسبت به PLMهای سنتی (Vanilla PLMs) از خود نشان می‌دهند. این بهبود عملکرد در وظایفی مانند پاسخ به سوالات (Question Answering)، تشخیص موجودیت‌های نام‌گذاری شده (Named Entity Recognition – NER)، و تولید متن با صحت بالا (Fact-checking Text Generation) مشهود است.

  مثال عملی: در یک سیستم پاسخ به سوال، یک PLM معمولی ممکن است نتواند به سوال “پایتخت فرانسه کجاست؟” به درستی پاسخ دهد اگر این حقیقت به طور صریح در داده‌های آموزشی آن تکرار نشده باشد یا ارتباط معنایی آن به وضوح درک نشده باشد. اما یک KE-PLM که با یک گراف دانش حاوی فاکت “پاریس – پایتختِ – فرانسه” تقویت شده، می‌تواند به طور مستقیم به این دانش دسترسی پیدا کرده و پاسخ دقیق را ارائه دهد.

• تنوع رویکردهای ادغام دانش: این بررسی نشان می‌دهد که هیچ راه‌حل واحدی برای ادغام دانش وجود ندارد. روش‌های مختلفی بسته به نوع دانش (ساختاریافته، غیرساختاریافته، ضمنی) و مرحله ادغام (پیش‌آموزش، تنظیم دقیق) توسعه یافته‌اند. این تنوع نشان‌دهنده پویایی و پیچیدگی این حوزه است و اینکه انتخاب رویکرد مناسب بستگی به وظیفه و نوع دانش در دسترس دارد.

• افزایش دقت و سازگاری: ادغام دانش بیرونی به KE-PLMs کمک می‌کند تا دقت واقعی (factual accuracy) و سازگاری (consistency) بیشتری داشته باشند. این امر به ویژه در تولید متن بسیار حائز اهمیت است، زیرا PLMهای سنتی ممکن است اطلاعات نادرست یا “توهم” (hallucinate) تولید کنند. دانش صریح این خطر را کاهش می‌دهد.

  مثال عملی: در تولید خلاصه از مقالات علمی، یک PLM معمولی ممکن است جزئیات فنی را نادیده بگیرد یا حتی اطلاعات غلطی را تولید کند. اما یک KE-PLM که با اصطلاحات و مفاهیم علمی مرتبط از یک دانش‌نامه تخصصی تقویت شده باشد، قادر است خلاصه‌ای دقیق‌تر و حاوی اطلاعات صحیح‌تر ارائه دهد.

• ارائه چارچوب طبقه‌بندی: معرفی سه طبقه‌بندی (تاکسونومی) برای دسته‌بندی KE-PLMs یک دستاورد روش‌شناختی مهم است. این چارچوب به محققان کمک می‌کند تا کارهای موجود را سازماندهی کرده و مقایسه‌ای ساختاریافته بین رویکردهای مختلف انجام دهند، که برای پیشرفت در هر حوزه علمی حیاتی است.

• شناسایی چالش‌ها و مسیرهای آینده: این مقاله نه تنها پیشرفت‌ها را جشن می‌گیرد، بلکه به طور صریح چالش‌های موجود (مانند مقیاس‌پذیری، دینامیک بودن دانش و نحوه ارزیابی) را شناسایی می‌کند و مسیرهای تحقیقاتی آتی را پیشنهاد می‌دهد. این دیدگاه آینده‌نگرانه به جامعه علمی کمک می‌کند تا منابع و تلاش‌های خود را به سمت حل مهم‌ترین مسائل هدایت کند.

در مجموع، یافته‌های این بررسی نشان می‌دهد که ادغام دانش یک گام اساسی در تکامل PLMها از مدل‌های صرفاً آماری به سمت سیستم‌های هوش مصنوعی با درک و استدلال عمیق‌تر است.

کاربردها و دستاوردها

مدل‌های زبانی از پیش‌آموزش‌دیده با بهبود دانش (KE-PLMs) به دلیل توانایی‌های افزایش‌یافته در درک و استفاده از اطلاعات دنیای واقعی، در طیف گسترده‌ای از کاربردهای درک زبان طبیعی (NLU) و تولید زبان طبیعی (NLG) دستاوردهای چشمگیری داشته‌اند. این دستاوردها فراتر از آنچه PLMهای سنتی می‌توانستند به تنهایی ارائه دهند، می‌رود.

کاربردهای درک زبان طبیعی (NLU):

• پاسخ به سوالات (Question Answering – QA): KE-PLMs در سیستم‌های QA که نیازمند استخراج دقیق حقایق یا استدلال پیچیده بر اساس دانش هستند، بسیار موفق عمل کرده‌اند. با دسترسی به گراف‌های دانش یا پایگاه‌های دانش، این مدل‌ها می‌توانند با دقت بیشتری به سوالات واقعی پاسخ دهند.

  مثال: در یک سیستم QA پزشکی، یک KE-PLM که به پایگاه داده‌های پزشکی مانند PubMed دسترسی دارد، می‌تواند به سوالاتی نظیر “عوارض جانبی داروی X چیست؟” با اطلاعات دقیق‌تر و به‌روزتر پاسخ دهد، در حالی که PLM سنتی تنها بر اساس الگوهای متنی آموزش‌دیده خود حدس می‌زند.

• تشخیص موجودیت‌های نام‌گذاری شده (Named Entity Recognition – NER) و پیوند موجودیت (Entity Linking): KE-PLMs می‌توانند با بهره‌گیری از دانش بیرونی، موجودیت‌ها را با دقت بیشتری تشخیص داده و آن‌ها را به ورودی‌های مربوطه در گراف‌های دانش پیوند دهند. این امر ابهام‌زدایی موجودیت‌ها را بهبود می‌بخشد.

  مثال: در جمله‌ای مانند “Apple در حال توسعه تراشه جدید است”، KE-PLM می‌تواند تشخیص دهد که “Apple” به شرکت فناوری اشاره دارد نه میوه، زیرا با دانش مربوط به شرکت‌ها و محصولات فناوری تقویت شده است.

• استخراج رابطه (Relation Extraction): این مدل‌ها در شناسایی روابط معنایی بین موجودیت‌ها (مانند “مکان تولد”، “شغل”) در متن‌ها بهتر عمل می‌کنند، که برای ساخت و غنی‌سازی گراف‌های دانش بسیار مهم است.

• اعتبارسنجی حقایق (Fact Verification): KE-PLMs می‌توانند به طور موثرتری صحت یک ادعا را با مقایسه آن با پایگاه‌های دانش قابل اعتماد بررسی کنند. این کاربرد برای مبارزه با اخبار جعلی حیاتی است.

کاربردهای تولید زبان طبیعی (NLG):

• تولید متن با آگاهی از دانش (Knowledge-aware Text Generation): KE-PLMs قادرند متونی تولید کنند که از نظر واقعی دقیق‌تر و منسجم‌تر هستند، به خصوص در حوزه‌های تخصصی.

  مثال: در تولید گزارش‌های خبری خودکار، یک KE-PLM می‌تواند اطمینان حاصل کند که اسامی، تاریخ‌ها و حقایق کلیدی با منابع معتبر مطابقت دارند و از تولید اطلاعات نادرست جلوگیری می‌کند.

• سیستم‌های گفتگو (Dialogue Systems): این مدل‌ها می‌توانند با درک بهتر نیت کاربر و دسترسی به دانش مرتبط، پاسخ‌های هوشمندانه‌تر و آموزنده‌تری در چت‌بات‌ها و دستیارهای مجازی ارائه دهند.

  مثال: یک چت‌بات پشتیبانی مشتری تقویت‌شده با دانش، می‌تواند به سوالات پیچیده مشتریان در مورد ویژگی‌های محصول یا سیاست‌های شرکت با دقت و جزئیات بیشتری پاسخ دهد.

• خلاصه‌سازی (Summarization): KE-PLMs می‌توانند خلاصه‌هایی تولید کنند که نه تنها از نظر زبانی روان هستند، بلکه از نظر اطلاعاتی دقیق‌تر و جامع‌تر باشند، با تمرکز بر حقایق و نکات کلیدی.

• ترجمه ماشینی (Machine Translation): اگرچه کمتر برجسته، اما دانش می‌تواند به حل ابهامات معنایی و افزایش دقت در ترجمه متون تخصصی کمک کند.

در مجموع، دستاوردهای KE-PLMs نشان می‌دهد که ادغام دانش یک راهبرد موثر برای غلبه بر محدودیت‌های ذاتی PLMهای صرفاً آماری است و راه را برای توسعه سیستم‌های هوش مصنوعی زبانی قدرتمندتر و قابل اعتمادتر هموار می‌کند.

نتیجه‌گیری

مقاله “Knowledge Enhanced Pretrained Language Models: A Comprehensive Survey” یک مرجع ارزشمند و جامع در زمینه رو به رشد مدل‌های زبانی از پیش‌آموزش‌دیده با بهبود دانش (KE-PLMs) است. این بررسی نه تنها تحولات اخیر در این حوزه را سازماندهی می‌کند، بلکه نقشه راهی برای درک چالش‌ها و فرصت‌های آینده ارائه می‌دهد. اهمیت این کار در آن است که با وجود موفقیت‌های چشمگیر PLMهای سنتی در پردازش زبان، آگاهی محدود آن‌ها از دانش واقعی و نیاز به استدلال عمیق‌تر، مانع از کاربرد آن‌ها در بسیاری از سناریوهای حیاتی می‌شود.

نویسندگان به خوبی نشان داده‌اند که چگونه ادغام دانش بیرونی می‌تواند به KE-PLMs امکان دهد تا در طیف وسیعی از وظایف درک زبان طبیعی (NLU) و تولید زبان طبیعی (NLG)، عملکردی فراتر از PLMهای معمولی ارائه دهند. از بهبود دقت در پاسخ‌گویی به سوالات و تشخیص موجودیت‌ها گرفته تا تولید متون با صحت بالاتر و سیستم‌های گفتگوی هوشمندتر، KE-PLMs در حال شکل‌دهی آینده NLP هستند.

چالش‌های پیش‌رو:

علی‌رغم این پیشرفت‌ها، مسیر توسعه KE-PLMs خالی از چالش نیست. این مقاله به طور خاص به چندین مانع مهم اشاره می‌کند:

• مقیاس‌پذیری ادغام دانش: چگونه می‌توان حجم عظیمی از دانش را به طور کارآمد در مدل‌های بزرگ ادغام کرد، بدون اینکه سربار محاسباتی یا حافظه بیش از حد افزایش یابد؟

• مواجهه با دانش نویزدار یا ناقص: منابع دانش بیرونی همیشه کامل و بدون خطا نیستند. مدل‌ها باید قادر به مدیریت و فیلتر کردن اطلاعات نامعتبر باشند.

• به‌روزرسانی دانش پویا: دانش جهان به طور مداوم در حال تغییر است. چگونه می‌توان KE-PLMs را به گونه‌ای طراحی کرد که به طور مداوم و کارآمد با جدیدترین اطلاعات به‌روز شوند، بدون نیاز به آموزش مجدد کامل؟

• ارزیابی اثربخشی دانش: اندازه‌گیری دقیق اینکه چگونه و تا چه حد دانش ادغام شده به بهبود عملکرد مدل کمک می‌کند، یک چالش اساسی است.

• فقدان چارچوب‌های یکپارچه: تنوع روش‌ها نشان می‌دهد که هنوز یک رویکرد استاندارد یا یکپارچه برای ادغام دانش در PLMها وجود ندارد.

مسیرهای تحقیقاتی آتی:

بر اساس چالش‌های موجود، نویسندگان مسیرهای امیدبخش برای تحقیقات آینده را نیز ترسیم می‌کنند:

• توسعه روش‌های قوی‌تر ادغام دانش: نیاز به مکانیسم‌هایی است که بتوانند دانش را به شکل عمیق‌تر و ساختاریافته‌تری در لایه‌های مختلف مدل ادغام کنند.

• کاوش در دانش ضمنی و عقل سلیم: تحقیقات بیشتری برای استخراج و استفاده از دانش ضمنی که اغلب به سختی قابل کدگذاری است، مورد نیاز است.

• ادغام دانش چندوجهی: ترکیب دانش متنی با دانش از سایر مودالیته‌ها مانند تصاویر یا ویدئوها، می‌تواند به درک جامع‌تر مدل‌ها منجر شود.

• متریک‌های ارزیابی پیشرفته: توسعه معیارهای جدیدی که بتوانند به طور دقیق‌تر آگاهی دانش و توانایی استدلال مدل‌ها را اندازه‌گیری کنند.

• توجه به ملاحظات اخلاقی: با افزایش توانایی مدل‌ها در استفاده از دانش، چالش‌های اخلاقی مربوط به سوگیری‌های احتمالی در منابع دانش و مسئولیت‌پذیری مدل نیز اهمیت بیشتری پیدا می‌کند.

در نهایت، این مقاله به وضوح نشان می‌دهد که آینده پردازش زبان طبیعی به شدت با قابلیت مدل‌ها در کسب، ادغام و استدلال با دانش گره خورده است. KE-PLMs نه تنها یک حوزه تحقیقاتی فعال، بلکه یک گام حیاتی به سوی ساخت سیستم‌های هوش مصنوعی زبانی است که می‌توانند جهان را به شیوه‌ای شبیه به انسان درک کرده و با آن تعامل کنند.