حوزه پردازش زبان طبیعی (NLP) با سرعتی سرسام‌آور در حال پیشرفت است و هر روز شاهد انتشار تعداد زیادی مقاله پژوهشی در این زمینه هستیم. این انفجار اطلاعات، هرچند نشان‌دهنده پویایی این حوزه است، اما چالش بزرگی را برای پژوهشگران ایجاد کرده است: چگونه می‌توان از میان این حجم عظیم، مقالات مرتبط را پیدا کرد و سهم علمی (Contribution) اصلی هرکدام را به سرعت درک نمود؟ مرور دستی این مقالات فرآیندی زمان‌بر و طاقت‌فرساست و часто منجر به از دست رفتن ارتباطات کلیدی بین پژوهش‌ها می‌شود.

مقاله «KnowGraph@IITK در وظیفه ۱۱ SemEval-2021» به طور مستقیم به این چالش پاسخ می‌دهد. این پژوهش که در چارچوب یکی از معتبرترین کارگاه‌های رقابتی NLP ارائه شده، سیستمی را برای ساخت خودکار یک گراف دانش (Knowledge Graph) از مقالات علمی این حوزه توسعه داده است. این گراف که NLPContributionGraph نامیده می‌شود، با هدف سازماندهی اطلاعات پیرامون مشارکت‌های علمی مقالات طراحی شده و به پژوهشگران کمک می‌کند تا به شکلی ساختاریافته و کارآمد، چشم‌انداز پژوهشی حوزه را تحلیل کرده، روندهای نوظهور را شناسایی نموده و شکاف‌های تحقیقاتی را بیابند.

این مقاله توسط تیمی از پژوهشگران موسسه فناوری هند در کانپور (IITK)، یکی از برجسته‌ترین مراکز علمی و مهندسی در سطح جهان، به انجام رسیده است. نویسندگان این اثر، شاشانک شیلاب (Shashank Shailabh)، ساجال چائوراسیا (Sajal Chaurasia) و آشوتوش مودی (Ashutosh Modi)، از متخصصان حوزه پردازش زبان طبیعی، یادگیری ماشین و استخراج اطلاعات هستند. تمرکز تحقیقاتی آن‌ها بر روی توسعه مدل‌ها و سیستم‌های هوشمندی است که قادر به درک و تحلیل حجم بالای متون غیرساختاریافته، به‌ویژه متون علمی، باشند. مشارکت آن‌ها در رقابت SemEval نشان‌دهنده تعهد این تیم به حل مسائل عملی و پیشرو در دنیای NLP است.

هدف اصلی این پژوهش، توسعه یک سیستم سرتاسری (end-to-end) برای استخراج خودکار اطلاعات کلیدی از مقالات NLP و سازماندهی آن‌ها در قالب یک گراف دانش است. این سیستم به گونه‌ای طراحی شده که مستقل از دامنه (domain-agnostic) باشد، به این معنی که با آموزش مجدد، می‌توان از آن برای ساخت گراف دانش در سایر حوزه‌های علمی نیز استفاده کرد. فرآیند ساخت گراف دانش در این مقاله به سه وظیفه فرعی و متوالی تقسیم شده است:

• وظیفه ۱: استخراج جملات حاوی مشارکت علمی: در این مرحله، سیستم باید جملاتی از متن مقاله را شناسایی کند که به طور صریح به نوآوری‌ها و دستاوردهای اصلی پژوهش اشاره دارند.
• وظیفه ۲: استخراج عبارات کلیدی: پس از شناسایی جملات مهم، سیستم عبارات کلیدی (phrases) را از درون این جملات استخراج می‌کند. این عبارات معمولاً به مفاهیمی مانند نام یک متد، یک مجموعه داده، یا یک وظیفه خاص اشاره دارند.
• وظیفه ۳: پیش‌بینی واحدهای اطلاعاتی و تشکیل سه‌تایی‌ها: در مرحله نهایی، سیستم نوع هر عبارت استخراج‌شده را مشخص می‌کند (مثلاً “متد”، “وظیفه”، “مجموعه داده”) و سپس با برقراری ارتباط میان آن‌ها، سه‌تایی‌ها یا تریپلت‌هایی (triplets) مانند `(متد، ارزیابی‌شده روی، وظیفه)` را تشکیل می‌دهد. این سه‌تایی‌ها در واقع یال‌های گراف دانش را می‌سازند.

نویسندگان برای انجام این وظایف، از قدرت مدل‌های زبانی پیشرفته مبتنی بر معماری ترنسفورمر، به ویژه مدل SciBERT که بر روی متون علمی آموزش دیده است، بهره برده‌اند.

معماری سیستم پیشنهادی یک خط لوله (pipeline) چندمرحله‌ای است که هر مرحله برای یکی از وظایف فرعی طراحی شده است. ستون فقرات این معماری، مدل زبانی SciBERT است که به دلیل آشنایی با واژگان و ساختارهای متون علمی، عملکرد بهتری نسبت به مدل‌های عمومی مانند BERT از خود نشان می‌دهد.

وظیفه فرعی ۱: استخراج جملات مشارکت (Contribution Sentence Extraction)

برای این کار، از یک معماری ترکیبی SciBERT + BiLSTM استفاده شده است. فرآیند به این صورت است:

• ابتدا، مدل SciBERT هر جمله از مقاله را به یک بردار عددی غنی از اطلاعات معنایی (embedding) تبدیل می‌کند.
• سپس، این بردارها به یک شبکه حافظه طولانی-کوتاه‌مدت دوطرفه (Bidirectional LSTM) وارد می‌شوند. BiLSTM با پردازش توالی جملات در هر دو جهت (از ابتدا به انتها و از انتها به ابتدا)، قادر است وابستگی‌ها و زمینه کلی متن را درک کند.
• در نهایت، یک لایه طبقه‌بند (classifier) بر اساس خروجی BiLSTM تصمیم می‌گیرد که آیا یک جمله حاوی مشارکت علمی است یا خیر.

وظیفه فرعی ۲: استخراج عبارات (Phrase Extraction)

این وظیفه به عنوان یک مسئله برچسب‌گذاری توالی (sequence labeling) مدل‌سازی می‌شود. معماری مورد استفاده در این مرحله SciBERT + BiLSTM + CRF است:

• مانند مرحله قبل، SciBERT و BiLSTM بازنمایی‌های حساس به زمینه را برای هر کلمه در جملات مشارکت تولید می‌کنند.
• لایه نهایی، یک میدان تصادفی شرطی (CRF) است. مزیت اصلی CRF این است که به جای تصمیم‌گیری مستقل برای برچسب هر کلمه، بهترین توالی از برچسب‌ها را برای کل جمله پیدا می‌کند. این ویژگی به مدل کمک می‌کند تا خروجی‌های ساختاریافته و معقول‌تری تولید کند (مثلاً، برچسب “داخل یک عبارت” نمی‌تواند قبل از “شروع یک عبارت” بیاید).

وظیفه فرعی ۳: تشکیل سه‌تایی (Triplet Formation)

این مرحله خود از دو بخش تشکیل شده است: پیش‌بینی نوع واحد اطلاعاتی و ایجاد رابطه. برای این کار، یک رویکرد ترکیبی به کار گرفته شده است:

• رویکرد عصبی مبتنی بر SciBERT: یک مدل طبقه‌بندی دیگر بر پایه SciBERT آموزش داده می‌شود تا نوع هر عبارت استخراج‌شده را مشخص کند (مانند Method, Task, Dataset, Metric).
• روش‌های ابتکاری (Heuristics): پس از تعیین نوع عبارات، سیستم از مجموعه‌ای از قوانین و الگوهای از پیش تعریف‌شده برای ایجاد روابط بین آن‌ها و تشکیل سه‌تایی‌ها استفاده می‌کند. برای مثال، یک قانون می‌تواند این باشد که اگر یک عبارت از نوع “Method” و عبارت دیگری از نوع “Task” در یک جمله ظاهر شوند، به احتمال زیاد رابطه‌ای مانند “solves” یا “evaluatedOn” بین آن‌ها برقرار است.

عملکرد سیستم در سه سطح مختلف ارزیابی شده و نتایج قابل توجهی را به دست آورده است. معیار اصلی ارزیابی، امتیاز F1 بوده که میانگینی متوازن از دقت (precision) و بازخوانی (recall) است.

• امتیاز F1 برای استخراج سه‌تایی: 0.76. این امتیاز نشان می‌دهد که مؤلفه نهایی سیستم در شناسایی روابط و تشکیل سه‌تایی‌ها از عبارات داده‌شده، عملکرد بسیار خوبی دارد.
• امتیاز F1 برای استخراج عبارت: 0.63. این نتیجه نشان‌دهنده عملکرد قابل قبول مدل در شناسایی مرزهای عبارات کلیدی در جملات است.
• امتیاز F1 برای خط لوله سرتاسری: 0.38. این امتیاز که عملکرد کلی سیستم از ابتدا تا انتها را می‌سنجد، به طور قابل توجهی پایین‌تر از مراحل منفرد است. این پدیده که به آن تجمیع خطا (Error Propagation) گفته می‌شود، یک چالش رایج در سیستم‌های چندمرحله‌ای است؛ به این معنی که خطاهای ایجاد شده در مراحل اولیه (مانند استخراج ناقص جملات) به مراحل بعدی منتقل شده و عملکرد نهایی را تحت تأثیر قرار می‌دهند.

مهم‌ترین یافته این پژوهش، تأیید این موضوع است که مدل‌های زبانی مبتنی بر ترنسفورمر و آموزش‌دیده بر روی متون تخصصی (مانند SciBERT) می‌توانند به طور قابل توجهی عملکرد سیستم‌های استخراج اطلاعات علمی را بهبود بخشند.

دستاورد این پژوهش فراتر از یک شرکت موفق در یک رقابت علمی است و کاربردهای عملی متعددی را برای جامعه پژوهشی به ارمغان می‌آورد:

• مرور ادبیات هوشمند و سریع: پژوهشگران می‌توانند به جای صرف ساعت‌ها وقت برای خواندن مقالات، با جستجو در گراف دانش، به سرعت مقالاتی که از یک متد خاص استفاده کرده‌اند یا یک وظیفه مشخص را هدف قرار داده‌اند، پیدا کنند و ارتباط بین آن‌ها را درک کنند.
• تحلیل روندهای پژوهشی: با تحلیل گراف دانش در مقیاس بزرگ، می‌توان به صورت خودکار روندهای نوظهور، حوزه‌های تحقیقاتی اشباع‌شده و شکاف‌های دانشی را شناسایی کرد.
• توسعه موتورهای جستجوی معنایی: این گراف می‌تواند زیرساخت نسل جدیدی از موتورهای جستجوی علمی باشد که به جای کلمات کلیدی، مفاهیم و روابط بین آن‌ها را درک می‌کنند و به سؤالات پیچیده کاربران پاسخ می‌دهند.
• استقلال از دامنه: یکی از بزرگ‌ترین دستاوردهای این سیستم، معماری مستقل از دامنه آن است. این بدان معناست که می‌توان با فراهم کردن داده‌های آموزشی مناسب، از همین چارچوب برای ساخت گراف دانش در حوزه‌های دیگری مانند پزشکی، زیست‌شناسی یا فیزیک نیز استفاده کرد.

مقاله «KnowGraph@IITK» یک راهکار جامع و نوآورانه برای مقابله با چالش انفجار اطلاعات در حوزه پویای پردازش زبان طبیعی ارائه می‌دهد. این تیم با طراحی یک سیستم چندمرحله‌ای هوشمند و با بهره‌گیری از مدل‌های پیشرفته‌ای مانند SciBERT، BiLSTM و CRF، گام مهمی در جهت خودکارسازی فرآیند پیچیده ساخت گراف دانش از متون علمی برداشته است. اگرچه عملکرد سرتاسری سیستم به دلیل تجمیع خطا جای بهبود دارد، اما نتایج به‌دست‌آمده در مراحل منفرد بسیار امیدوارکننده است. این پژوهش نه تنها یک چارچوب فنی قدرتمند ارائه می‌دهد، بلکه راه را برای توسعه ابزارهای تحلیلی هوشمندتر هموار می‌سازد که می‌توانند درک و پیمایش ما را در اقیانوس بی‌کران دانش علمی متحول کنند.