در عصر انفجار اطلاعات، روزانه هزاران مقاله علمی منتشر می‌شود. این حجم عظیم از داده‌های متنی، گنجینه‌ای از دانش را در خود جای داده است، اما استخراج اطلاعات کلیدی و ساختارمند از آن به یک چالش بزرگ برای پژوهشگران تبدیل شده است. یکی از بنیادی‌ترین وظایف در پردازش زبان طبیعی (NLP) برای تحقق این هدف، بازشناسی موجودیت‌های نام‌گذاری شده (Named Entity Recognition – NER) است. این وظیفه به معنای شناسایی و دسته‌بندی عبارات کلیدی در متن، مانند نام روش‌ها، ابزارها، معیارها، داروها، ژن‌ها و بیماری‌ها است.

متون علمی، به دلیل داشتن اصطلاحات تخصصی، ساختارهای پیچیده و موجودیت‌های تو در تو، چالش‌های منحصربه‌فردی را برای سیستم‌های NER ایجاد می‌کنند. مدل‌های سنتی اغلب در درک بافت عمیق و روابط ظریف میان این موجودیت‌ها دچار مشکل می‌شوند. مقاله «مدل ترانسفورمر سلسله‌مراتبی برای بازشناسی موجودیت‌های نام‌گذاری شده علمی» که توسط اورشاد زاراتیانا و همکارانش ارائه شده، یک رویکرد نوین و مؤثر برای غلبه بر این چالش‌ها معرفی می‌کند. اهمیت این مقاله در ارائه یک معماری ساده اما قدرتمند است که با بهره‌گیری از دو لایه ترانسفورمر، دقت بی‌سابقه‌ای را در شناسایی موجودیت‌های علمی به دست می‌آورد و راه را برای ساخت سیستم‌های استخراج اطلاعات دقیق‌تر هموار می‌سازد.

این مقاله حاصل همکاری تیمی از پژوهشگران برجسته در حوزه پردازش زبان طبیعی و یادگیری ماشین است:

• Urchade Zaratiana
• Pierre Holat
• Nadi Tomeh
• Thierry Charnois

این پژوهشگران در زمینه توسعه و کاربرد مدل‌های یادگیری عمیق، به ویژه مدل‌های مبتنی بر معماری ترانسفورمر (Transformer)، برای حل مسائل پیچیده زبان‌شناسی محاسباتی فعالیت دارند. این تحقیق در شاخه «پردازش زبان و محاسبات» (Computation and Language) و «یادگیری ماشین» (Machine Learning) طبقه‌بندی می‌شود و بر یکی از زیرشاخه‌های کلیدی استخراج اطلاعات (Information Extraction) تمرکز دارد که هدف آن تبدیل داده‌های متنی بدون ساختار به دانش ساختارمند و قابل استفاده برای ماشین است.

وظیفه بازشناسی موجودیت‌های نام‌گذاری شده (NER) یک جزء اساسی در بسیاری از سیستم‌های پردازش زبان طبیعی، مانند استخراج روابط (Relation Extraction) و ساخت گراف دانش (Knowledge Graph Construction)، محسوب می‌شود. در این پژوهش، نویسندگان یک رویکرد ساده و در عین حال بسیار مؤثر برای NER در متون علمی ارائه می‌دهند. ایده اصلی این رویکرد، یک معماری دو مرحله‌ای یا سلسله‌مراتبی است.

در مرحله اول، دنباله‌ای از زیرواژه‌ها (subwords) با استفاده از یک مدل ترانسفورمر از پیش آموزش‌دیده مانند BERT کدگذاری می‌شود. این لایه، درک عمیقی از معنای کلمات در بافت جمله فراهم می‌کند. اما به جای آنکه مستقیماً برچسب موجودیت‌ها را از این نمایش زیرواژه‌ای استخراج کنند، نویسندگان یک لایه ترانسفورمر دیگر را بر روی آن اضافه می‌کنند. وظیفه این لایه دوم، مدل‌سازی تعاملات در سطح کلمه (word-level) است. این ساختار به مدل اجازه می‌دهد تا روابط پیچیده‌تر و وابستگی‌های دوربرد بین کلمات کامل را بهتر درک کند، که برای شناسایی موجودیت‌های نام‌گذاری شده علمی بسیار حیاتی است.

این مدل که HNER (Hierarchical NER) نام دارد، بر روی سه مجموعه داده استاندارد در حوزه علوم کامپیوتر (SciERC) و علوم زیست‌پزشکی (TDM) ارزیابی شده است. نتایج تجربی نشان می‌دهد که این مدل بدون نیاز به منابع خارجی یا تکنیک‌های پیچیده افزایش داده، عملکردی بهتر از پیشرفته‌ترین مدل‌های موجود (state-of-the-art) ارائه می‌دهد.

معماری پیشنهادی این مقاله، HNER، بر پایه یک ساختار سلسله‌مراتبی هوشمندانه بنا شده است که از دو سطح پردازش برای تحلیل متن بهره می‌برد. در ادامه، اجزای این روش‌شناسی به تفصیل شرح داده می‌شود.

۱. کدگذاری سطح زیرواژه (Subword-level Encoding)

پردازش متن با شکستن جملات به واحدهای کوچکتری به نام زیرواژه آغاز می‌شود. برای مثال، کلمه “transformer” ممکن است به “trans” و “##former” تجزیه شود. این کار به مدل اجازه می‌دهد تا با کلمات نادر یا تخصصی که در داده‌های آموزشی ندیده است، بهتر مقابله کند. سپس، این دنباله از زیرواژه‌ها به یک مدل ترانسفورمر بزرگ و از پیش آموزش‌دیده مانند SciBERT (نسخه‌ای از BERT که بر روی متون علمی آموزش دیده) داده می‌شود. خروجی این لایه، یک بردار نمایش (embedding) برای هر زیرواژه است که اطلاعات معنایی و بافتی غنی را در خود دارد. این بردارها، درک اولیه مدل از جمله را تشکیل می‌دهند.

۲. چالش گذار از زیرواژه به کلمه

وظیفه NER در نهایت یک طبقه‌بندی در سطح کلمه است (مثلاً کلمه “BERT” یک “Method” است). مدل‌های استاندارد معمولاً نمایش اولین زیرواژه یک کلمه را به عنوان نماینده کل آن کلمه در نظر می‌گیرند. نویسندگان این مقاله معتقدند که این رویکرد، بخشی از اطلاعات را هدر می‌دهد و نمی‌تواند به خوبی تعاملات پیچیده بین کلمات کامل را مدل‌سازی کند.

۳. کدگذاری سطح کلمه (Word-level Encoding) – نوآوری کلیدی

اینجاست که نوآوری اصلی مدل HNER خود را نشان می‌دهد. به جای استفاده مستقیم از خروجی لایه اول، نمایش‌های زیرواژه‌ای مربوط به هر کلمه با یکدیگر ترکیب می‌شوند (مثلاً با میانگین‌گیری) تا یک بردار نمایش اولیه برای هر کلمه ایجاد شود. سپس، این دنباله از بردارهای کلمات به یک لایه ترانسفورمر دوم و سبک‌تر وارد می‌شود. این لایه جدید وظیفه دارد تا به طور خاص بر روی تعاملات بین کلمات تمرکز کند. این کار به مدل اجازه می‌دهد تا الگوهای سطح بالاتر را شناسایی کند. برای مثال، تشخیص دهد که وقتی کلمه “accuracy” (یک Metric) پس از عبارت “convolutional neural network” (یک Method) می‌آید، این دو به احتمال زیاد با هم مرتبط هستند. این لایه دوم، درک جامع‌تری از ساختار جمله در سطح کلمات ایجاد می‌کند.

۴. لایه طبقه‌بندی نهایی

در نهایت، بردارهای خروجی از لایه ترانسفورمر دوم (که اکنون حاوی اطلاعات غنی در هر دو سطح زیرواژه و کلمه هستند) به یک لایه طبقه‌بندی ساده (معمولاً یک شبکه عصبی خطی) داده می‌شوند تا برچسب نهایی هر کلمه (مثلاً Task, Method, Material یا O برای کلمات غیرموجودیت) پیش‌بینی شود.

مجموعه داده‌ها و ارزیابی

برای سنجش کارایی مدل، از مجموعه داده‌های معتبر زیر استفاده شده است:

• SciERC: یک مجموعه داده محبوب در حوزه علوم کامپیوتر که شامل موجودیت‌هایی مانند Task, Method, Metric و Material است.
• TDM: یک مجموعه داده در حوزه زیست‌پزشکی که بر استخراج اطلاعات مربوط به نظارت بر داروهای درمانی تمرکز دارد و شامل موجودیت‌هایی مانند دارو، بیماری و پروتئین هدف است.

عملکرد مدل با استفاده از معیارهای استاندارد Precision, Recall و F1-score ارزیابی و با بهترین مدل‌های پیشین مقایسه شده است.

نتایج تجربی این پژوهش بسیار چشمگیر و قابل توجه است. یافته‌های اصلی را می‌توان در چند نکته کلیدی خلاصه کرد:

• دستیابی به عملکرد پیشرفته (State-of-the-Art): مدل HNER توانست در هر دو مجموعه داده SciERC و TDM به نتایجی بهتر از تمامی مدل‌های قبلی دست یابد. این بهبود عملکرد نشان‌دهنده کارایی بالای معماری سلسله‌مراتبی پیشنهادی است.
• سادگی و اثربخشی: یکی از مهم‌ترین دستاوردهای این مدل، کسب نتایج برتر بدون نیاز به منابع خارجی مانند پایگاه‌های دانش (Knowledge Bases) یا روش‌های پیچیده افزایش داده (Data Augmentation) است. این یعنی قدرت مدل از معماری هوشمندانه آن نشأت می‌گیرد نه از اطلاعات بیرونی. این ویژگی، پیاده‌سازی و استفاده از مدل را در حوزه‌های مختلف علمی آسان‌تر می‌کند.
• اهمیت لایه دوم ترانسفورمر: نویسندگان از طریق آزمایش‌های “Ablation Study” نشان دادند که حذف لایه ترانسفورمر دوم (لایه سطح کلمه) منجر به افت قابل توجهی در دقت مدل می‌شود. این یافته به وضوح ثابت می‌کند که مدل‌سازی صریح تعاملات بین کلمات، نقشی حیاتی در بهبود عملکرد برای وظیفه NER علمی دارد.
• کارایی محاسباتی: با وجود استفاده از دو لایه ترانسفورمر، لایه دوم نسبتاً سبک است و بار محاسباتی زیادی به مدل تحمیل نمی‌کند. این امر باعث می‌شود مدل HNER همچنان از نظر محاسباتی کارآمد باقی بماند.

ارائه یک مدل NER دقیق و قدرتمند مانند HNER، درهای جدیدی را به روی کاربردهای پیشرفته در حوزه علم‌سنجی و پژوهش باز می‌کند. برخی از مهم‌ترین کاربردها عبارتند از:

• ساخت خودکار گراف‌های دانش علمی: با استخراج دقیق موجودیت‌ها و روابط بین آن‌ها، می‌توان به صورت خودکار پایگاه‌های دانش عظیمی ساخت که ارتباطات میان روش‌ها، مسائل و نتایج تحقیقات را به تصویر می‌کشند. برای مثال، (Method: BERT) → (used for Task: Text Classification) → (achieves Metric: 95% F1-score).
• موتورهای جستجوی معنایی: پژوهشگران می‌توانند به جای جستجو بر اساس کلمات کلیدی، پرس‌وجوهای مفهومی انجام دهند. برای مثال: «مقالات جدیدی را پیدا کن که از مدل‌های مبتنی بر توجه (Attention-based models) برای مسئله ترجمه ماشینی (Machine Translation) استفاده کرده‌اند».
• خلاصه‌سازی هوشمند مقالات: با شناسایی موجودیت‌های کلیدی یک مقاله، می‌توان خلاصه‌هایی دقیق‌تر و متمرکزتر تولید کرد که به سرعت به خواننده درکی از محتوای اصلی مقاله می‌دهد.
• تسریع اکتشافات در علوم زیستی: در حوزه زیست‌پزشکی، این مدل می‌تواند به طور خودکار اطلاعات مربوط به تعاملات ژن-پروتئین، تأثیر داروها بر بیماری‌ها و عوارض جانبی آن‌ها را از میان میلیون‌ها مقاله استخراج کرده و به کشف داروهای جدید و پزشکی شخصی‌سازی‌شده کمک شایانی کند.

دستاورد اصلی این مقاله، ارائه یک الگوی معماری جدید و مؤثر است که نشان می‌دهد چگونه می‌توان با ترکیب هوشمندانه اجزای موجود (ترانسفورمرها)، به راه‌حلی قدرتمندتر برای مسائل پیچیده دست یافت.

مقاله «مدل ترانسفورمر سلسله‌مراتبی برای بازشناسی موجودیت‌های نام‌گذاری شده علمی» یک گام مهم رو به جلو در زمینه استخراج اطلاعات از متون علمی است. نویسندگان با معرفی یک معماری دو سطحی مبتنی بر ترانسفورمر، موفق به ایجاد مدلی شده‌اند که می‌تواند بافت پیچیده زبان علمی را در هر دو سطح زیرواژه و کلمه به خوبی درک کند. این رویکرد ساده اما هوشمندانه، بدون نیاز به پیچیدگی‌های اضافی، به نتایج پیشرفته و بی‌سابقه‌ای در مجموعه داده‌های استاندارد دست یافته است.

مدل HNER نه تنها یک ابزار قدرتمند برای وظیفه NER است، بلکه یک الگوی قابل تعمیم برای سایر وظایف پردازش زبان طبیعی ارائه می‌دهد که در آن‌ها درک سلسله‌مراتبی از متن اهمیت دارد. این پژوهش راه را برای توسعه سیستم‌های هوشمندتر و دقیق‌تری هموار می‌کند که قادرند دانش نهفته در اقیانوس مقالات علمی را به صورت ساختارمند و قابل استفاده درآورند و در نهایت، به شتاب بخشیدن به چرخه اکتشافات علمی کمک کنند.