در دنیای پردازش زبان طبیعی (NLP)، یکی از وظایف بنیادی و پرکاربرد، «بازشناسی موجودیت نام‌دار» یا Named Entity Recognition (NER) است. هدف این وظیفه، شناسایی و دسته‌بندی موجودیت‌های خاصی مانند نام اشخاص، سازمان‌ها، مکان‌ها، تاریخ‌ها و مقادیر پولی در متن است. با این حال، چالش بزرگ زمانی پدیدار می‌شود که این موجودیت‌ها به صورت تودرتو (Nested) در متن ظاهر شوند. برای مثال، در عبارت «تیم تحقیقاتی دانشگاه استنفورد»، «دانشگاه استنفورد» یک سازمان است که خود شامل موجودیت «استنفورد» به عنوان یک مکان است. مدل‌های سنتی NER اغلب در تشخیص چنین ساختارهای پیچیده‌ای با مشکل مواجه می‌شوند.

مقاله «تشخیص موجودیت سرتاسری با پیشنهادگر و رگرسور» یک رویکرد نوآورانه برای حل مشکل بازشناسی موجودیت‌های تودرتو ارائه می‌دهد. این مقاله با الهام از پیشرفت‌های حوزه بینایی کامپیوتر، به‌ویژه در زمینه تشخیص اشیاء، یک معماری دو مرحله‌ای مبتنی بر پیشنهادگر (Proposer) و رگرسور (Regressor) را معرفی می‌کند. اهمیت این پژوهش در آن است که محدودیت‌های مدل‌های پیشین را که از بردارهای پرس‌وجوی (Query Vectors) ثابت و غیرپویا استفاده می‌کردند، برطرف کرده و راه را برای تشخیص دقیق‌تر و کارآمدتر موجودیت‌های پیچیده در متون مختلف، از مقالات علمی و پزشکی گرفته تا شبکه‌های اجتماعی، هموار می‌سازد.

این مقاله حاصل تلاش گروهی از پژوهشگران برجسته در حوزه هوش مصنوعی و پردازش زبان طبیعی است. نویسندگان این اثر عبارتند از:

• Xueru Wen
• Changjiang Zhou
• Haotian Tang
• Luguang Liang
• Yu Jiang
• Hong Qi

با توجه به زمینه مقاله که در دسته‌بندی «محاسبات و زبان» (Computation and Language) قرار گرفته است، تخصص این پژوهشگران در زمینه‌های یادگیری عمیق، پردازش زبان طبیعی و مدل‌سازی اطلاعات متنی متمرکز است. ارائه این مقاله نشان‌دهنده تلاشی جدی برای پیوند زدن ایده‌های موفق از حوزه‌های دیگر مانند بینایی کامپیوتر به مسائل پیچیده زبان‌شناسی محاسباتی است.

این مقاله یک رویکرد نوین و سرتاسری (End-to-End) برای تشخیص موجودیت‌های نام‌دار، به‌ویژه موجودیت‌های تودرتو، معرفی می‌کند. پژوهش‌های اخیر تلاش کرده‌اند تا پارادایم موفق «پیش‌بینی مجموعه‌ای» (Set Prediction) از حوزه تشخیص اشیاء را به مسئله NER منتقل کنند. با این حال، این رویکردها با یک محدودیت اساسی روبرو هستند: استفاده از بردارهای پرس‌وجوی ثابت که نمی‌توانند خود را با اطلاعات معنایی غنی و پویای متن تطبیق دهند.

برای غلبه بر این چالش، این مقاله مدلی متشکل از دو بخش اصلی پیشنهادگر (Proposer) و رگرسور (Regressor) را پیشنهاد می‌کند. در مرحله اول، پیشنهادگر با استفاده از یک «شبکه هرمی ویژگی» (Feature Pyramid Network – FPN)، پیشنهادهای اولیه و باکیفیتی برای موجودیت‌های احتمالی در متن تولید می‌کند. در مرحله دوم، رگرسور این پیشنهادها را دریافت کرده و با اصلاح دقیق مرزها و دسته‌بندی آن‌ها، پیش‌بینی نهایی را تولید می‌کند. معماری این مدل تنها از رمزگذار (Encoder-only) بهره می‌برد که مزایای متعددی از جمله غنای معنایی پرس‌وجوها، دقت بالا در مکان‌یابی موجودیت و سهولت در آموزش مدل را به همراه دارد. علاوه بر این، نویسندگان دو نوآوری کلیدی دیگر را نیز معرفی کرده‌اند: «توجه مدوله‌شده فضایی» (Spatially Modulated Attention) و «پالایش تدریجی» (Progressive Refinement) که به بهبود بیشتر عملکرد مدل کمک شایانی می‌کنند. نتایج آزمایش‌های گسترده نشان می‌دهد که این مدل در هر دو نوع NER مسطح و تودرتو به عملکردی پیشرفته دست یافته و رکوردهای جدیدی را در مجموعه داده‌های معتبر GENIA با امتیاز F1 برابر با 80.74 و WeiboNER با امتیاز 72.38 به ثبت رسانده است.

قلب این پژوهش، معماری نوآورانه آن است که ضعف‌های مدل‌های پیشین را هدف قرار می‌دهد. مدل‌های مبتنی بر پیش‌بینی مجموعه‌ای، مانند DETR در بینایی کامپیوتر، از تعدادی پرس‌وجوی ثابت برای یافتن اشیاء (یا در اینجا، موجودیت‌ها) استفاده می‌کنند. این پرس‌وجوها مستقل از محتوای ورودی هستند و در نتیجه، ظرفیت محدودی برای درک پیچیدگی‌های متن دارند. رویکرد پیشنهادگر-رگرسور این مشکل را به شکل زیر حل می‌کند:

• مرحله اول: پیشنهادگر (Proposer)
  
  این بخش وظیفه دارد تا نواحی‌ای از متن را که به احتمال زیاد حاوی یک موجودیت هستند، شناسایی کند. برای این کار، از یک «شبکه هرمی ویژگی» (FPN) استفاده می‌شود. FPN یک معماری قدرتمند است که می‌تواند ویژگی‌ها را در مقیاس‌های مختلف از متن استخراج کند. این به مدل اجازه می‌دهد تا هم موجودیت‌های کوتاه (مانند یک نام) و هم موجودیت‌های طولانی (مانند نام یک سازمان کامل) را به خوبی تشخیص دهد. خروجی این مرحله، مجموعه‌ای از «پیشنهادهای موجودیت» (Entity Proposals) است که هرکدام شامل موقعیت مکانی (ابتدا و انتها) و یک نمایش برداری از محتوای آن است. این پیشنهادها، برخلاف پرس‌وجوهای ثابت، کاملاً وابسته به محتوای متن ورودی هستند.
• مرحله دوم: رگرسور (Regressor)
  
  پیشنهادهای تولید شده در مرحله قبل، ممکن است کاملاً دقیق نباشند. وظیفه رگرسور، پالایش و اصلاح این پیشنهادهاست. رگرسور هر پیشنهاد را به عنوان یک پرس‌وجوی پویا در نظر گرفته و با توجه به کل متن، مرزهای آن را دقیق‌تر تنظیم کرده و برچسب نهایی (مثلاً شخص، سازمان، مکان) را به آن اختصاص می‌دهد. این فرآیند پالایش می‌تواند به صورت تدریجی و در چند مرحله تکرار شود (Progressive Refinement)، که در هر مرحله دقت پیش‌بینی‌ها افزایش می‌یابد.

علاوه بر این ساختار دو مرحله‌ای، دو نوآوری مهم دیگر نیز در این مدل به کار رفته است:

معماری مبتنی بر رمزگذار (Encoder-only): برخلاف مدل‌های ترنسفورمر سنتی که از یک رمزگذار و یک رمزگشا تشکیل شده‌اند، این مدل تنها از بخش رمزگذار استفاده می‌کند. این طراحی باعث می‌شود که فرآیند آموزش ساده‌تر و سریع‌تر شود و مدل بتواند به طور مستقیم از نمایش‌های غنی تولید شده توسط رمزگذار برای تولید پیشنهادها و پالایش آن‌ها بهره ببرد.

توجه مدوله‌شده فضایی (Spatially Modulated Attention): این مکانیزم توجه جدید به مدل کمک می‌کند تا به طور هوشمندانه بر روی بخش‌های مرتبط‌تری از متن برای هر پیشنهاد تمرکز کند. به جای اینکه به کل متن به صورت یکنواخت توجه شود، این مکانیزم با توجه به موقعیت مکانی یک پیشنهاد، وزن بیشتری به کلمات نزدیک‌تر و مرتبط‌تر می‌دهد. این امر به طور قابل توجهی دقت مکان‌یابی مرزهای موجودیت را افزایش می‌دهد.

برای ارزیابی عملکرد مدل پیشنهادی، نویسندگان آن را بر روی چندین مجموعه داده استاندارد برای NER مسطح و تودرتو آزمایش کردند. نتایج به دست آمده بسیار چشمگیر بوده و برتری این رویکرد را نسبت به روش‌های پیشین به وضوح نشان می‌دهد.

• مجموعه داده GENIA: این مجموعه داده، که از متون زیست‌پزشکی استخراج شده، به دلیل فراوانی موجودیت‌های تودرتو، یکی از چالش‌برانگیزترین معیارها در این حوزه محسوب می‌شود. مدل پیشنهادی توانست به امتیاز F1 برابر با 80.74 دست یابد که یک رکورد جدید و پیشرفتی قابل توجه در این زمینه است. F1-score معیاری است که توازن بین دقت (Precision) و بازیابی (Recall) را می‌سنجد و امتیاز بالاتر نشان‌دهنده عملکرد بهتر مدل است.
• مجموعه داده WeiboNER: این مجموعه داده شامل متون کوتاه و غیررسمی از شبکه اجتماعی Weibo است که چالش‌های خاص خود را مانند زبان محاوره‌ای و ساختارهای نامنظم دارد. در این مجموعه داده نیز مدل توانست به امتیاز F1 برابر با 72.38 برسد و وضعیت پیشرفته‌ترین (State-of-the-Art) را کسب کند.
• تحلیل Ablation Study: نویسندگان همچنین آزمایش‌هایی را برای ارزیابی تأثیر هر یک از اجزای نوآورانه مدل (مانند توجه مدوله‌شده فضایی و پالایش تدریجی) انجام دادند. نتایج نشان داد که حذف هر یک از این اجزا منجر به افت عملکرد می‌شود، که این موضوع اهمیت و کارایی طراحی‌های پیشنهادی را تأیید می‌کند.

این یافته‌ها نشان می‌دهند که معماری پیشنهادگر-رگرسور، با بهره‌گیری از پرس‌وجوهای پویا و مکانیزم‌های توجه پیشرفته، قادر است به درک عمیق‌تری از ساختارهای زبانی دست یابد و موجودیت‌ها را با دقت بسیار بالایی، حتی در سناریوهای پیچیده تودرتو، شناسایی کند.

پیشرفت حاصل از این پژوهش، تأثیرات گسترده‌ای بر کاربردهای عملی پردازش زبان طبیعی خواهد داشت. توانایی تشخیص دقیق موجودیت‌های تودرتو در زمینه‌های مختلفی حیاتی است:

• تحلیل متون علمی و پزشکی: در مقالات علمی، موجودیت‌های پیچیده‌ای مانند «گیرنده اینترلوکین-۲ انسانی» (human interleukin-2 receptor) وجود دارند که خود شامل موجودیت‌های کوچک‌تری (ژن، پروتئین، گونه) هستند. استخراج دقیق این اطلاعات برای ساخت پایگاه‌های دانش، کشف دارو و تحقیقات پزشکی ضروری است.
• استخراج اطلاعات مالی و حقوقی: در اسناد حقوقی، شناسایی دقیق روابط بین شرکت‌ها، افراد و مکان‌ها (مانند «شعبه بانک ملی ایران در تهران») برای تحلیل قراردادها و گزارش‌های مالی بسیار مهم است.
• سیستم‌های پرسش و پاسخ پیشرفته: برای پاسخ به سؤالات پیچیده‌ای مانند «کدام بازیگران در فیلم‌های کارگردانی شده توسط کریستوفر نولان بازی کرده‌اند؟»، سیستم ابتدا باید موجودیت‌های «کریستوفر نولان» (شخص، کارگردان) و عنوان فیلم‌ها را به درستی تشخیص دهد.
• ساخت گراف دانش (Knowledge Graph): گراف‌های دانش که زیربنای موتورهای جستجوی مدرن و دستیارهای هوشمند هستند، با استخراج موجودیت‌ها و روابط بین آن‌ها از حجم عظیمی از متن ساخته می‌شوند. دقت بالاتر در NER، به ویژه NER تودرتو، مستقیماً به کیفیت و غنای این گراف‌ها منجر می‌شود.

این مدل با ارائه یک راه‌حل کارآمد و دقیق، گامی بزرگ در جهت خودکارسازی و افزایش دقت فرآیندهای استخراج اطلاعات برداشته و می‌تواند به عنوان یک جزء کلیدی در سیستم‌های هوشمند نسل آینده به کار گرفته شود.

مقاله «تشخیص موجودیت سرتاسری با پیشنهادگر و رگرسور» یک چارچوب قدرتمند و نوین برای مسئله چالش‌برانگیز بازشناسی موجودیت‌های نام‌دار تودرتو ارائه می‌دهد. این مدل با الهام از معماری‌های موفق در بینایی کامپیوتر و تطبیق هوشمندانه آن‌ها با ویژگی‌های زبان، توانسته است بر محدودیت‌های کلیدی رویکردهای پیشین غلبه کند. استفاده از معماری دو مرحله‌ای پیشنهادگر-رگرسور، پرس‌وجوهای وابسته به محتوا، و مکانیزم‌های نوآورانه مانند توجه مدوله‌شده فضایی، منجر به کسب نتایج پیشرفته و ثبت رکوردهای جدید در مجموعه داده‌های معتبر شده است.

این پژوهش نه تنها یک راه‌حل عملی برای یک مشکل مهم در NLP ارائه می‌دهد، بلکه مسیرهای جدیدی را برای تحقیقات آینده باز می‌کند. می‌توان این رویکرد را برای وظایف مرتبط دیگری مانند استخراج رابطه (Relation Extraction) یا شناسایی رویداد (Event Detection) نیز گسترش داد. همچنین،探索 چگونگی بهینه‌سازی این مدل برای زبان‌های کمتر برخوردار و کاربردهای بلادرنگ می‌تواند از زمینه‌های جذاب برای پژوهش‌های آتی باشد. در مجموع، این مقاله یک دستاورد مهم در حوزه پردازش زبان طبیعی است که به درک عمیق‌تر و دقیق‌تر ماشین از زبان انسان کمک شایانی می‌کند.