در دنیای پردازش زبان طبیعی (NLP)، تشخیص موجودیت‌های نام‌دار (NER) یکی از وظایف اساسی است که در استخراج اطلاعات، تحلیل احساسات و بسیاری از کاربردهای دیگر نقش حیاتی ایفا می‌کند. NER به فرآیند شناسایی و طبقه‌بندی موجودیت‌های مشخص در یک متن، مانند اسامی افراد، مکان‌ها، سازمان‌ها، تاریخ‌ها و غیره اطلاق می‌شود. با این حال، آموزش مدل‌های NER به طور سنتی نیازمند حجم زیادی از داده‌های برچسب‌گذاری شده است. این امر در بسیاری از موارد، به ویژه در زبان‌ها و دامنه‌هایی که منابع محدودی در دسترس است، یک چالش بزرگ محسوب می‌شود.

مقاله “توکن به مثابه ماسک: تشخیص موجودیت‌های نام‌دار کم‌نمونه با مدل‌های زبانی پیش‌آموزش‌دیده” به این چالش می‌پردازد و یک روش نوین برای انتقال دانش از یک دامنه به دامنه دیگر ارائه می‌دهد، به ویژه زمانی که مقدار داده‌های موجود در دامنه هدف محدود باشد. این مقاله رویکردی کم‌نمونه (Few-shot) را برای تطبیق دامنه در زمینه NER پیشنهاد می‌کند که از مدل‌های زبانی پیش‌آموزش‌دیده (Pre-trained Language Models) بهره می‌برد.

این مقاله توسط علی داودی، دیوید ایفئولووا آدِلانی، توماس کلاین‌باوئر و دیتریش کلاکو نوشته شده است. نویسندگان از متخصصان حوزه پردازش زبان طبیعی و یادگیری ماشین هستند و در زمینه توسعه روش‌های کارآمد برای NER و انتقال دانش تخصص دارند. این تحقیق در زمینه محاسبات و زبان (Computation and Language) طبقه‌بندی می‌شود.

چکیده مقاله به این صورت بیان می‌کند که انتقال دانش از یک دامنه به دامنه دیگر برای بسیاری از وظایف در پردازش زبان طبیعی از اهمیت عملی برخوردار است، به ویژه زمانی که مقدار داده‌های موجود در دامنه هدف محدود باشد. مقاله یک رویکرد جدید کم‌نمونه را برای تطبیق دامنه در زمینه تشخیص موجودیت‌های نام‌دار (NER) پیشنهاد می‌کند. این رویکرد شامل یک ماژول پایه متغیر و یک ماژول الگو است که از دانش موجود در مدل‌های زبانی پیش‌آموزش‌دیده با کمک الگوهای توصیفی ساده بهره می‌برد. رویکرد پیشنهادی ساده اما همه‌کاره است و می‌تواند در تنظیمات کم‌نمونه و بدون نمونه (Zero-shot) اعمال شود. ارزیابی این روش نشان می‌دهد که می‌تواند عملکرد مدل‌های پایه را به میزان 2 تا 5 درصد در معیار F1-score بهبود بخشد.

به طور خلاصه، این مقاله یک روش کارآمد و موثر برای حل مشکل کمبود داده در وظیفه NER ارائه می‌دهد. با استفاده از مدل‌های زبانی پیش‌آموزش‌دیده و الگوهای توصیفی، می‌توان عملکرد مدل‌های NER را در دامنه‌هایی که داده‌های برچسب‌گذاری شده کمی در دسترس است، بهبود بخشید.

روش پیشنهادی در این مقاله از دو جزء اصلی تشکیل شده است:

• ماژول پایه متغیر (Variable Base Module): این ماژول به عنوان یک مبنا برای تشخیص موجودیت‌های نام‌دار عمل می‌کند. این ماژول می‌تواند یک مدل NER استاندارد باشد که بر روی داده‌های موجود آموزش داده شده است.
• ماژول الگو (Template Module): این ماژول از دانش موجود در مدل‌های زبانی پیش‌آموزش‌دیده برای بهبود عملکرد ماژول پایه استفاده می‌کند. این کار با استفاده از الگوهای توصیفی ساده انجام می‌شود. به عنوان مثال، برای تشخیص اسم یک شخص، می‌توان از الگوی “آقای/خانم [MASK]” استفاده کرد. در این الگو، [MASK] با توکن‌های مختلف جایگزین می‌شود و مدل زبانی پیش‌آموزش‌دیده احتمال اینکه هر توکن یک اسم شخص باشد را تخمین می‌زند.

این دو ماژول به طور ترکیبی برای تشخیص موجودیت‌های نام‌دار استفاده می‌شوند. ماژول پایه، تشخیص اولیه را انجام می‌دهد و ماژول الگو، با استفاده از دانش مدل زبانی پیش‌آموزش‌دیده، نتایج را اصلاح و بهبود می‌بخشد.

مثال: فرض کنید می‌خواهیم موجودیت‌های نام‌دار را در جمله “علی به تهران سفر کرد” تشخیص دهیم. ماژول پایه ممکن است علی و تهران را به عنوان موجودیت‌های نام‌دار تشخیص دهد، اما ممکن است نوع آنها را به درستی تشخیص ندهد. ماژول الگو می‌تواند با استفاده از الگوهای توصیفی، نوع این موجودیت‌ها را مشخص کند. به عنوان مثال، با استفاده از الگوی “[MASK] به تهران سفر کرد”، مدل زبانی پیش‌آموزش‌دیده می‌تواند احتمال اینکه [MASK] یک اسم شخص باشد را تخمین بزند. به طور مشابه، با استفاده از الگوی “علی به [MASK] سفر کرد”، مدل می‌تواند احتمال اینکه [MASK] یک اسم مکان باشد را تخمین بزند.

نکته کلیدی این روش، استفاده از توکن [MASK] به عنوان یک جایگزین برای موجودیت‌های نام‌دار است. این کار به مدل زبانی پیش‌آموزش‌دیده امکان می‌دهد تا با استفاده از دانش خود، اطلاعات بیشتری در مورد نوع موجودیت‌های نام‌دار ارائه دهد.

نتایج آزمایش‌ها نشان می‌دهد که رویکرد پیشنهادی می‌تواند عملکرد مدل‌های پایه NER را به طور قابل توجهی بهبود بخشد، به ویژه در تنظیمات کم‌نمونه و بدون نمونه. این بهبود عملکرد به طور متوسط بین 2 تا 5 درصد در معیار F1-score بوده است. این بهبود عملکرد به این دلیل است که مدل‌های زبانی پیش‌آموزش‌دیده دارای دانش زیادی در مورد زبان هستند و می‌توانند از این دانش برای تکمیل اطلاعات موجود در داده‌های آموزشی محدود استفاده کنند.

علاوه بر این، نویسندگان نشان دادند که رویکرد پیشنهادی ساده و همه‌کاره است و می‌تواند به راحتی در دامنه‌های مختلف اعمال شود. این ویژگی، رویکرد پیشنهادی را به یک گزینه جذاب برای کاربردهایی تبدیل می‌کند که در آنها داده‌های برچسب‌گذاری شده کمی در دسترس است.

یکی دیگر از یافته‌های مهم این تحقیق این است که استفاده از الگوهای توصیفی مناسب می‌تواند به طور قابل توجهی بر عملکرد مدل تاثیر بگذارد. نویسندگان نشان دادند که انتخاب الگوهای مناسب، می‌تواند دقت تشخیص موجودیت‌های نام‌دار را بهبود بخشد.

این تحقیق دستاوردهای قابل توجهی در زمینه NER کم‌نمونه دارد و می‌تواند در کاربردهای مختلفی مورد استفاده قرار گیرد، از جمله:

• پردازش زبان طبیعی برای زبان‌های کم‌منبع: این روش می‌تواند برای توسعه مدل‌های NER برای زبان‌هایی که داده‌های برچسب‌گذاری شده کمی در دسترس است، استفاده شود.
• تطبیق دامنه در NER: این روش می‌تواند برای انتقال دانش از یک دامنه (مثلاً اخبار) به دامنه دیگر (مثلاً مقالات علمی) استفاده شود.
• توسعه ربات‌های گفتگو: این روش می‌تواند برای بهبود عملکرد ربات‌های گفتگو در تشخیص و درک موجودیت‌های نام‌دار استفاده شود.
• استخراج اطلاعات از متن: این روش می‌تواند برای استخراج اطلاعات دقیق‌تر و کامل‌تر از متن استفاده شود.

دستاورد اصلی این مقاله، ارائه یک روش نوین و کارآمد برای حل مشکل کمبود داده در وظیفه NER است. این روش با استفاده از مدل‌های زبانی پیش‌آموزش‌دیده و الگوهای توصیفی، امکان توسعه مدل‌های NER با عملکرد بالا را در شرایطی که داده‌های آموزشی محدودی در دسترس است، فراهم می‌کند.

مقاله “توکن به مثابه ماسک: تشخیص موجودیت‌های نام‌دار کم‌نمونه با مدل‌های زبانی پیش‌آموزش‌دیده” یک گام مهم در جهت حل مشکل کمبود داده در وظیفه NER است. رویکرد پیشنهادی با استفاده از مدل‌های زبانی پیش‌آموزش‌دیده و الگوهای توصیفی، امکان توسعه مدل‌های NER با عملکرد بالا را در شرایطی که داده‌های آموزشی محدودی در دسترس است، فراهم می‌کند. این تحقیق دارای کاربردهای گسترده‌ای در زمینه‌های مختلف پردازش زبان طبیعی است و می‌تواند به توسعه سیستم‌های هوشمندتر و کارآمدتر منجر شود.

در نهایت، این مقاله نشان می‌دهد که استفاده از دانش موجود در مدل‌های زبانی پیش‌آموزش‌دیده می‌تواند به طور قابل توجهی عملکرد مدل‌های NLP را در شرایطی که داده‌های آموزشی کمی در دسترس است، بهبود بخشد. این رویکرد می‌تواند در سایر وظایف NLP نیز مورد استفاده قرار گیرد و به توسعه سیستم‌های هوشمندتر و کارآمدتر کمک کند.