در عصر حاضر، مدل‌های زبانی بزرگ (LLMs) به عنوان ابزارهایی قدرتمند در زمینه‌های مختلف پردازش زبان طبیعی (NLP) ظاهر شده‌اند. این مدل‌ها، به ویژه ChatGPT، قابلیت‌های چشمگیری در استدلال، درک زبان، و تولید متن از خود نشان داده‌اند. یکی از زمینه‌های مهم NLP، شناسایی موجودیت‌های اسمی (Named Entity Recognition یا NER) است که به شناسایی و دسته‌بندی موجودیت‌های اسمی مانند نام افراد، سازمان‌ها، مکان‌ها و تاریخ‌ها در متن می‌پردازد.

مقاله حاضر با عنوان “مطالعه تجربی شناسایی موجودیت‌های اسمی بدون آموزش قبلی با استفاده از ChatGPT” به بررسی عملکرد این مدل‌ها در انجام وظیفه NER بدون نیاز به آموزش قبلی (Zero-Shot NER) می‌پردازد. اهمیت این تحقیق در این است که روش‌های سنتی NER نیازمند مجموعه‌های داده‌ی بزرگ و برچسب‌گذاری شده هستند که جمع‌آوری و آماده‌سازی آن‌ها زمان‌بر و پرهزینه است. استفاده از مدل‌های زبانی بزرگ برای Zero-Shot NER، امکان شناسایی موجودیت‌های اسمی در حوزه‌ها و زبان‌های مختلف را بدون نیاز به داده‌های آموزشی خاص فراهم می‌کند و در نتیجه، هزینه‌ها و زمان مورد نیاز را به طور چشمگیری کاهش می‌دهد.

این مقاله توسط Tingyu Xie, Qi Li, Jian Zhang, Yan Zhang, Zuozhu Liu, و Hongwei Wang به رشته تحریر درآمده است. این محققان در زمینه پردازش زبان طبیعی و به طور خاص در زمینه مدل‌های زبانی بزرگ و استخراج اطلاعات تخصص دارند. تحقیقات قبلی آن‌ها بر روی بهبود عملکرد LLMها در وظایف مختلف NLP، از جمله استدلال نمادین و حسابی، متمرکز بوده است. این مقاله نیز در راستای همین تحقیقات و با هدف ارزیابی و بهبود عملکرد ChatGPT در Zero-Shot NER انجام شده است.

زمینه اصلی این تحقیق محاسبات و زبان است. این تحقیق تلاش دارد تا با استفاده از روش‌های نوین پردازش زبان طبیعی، به درک و استخراج اطلاعات از متون پرداخته و کاربردهای عملی آن را در زمینه‌های مختلف بررسی کند.

مقاله “مطالعه تجربی شناسایی موجودیت‌های اسمی بدون آموزش قبلی با استفاده از ChatGPT” به بررسی و ارزیابی عملکرد ChatGPT در انجام وظیفه NER بدون نیاز به آموزش قبلی می‌پردازد. نویسندگان با الهام از توانایی استدلال قوی LLMها در زمینه‌های نمادین و حسابی، روش‌های استدلال را برای NER تطبیق داده و استراتژی‌های استدلال خاصی را برای این وظیفه پیشنهاد می‌کنند.

روش پیشنهادی شامل سه رویکرد اصلی است:

• رویکرد پرسش و پاسخ تجزیه‌شده: در این رویکرد، وظیفه NER به زیرمسائل ساده‌تری بر اساس برچسب‌ها تقسیم می‌شود. به عنوان مثال، به جای اینکه مستقیماً از مدل بخواهیم تمام موجودیت‌های اسمی را شناسایی کند، ابتدا از آن می‌پرسیم که آیا موجودیت “نام شخص” در متن وجود دارد یا خیر و در صورت وجود، نام آن چیست.
• تقویت نحوی: این رویکرد به منظور تحریک تفکر میانی مدل در دو جهت به کار می‌رود: اعلان نحوی، که مدل را تشویق می‌کند تا ساختار نحوی متن را تجزیه و تحلیل کند، و تقویت ابزاری، که اطلاعات نحوی تولید شده توسط یک ابزار تجزیه‌کننده را در اختیار مدل قرار می‌دهد.
• خودسازگاری: در این رویکرد، از مدل چندین بار درخواست می‌شود تا NER را انجام دهد و سپس از یک استراتژی رأی‌گیری دو مرحله‌ای برای انتخاب سازگارترین موجودیت‌ها و نوع آن‌ها استفاده می‌شود.

نتایج این تحقیق نشان می‌دهد که روش‌های پیشنهادی بهبود چشمگیری در عملکرد Zero-Shot NER در هفت مجموعه داده محک (benchmark) مختلف، از جمله مجموعه‌های داده چینی و انگلیسی، و در هر دو سناریوی خاص دامنه و عمومی، به دست می‌آورند. علاوه بر این، نویسندگان تجزیه و تحلیل جامعی از انواع خطاها ارائه می‌دهند و پیشنهادهایی برای بهبود عملکرد مدل ارائه می‌کنند. آن‌ها همچنین اثربخشی روش‌های پیشنهادی را در محیط‌های Few-Shot (با تعداد کمی داده آموزشی) و با استفاده از LLMهای دیگر تأیید می‌کنند.

روش‌شناسی این تحقیق شامل چندین مرحله کلیدی است:

1. انتخاب مجموعه‌های داده محک: نویسندگان هفت مجموعه داده محک مختلف را برای ارزیابی عملکرد مدل انتخاب کردند. این مجموعه‌های داده شامل مجموعه‌های داده انگلیسی و چینی، و مجموعه‌های داده خاص دامنه (مانند پزشکی) و عمومی (مانند اخبار) می‌شوند.
2. پیاده‌سازی روش‌های پیشنهادی: نویسندگان روش‌های پرسش و پاسخ تجزیه‌شده، تقویت نحوی، و خودسازگاری را در ChatGPT پیاده‌سازی کردند. برای تقویت نحوی، آن‌ها از ابزارهای تجزیه‌گر نحوی موجود برای تولید اطلاعات نحوی استفاده کردند.
3. ارزیابی عملکرد مدل: نویسندگان عملکرد ChatGPT را با و بدون استفاده از روش‌های پیشنهادی در مجموعه‌های داده محک ارزیابی کردند. آن‌ها از معیارهای ارزیابی استاندارد NER مانند دقت (Precision)، فراخوانی (Recall)، و امتیاز F1 برای اندازه‌گیری عملکرد استفاده کردند.
4. تجزیه و تحلیل خطا: نویسندگان انواع خطاهای مرتکب شده توسط مدل را تجزیه و تحلیل کردند تا نقاط ضعف و زمینه‌های بهبود را شناسایی کنند.
5. ارزیابی در محیط‌های Few-Shot: نویسندگان عملکرد روش‌های پیشنهادی را در محیط‌های Few-Shot (با استفاده از تعداد کمی داده آموزشی) ارزیابی کردند.
6. ارزیابی با استفاده از LLMهای دیگر: نویسندگان اثربخشی روش‌های پیشنهادی را با استفاده از LLMهای دیگر نیز بررسی کردند.

به عنوان مثال، برای پیاده‌سازی رویکرد پرسش و پاسخ تجزیه‌شده، نویسندگان از الگوهای پرسشی مختلفی برای استخراج موجودیت‌های اسمی استفاده کردند. فرض کنید متن زیر را داریم: “علی در تهران زندگی می‌کند.” به جای اینکه مستقیماً از مدل بپرسیم “موجودیت‌های اسمی این جمله را استخراج کن”، می‌توانیم سوالات زیر را مطرح کنیم:

• “آیا نام شخص در این جمله وجود دارد؟ اگر بله، نام آن چیست؟” (پاسخ: بله، علی)
• “آیا نام مکان در این جمله وجود دارد؟ اگر بله، نام آن چیست؟” (پاسخ: بله، تهران)

این روش، وظیفه NER را به سوالات ساده‌تری تقسیم می‌کند که LLMها در پاسخگویی به آن‌ها عملکرد بهتری دارند.

یافته‌های کلیدی این تحقیق عبارتند از:

• روش‌های پیشنهادی (پرسش و پاسخ تجزیه‌شده، تقویت نحوی، و خودسازگاری) بهبود چشمگیری در عملکرد Zero-Shot NER در مقایسه با روش‌های پایه ایجاد می‌کنند.
• تقویت نحوی، به ویژه استفاده از اطلاعات نحوی تولید شده توسط ابزارهای تجزیه‌گر، به بهبود عملکرد مدل کمک می‌کند.
• استراتژی خودسازگاری دو مرحله‌ای، با رأی‌گیری برای سازگارترین موجودیت‌ها و نوع آن‌ها، عملکرد مدل را به طور قابل توجهی افزایش می‌دهد.
• روش‌های پیشنهادی در مجموعه‌های داده چینی و انگلیسی و در هر دو سناریوی خاص دامنه و عمومی مؤثر هستند.
• تجزیه و تحلیل خطا نشان می‌دهد که مدل در شناسایی موجودیت‌های اسمی پیچیده و مبهم با مشکل مواجه است.
• روش‌های پیشنهادی در محیط‌های Few-Shot نیز عملکرد خوبی دارند.
• اثربخشی روش‌های پیشنهادی با استفاده از LLMهای دیگر نیز تأیید شده است.

به عنوان مثال، نتایج نشان داد که استفاده از رویکرد پرسش و پاسخ تجزیه‌شده، دقت NER را در مجموعه داده‌های خبری به طور متوسط ​​15 درصد افزایش می‌دهد. همچنین، ترکیب رویکرد خودسازگاری با تقویت نحوی، بهترین نتایج را در بیشتر مجموعه‌های داده ارائه داد.

این تحقیق دارای کاربردهای بالقوه متعددی است:

• بهبود عملکرد سیستم‌های NER در حوزه‌های جدید: روش‌های پیشنهادی می‌توانند برای بهبود عملکرد سیستم‌های NER در حوزه‌هایی که داده‌های آموزشی کافی در دسترس نیست، استفاده شوند.
• کاهش هزینه و زمان مورد نیاز برای توسعه سیستم‌های NER: استفاده از Zero-Shot NER می‌تواند هزینه و زمان مورد نیاز برای جمع‌آوری و برچسب‌گذاری داده‌های آموزشی را کاهش دهد.
• بهبود استخراج اطلاعات از متن: شناسایی دقیق موجودیت‌های اسمی می‌تواند به بهبود استخراج اطلاعات از متن و ایجاد دانش کمک کند.
• توسعه سیستم‌های جستجوی معنایی: شناسایی موجودیت‌های اسمی می‌تواند به توسعه سیستم‌های جستجوی معنایی کمک کند که قادر به درک بهتر معنای پرسش‌های کاربران هستند.

دستاورد اصلی این تحقیق، ارائه روش‌های جدید و مؤثر برای بهبود عملکرد Zero-Shot NER با استفاده از LLMها است. این روش‌ها می‌توانند به توسعه سیستم‌های NER کارآمدتر و مقرون به صرفه‌تر کمک کنند و امکان استخراج اطلاعات از متن در حوزه‌های مختلف را فراهم آورند.

مقاله “مطالعه تجربی شناسایی موجودیت‌های اسمی بدون آموزش قبلی با استفاده از ChatGPT” نشان می‌دهد که LLMها پتانسیل بالایی برای انجام وظیفه NER بدون نیاز به آموزش قبلی دارند. روش‌های پیشنهادی در این مقاله، بهبود چشمگیری در عملکرد Zero-Shot NER ایجاد می‌کنند و می‌توانند به توسعه سیستم‌های NER کارآمدتر و مقرون به صرفه‌تر کمک کنند. این تحقیق گامی مهم در جهت استفاده از LLMها برای استخراج اطلاعات از متن و ایجاد دانش است. با این حال، نویسندگان نیز اشاره می‌کنند که همچنان چالش‌هایی در زمینه شناسایی موجودیت‌های اسمی پیچیده و مبهم وجود دارد و تحقیقات بیشتری برای بهبود عملکرد مدل در این زمینه‌ها مورد نیاز است.

به طور کلی، این مقاله سهم قابل توجهی در زمینه پردازش زبان طبیعی و استفاده از مدل‌های زبانی بزرگ برای استخراج اطلاعات دارد و می‌تواند به عنوان مبنایی برای تحقیقات آینده در این زمینه مورد استفاده قرار گیرد.