ترجمه فارسی مقاله mucAI در WojoodNER 2024: تشخیص موجودیت‌های اسمی عربی با جستجوی نزدیکترین همسایه

چکیده

Named Entity Recognition (NER) is a task in Natural Language Processing (NLP) that aims to identify and classify entities in text into predefined categories. However, when applied to Arabic data, NER encounters unique challenges stemming from the language’s rich morphological inflections, absence of capitalization cues, and spelling variants, where a single word can comprise multiple morphemes. In this paper, we introduce Arabic KNN-NER, our submission to the Wojood NER Shared Task 2024 (ArabicNLP 2024). We have participated in the shared sub-task 1 Flat NER. In this shared sub-task, we tackle fine-grained flat-entity recognition for Arabic text, where we identify a single main entity and possibly zero or multiple sub-entities for each word. Arabic KNN-NER augments the probability distribution of a fine-tuned model with another label probability distribution derived from performing a KNN search over the cached training data. Our submission achieved 91% on the test set on the WojoodFine dataset, placing Arabic KNN-NER on top of the leaderboard for the shared task.

چکیده به فارسی (ترجمه ماشینی)

نامگذاری شده موجودیت (NER) یک کار در پردازش زبان طبیعی (NLP) است که هدف آن شناسایی و طبقه بندی موجودات در متن در دسته های از پیش تعریف شده است.با این حال ، هنگامی که برای داده های عربی اعمال می شود ، NER با چالش های منحصر به فرد ناشی از تورم مورفولوژیکی غنی زبان ، عدم وجود نشانه های سرمایه گذاری و انواع املایی ، که در آن یک کلمه واحد می تواند چندین مورفیم باشد ، روبرو می شود.در این مقاله ، ما knn-ner عربی را معرفی می کنیم ، ارسال ما به وظیفه مشترک Wojood Ner 2024 (ArabicNLP 2024).ما در زیر وظیفه مشترک 1 Flat Ner شرکت کرده ایم.در این زیر وظیفه مشترک ، ما به رسمیت شناختن مسطح ریز دانه ریز برای متن عربی مقابله می کنیم ، جایی که یک موجود اصلی واحد و احتمالاً صفر یا چند ذات زیر را برای هر کلمه شناسایی می کنیم.Knn-inn عربی توزیع احتمال یک مدل تنظیم شده با یک توزیع احتمال برچسب دیگر حاصل از انجام جستجوی KNN بر روی داده های آموزش ذخیره شده را افزایش می دهد.ارسال ما 91 ٪ در مجموعه آزمایش در مجموعه داده های Wojoodfine به دست آورد و Knn-inn عربی را در بالای صفحه رهبری برای کار مشترک قرار داد.