در دنیای امروز که فناوری زبان طبیعی (NLP) به سرعت در حال پیشرفت است، وجود پیکره‌های زبانی (Corpora) غنی و برچسب‌گذاری شده برای هر زبانی از اهمیت حیاتی برخوردار است. این پیکره‌ها ستون فقرات تحقیقات و توسعه ابزارهای محاسباتی برای پردازش زبان هستند. مقاله “پیکره اَمهَری معاصر: پیکره اَمهَری دارای برچسب‌گذاری خودکارِ صرفی-نحوی” که توسط Andargachew Mekonnen Gezmu, Binyam Ephrem Seyoum, Michael Gasser و Andreas Nürnberger به رشته تحریر درآمده، گامی مهم و بنیادین در این راستا برای زبان اَمهَری (Amharic) محسوب می‌شود.

زبان اَمهَری، زبان رسمی کشور اتیوپی، با بیش از ۲۵ میلیون گویشور، یکی از زبان‌های سامی آفریقایی است که از نظر ساختار صرفی و نحوی دارای پیچیدگی‌های خاص خود است. با وجود تعداد قابل توجه گویشوران، این زبان در مقایسه با زبان‌هایی مانند انگلیسی، عربی یا چینی، به عنوان یک “زبان کم‌منابع” در حوزه پردازش زبان طبیعی طبقه‌بندی می‌شود. این کمبود منابع، به ویژه فقدان پیکره‌های بزرگ و برچسب‌گذاری شده، مانعی جدی بر سر راه پیشرفت تحقیقات و کاربردهای NLP برای اَمهَری بوده است.

اهمیت این مقاله در ایجاد یک منبع زبانی ارزشمند نهفته است که می‌تواند به عنوان پایه‌ای برای بسیاری از وظایف NLP آینده عمل کند. برچسب‌گذاری صرفی-نحوی به معنای تخصیص اطلاعات گرامری مانند نقش کلمه (Part-of-Speech)، زمان فعل، شمار، جنسیت، و حالت دستوری به هر کلمه در متن است. این اطلاعات برای الگوریتم‌های یادگیری ماشین ضروری هستند تا بتوانند ساختار و معنای جملات را درک کنند. بدون چنین پیکره‌ای، توسعه ابزارهایی مانند مترجم‌های ماشینی، سیستم‌های پاسخگویی به سوال، تحلیلگران احساسات، یا حتی غلط‌یاب‌های املایی برای اَمهَری با چالش‌های فراوانی مواجه خواهد شد. این پژوهش نه تنها یک منبع حیاتی را فراهم می‌آورد، بلکه راه را برای تحقیقات بیشتر در زمینه پیچیدگی‌های زبان اَمهَری و الگوریتم‌های پردازش آن هموار می‌سازد.

این مقاله حاصل تلاش مشترک چهار پژوهشگر برجسته است که هر یک سهمی در زمینه پردازش زبان طبیعی و زبان‌شناسی محاسباتی دارند:

• Andargachew Mekonnen Gezmu
• Binyam Ephrem Seyoum
• Michael Gasser
• Andreas Nürnberger

این تیم تحقیقاتی، با تخصص‌های مکمل در زمینه‌های زبان‌شناسی محاسباتی، پردازش زبان‌های سامی، و طراحی پیکره‌های زبانی، توانسته‌اند بر چالش‌های خاص زبان اَمهَری فائق آیند. زمینه اصلی تحقیق آن‌ها در گروه “محاسبات و زبان” (Computation and Language) قرار می‌گیرد که زیرشاخه‌ای از علوم کامپیوتر و هوش مصنوعی است و بر تعامل بین رایانه‌ها و زبان‌های انسانی تمرکز دارد. این حوزه به توسعه نظریه‌ها و مدل‌هایی می‌پردازد که امکان پردازش، تحلیل و تولید زبان طبیعی را توسط ماشین‌ها فراهم می‌آورند.

پژوهش در زمینه زبان‌های کم‌منابع، به ویژه زبان‌های آفریقایی، از اهمیت فزاینده‌ای برخوردار است. بسیاری از این زبان‌ها دارای ویژگی‌های صرفی و نحوی منحصر به فردی هستند که نیازمند رویکردهای تخصصی در NLP هستند. زبان اَمهَری به دلیل ساختار صرفی غیرترکیبی (non-concatenative morphology) خود که در آن ریشه‌های سه حرفی با الگوهای آوایی ترکیب می‌شوند و پیشوندها و پسوندهای متعددی به آن‌ها اضافه می‌گردد، چالش‌های خاصی را برای تجزیه و تحلیل ماشینی ایجاد می‌کند. این پروژه نشان‌دهنده تعهد پژوهشگران به پر کردن شکاف منابع برای چنین زبان‌هایی و تسهیل دسترسی به فناوری‌های زبانی برای جوامع محلی است.

مقاله “پیکره اَمهَری معاصر” با هدف اصلی معرفی و توصیف یک پیکره زبانی جدید و بزرگ برای زبان اَمهَری به نگارش درآمده است. این پیکره دارای ویژگی مهم برچسب‌گذاری خودکارِ صرفی-نحوی است که آن را به ابزاری قدرتمند برای پژوهشگران و توسعه‌دهندگان تبدیل می‌کند.

خلاصه محتوای کلیدی مقاله به شرح زیر است:

• معرفی پیکره: پژوهشگران یک پیکره جامع برای زبان اَمهَری ایجاد کرده‌اند که آن را “پیکره اَمهَری معاصر” نامیده‌اند. این پیکره برای اولین بار به صورت خودکار با اطلاعات صرفی-نحوی برچسب‌گذاری شده است.

• مقیاس و دامنه: این پیکره از جمع‌آوری متون از ۲۵,۱۹۹ سند مختلف تشکیل شده است. این اسناد از دامنه‌ها و منابع گوناگونی گردآوری شده‌اند، که تنوع زبانی بالایی را در پیکره تضمین می‌کند و از جانب‌داری زبانی خاص جلوگیری می‌نماید. دامنه‌ها می‌توانند شامل اخبار، مقالات علمی، متون ادبی، وبلاگ‌ها و محتوای شبکه‌های اجتماعی باشند.

• حجم پیکره: پس از فرآیند توکنیزاسیون (جداسازی کلمات از یکدیگر)، پیکره نهایی حاوی تقریباً ۲۴ میلیون کلمه املایی است. این حجم، پیکره اَمهَری معاصر را به یکی از بزرگترین منابع زبانی موجود برای این زبان تبدیل می‌کند.

• تصحیح خطای املایی: از آنجا که بخش قابل توجهی از متون از وب جمع‌آوری شده‌اند (Web Corpus)، که اغلب شامل خطاهای املایی و نگارشی هستند، پژوهشگران از روش‌های خودکار برای تصحیح خطاهای املایی استفاده کرده‌اند. این مرحله برای اطمینان از کیفیت داده‌ها و دقت برچسب‌گذاری ضروری است.

• تطبیق و اصلاح تحلیلگر صرفی: برای انجام برچسب‌گذاری صرفی-نحوی خودکار، آن‌ها یک تحلیلگر صرفی موجود به نام HornMorpho را مورد بازبینی و اصلاح قرار داده‌اند. HornMorpho ابزاری شناخته شده برای تحلیل صرفی زبان‌های سامی است، اما برای مطابقت با نیازهای خاص این پروژه و بهبود دقت آن در زمینه اَمهَری معاصر، تغییراتی در آن اعمال شده است.

این پژوهش به وضوح نشان می‌دهد که حتی برای زبان‌هایی با پیچیدگی‌های خاص و منابع محدود، می‌توان با رویکردهای نوآورانه و مهندسی دقیق، ابزارهای پردازش زبان طبیعی ارزشمندی را توسعه داد.

روش‌شناسی به کار گرفته شده در این پژوهش، یک رویکرد سیستماتیک و چند مرحله‌ای را برای ساخت پیکره اَمهَری با برچسب‌گذاری صرفی-نحوی خودکار شامل می‌شود. مراحل اصلی عبارتند از:

1. جمع‌آوری داده‌ها: متون از ۲۵,۱۹۹ سند مختلف جمع‌آوری شدند. این اسناد شامل منابع متنوعی از دامنه‌های مختلف بودند تا تنوع زبانی و پوشش موضوعی گسترده‌ای را تضمین کنند. این دامنه‌ها می‌توانند شامل متون خبری، صفحات وب، اسناد دولتی، مقالات و غیره باشند. انتخاب منابع متنوع به این دلیل اهمیت دارد که زبان مورد استفاده در دامنه‌های مختلف تفاوت‌های قابل توجهی دارد (مثلاً زبان رسمی در اسناد دولتی در مقایسه با زبان محاوره در وبلاگ‌ها).

2. پیش‌پردازش و توکنیزاسیون: پس از جمع‌آوری، متون خام نیازمند پیش‌پردازش بودند. این مرحله شامل تمیز کردن داده‌ها از نویز (مانند کدهای HTML یا کاراکترهای نامربوط) و سپس توکنیزاسیون بود. توکنیزاسیون فرآیند شکستن متن پیوسته به واحدهای کوچک‌تر و معنی‌دار به نام “توکن” (معمولاً کلمات) است. این گام برای هر فرآیند NLP ضروری است.

3. تصحیح خطای املایی خودکار: از آنجا که بخش قابل توجهی از داده‌ها از وب جمع‌آوری شده بود، بروز خطاهای املایی اجتناب‌ناپذیر بود. پژوهشگران برای افزایش کیفیت داده‌ها و دقت برچسب‌گذاری، یک سیستم تصحیح خطای املایی خودکار را پیاده‌سازی کردند. این سیستم احتمالاً با استفاده از لغت‌نامه‌های اَمهَری و مدل‌های زبانی برای شناسایی و پیشنهاد اصلاحات برای کلمات با املای اشتباه عمل کرده است. این گام حیاتی است زیرا خطاهای املایی می‌توانند به طور قابل توجهی بر عملکرد تحلیلگران صرفی و نحوی تأثیر بگذارند.

4. تطبیق و اصلاح تحلیلگر صرفی HornMorpho: هسته اصلی برچسب‌گذاری صرفی-نحوی خودکار، تحلیلگر صرفی HornMorpho بود. HornMorpho یک تحلیلگر صرفی شناخته شده برای زبان‌های سامی، از جمله اَمهَری، است که قادر به تجزیه کلمات به ریشه و وندهای آن‌ها و استخراج ویژگی‌های صرفی (مانند Part-of-Speech، زمان، وجه، شخص، جنسیت، شمار) است. با این حال، برای انطباق با حجم و ماهیت داده‌های پیکره اَمهَری معاصر و همچنین بهبود دقت، پژوهشگران نیاز به اعمال اصلاحاتی در HornMorpho داشتند. این اصلاحات ممکن است شامل:

   • به‌روزرسانی فرهنگ لغت: افزودن کلمات جدید، اصطلاحات معاصر و نام‌های خاص که ممکن است در نسخه اصلی HornMorpho موجود نباشند.
   • اصلاح قوانین صرفی: بهینه‌سازی یا افزودن قوانین جدید برای رسیدگی به موارد خاص صرفی یا ابهامات که در داده‌های واقعی و معاصر اَمهَری مشاهده شده‌اند.
   • بهبود الگوریتم‌های ابهام‌زدایی: در بسیاری از موارد، یک کلمه می‌تواند چندین تحلیل صرفی ممکن داشته باشد. نیاز به مکانیسم‌هایی برای انتخاب صحیح‌ترین تحلیل بر اساس بافت جمله ( disambiguation) وجود دارد. این ممکن است شامل استفاده از مدل‌های زبانی آماری یا قوانین مبتنی بر دانش باشد.

5. برچسب‌گذاری خودکار: پس از آماده‌سازی داده‌ها و اصلاح HornMorpho، فرآیند برچسب‌گذاری صرفی-نحوی به صورت خودکار بر روی کل ۲۴ میلیون کلمه پیکره انجام شد. این فرآیند منجر به ایجاد یک پیکره عظیم از متون اَمهَری شد که هر کلمه در آن دارای برچسب‌های صرفی-نحوی دقیق است.

این رویکرد ترکیبی از جمع‌آوری داده‌های گسترده، پیش‌پردازش دقیق و تطبیق ابزارهای موجود برای رسیدگی به ویژگی‌های خاص زبان، نمونه‌ای عالی از مهندسی زبان در حوزه NLP است.

پژوهشگران در این مقاله به دستاوردهای مهمی دست یافته‌اند که می‌تواند تأثیر شگرفی بر توسعه فناوری زبان اَمهَری داشته باشد. یافته‌های کلیدی این تحقیق عبارتند از:

• ایجاد بزرگترین پیکره اَمهَری برچسب‌گذاری شده: مهمترین دستاورد، گردآوری و ایجاد پیکره اَمهَری معاصر است. این پیکره با حجم ۲۴ میلیون کلمه و از طریق ۲۵,۱۹۹ سند متنوع جمع‌آوری شده، بزرگترین منبع زبانی اَمهَری است که تاکنون به صورت خودکار با اطلاعات صرفی-نحوی برچسب‌گذاری شده است. این مقیاس بزرگ، اعتبار و جامعیت پیکره را برای کاربردهای مختلف تضمین می‌کند.

• موفقیت در برچسب‌گذاری خودکار صرفی-نحوی: پژوهش نشان داد که با وجود پیچیدگی‌های زبان اَمهَری و کمبود منابع اولیه، می‌توان با تطبیق ابزارهای موجود (مانند HornMorpho) و مهندسی دقیق، به برچسب‌گذاری خودکار با دقت قابل قبولی دست یافت. این امر، امکان تولید منابع زبانی برای زبان‌های کم‌منابع را به شیوه‌ای کارآمد و مقرون به صرفه اثبات می‌کند.

• اثبات کارایی تصحیح خطای املایی خودکار: مواجهه با داده‌های وب که اغلب حاوی خطاهای املایی هستند، یک چالش بزرگ در ساخت پیکره است. توانایی پژوهشگران در پیاده‌سازی سیستم تصحیح خطای املایی خودکار که به بهبود کیفیت کلی پیکره کمک کرده، یک یافته مهم است. این نشان می‌دهد که داده‌های “نویزدار” وب نیز می‌توانند پس از پردازش مناسب، به منابع ارزشمندی تبدیل شوند.

• بهبود و گسترش HornMorpho: اصلاحات انجام شده بر روی تحلیلگر صرفی HornMorpho، نه تنها به نفع این پروژه بوده، بلکه پتانسیل HornMorpho را برای تحلیل بهتر زبان اَمهَری افزایش داده است. این تغییرات می‌توانند به عنوان ورودی برای نسخه‌های آینده این ابزار یا ابزارهای مشابه در نظر گرفته شوند و دقت تحلیل صرفی را به طور کلی برای این زبان بهبود بخشند.

• تنوع دامنه و پوشش زبانی: جمع‌آوری متون از دامنه‌های مختلف (وب، اسناد رسمی، اخبار و غیره) تضمین می‌کند که پیکره تنوع بالایی از سبک‌ها و گویش‌های زبانی را پوشش می‌دهد. این ویژگی به آن اجازه می‌دهد تا برای آموزش مدل‌های NLP که نیاز به تعمیم‌پذیری بالا دارند، بسیار مفید باشد. این یافته بر اهمیت تنوع داده‌ها در ساخت پیکره تأکید می‌کند.

• تسهیل پژوهش‌های آینده: با فراهم آوردن این پیکره برچسب‌گذاری شده، پژوهشگران اَمهَری دیگر نیازی به شروع از صفر برای بسیاری از پروژه‌های NLP نخواهند داشت. این پیکره به عنوان یک منبع بنیادی، زمان و تلاش مورد نیاز برای تحقیقات بعدی در زمینه پردازش زبان طبیعی اَمهَری را به شدت کاهش می‌دهد و راه را برای پیشرفت‌های سریع‌تر هموار می‌سازد.

در مجموع، یافته‌های این مقاله نه تنها یک منبع زبانی ارزشمند را ارائه می‌کنند، بلکه به عنوان یک مدل عملی برای توسعه منابع مشابه برای سایر زبان‌های کم‌منابع عمل می‌نمایند.

پیکره اَمهَری معاصر با برچسب‌گذاری صرفی-نحوی، فراتر از یک مجموعه داده صرف، یک زیرساخت حیاتی است که درها را به روی طیف وسیعی از کاربردها و دستاوردهای فناورانه برای زبان اَمهَری باز می‌کند:

• توسعه سیستم‌های ترجمه ماشینی: اطلاعات صرفی-نحوی برای سیستم‌های ترجمه ماشینی آماری و عصبی (Statistical and Neural Machine Translation) بسیار حیاتی است. این پیکره می‌تواند برای آموزش مدل‌هایی استفاده شود که قادر به درک ساختار دقیق جملات اَمهَری و ترجمه دقیق‌تر آن‌ها به زبان‌های دیگر یا بالعکس هستند. به عنوان مثال، یک ترجمه‌گر می‌تواند با کمک این برچسب‌ها، تفاوت بین نقش‌های فاعلی و مفعولی را در جملات تشخیص دهد.

• شناسایی موجودیت‌های نام‌گذاری شده (Named Entity Recognition – NER): با داشتن برچسب‌های Part-of-Speech و اطلاعات صرفی، سیستم‌های NER می‌توانند اسامی اشخاص، مکان‌ها، سازمان‌ها و تاریخ‌ها را با دقت بیشتری در متون اَمهَری شناسایی کنند. این کاربرد در تحلیل اخبار، استخراج اطلاعات و سیستم‌های پرسش و پاسخ بسیار مهم است.

• پیکره‌ای برای تحقیق و توسعه زبان‌شناسی محاسباتی: این پیکره یک آزمایشگاه ارزشمند برای زبان‌شناسان محاسباتی است تا بتوانند مدل‌های جدیدی برای تحلیل صرفی، نحوی و معنایی زبان اَمهَری توسعه دهند. همچنین می‌تواند به مطالعه عمیق‌تر پدیده‌های زبانی خاص اَمهَری کمک کند.

• بهبود سیستم‌های تشخیص گفتار و سنتز گفتار: برای تبدیل گفتار به متن (Speech-to-Text) و برعکس (Text-to-Speech)، درک ساختار زبان از طریق اطلاعات صرفی-نحوی می‌تواند به بهبود دقت مدل‌های آوایی و تلفظ کمک کند.

• ابزارهای آموزشی و غلط‌یاب‌های پیشرفته: این پیکره می‌تواند زیربنای ساخت ابزارهای آموزشی پیشرفته برای یادگیرندگان زبان اَمهَری باشد که بازخورد گرامری دقیقی ارائه می‌دهند. همچنین می‌تواند به توسعه غلط‌یاب‌های املایی و گرامری هوشمندتر منجر شود که فراتر از تشخیص کلمات نادرست، ساختارهای گرامری نادرست را نیز تصحیح کنند.

• تحلیل احساسات و خلاصه‌سازی خودکار: درک نقش کلمات و روابط آن‌ها به سیستم‌های تحلیل احساسات کمک می‌کند تا لحن (مثبت، منفی، خنثی) متون را با دقت بیشتری تشخیص دهند. همچنین در فرآیندهای خلاصه‌سازی خودکار، شناسایی جملات کلیدی و روابط آن‌ها برای ایجاد خلاصه‌های منسجم‌تر ضروری است.

• فرهنگ‌نویسی و لغت‌نامه‌های رایانه‌ای: این پیکره می‌تواند به عنوان منبعی برای جمع‌آوری مثال‌های کاربردی، بررسی بسامد کلمات و شناسایی اصطلاحات جدید برای به‌روزرسانی یا ایجاد فرهنگ لغت‌های اَمهَری مورد استفاده قرار گیرد.

• مدل و الگویی برای سایر زبان‌های کم‌منابع: موفقیت این پروژه می‌تواند به عنوان یک الگو و راهنما برای پژوهشگرانی باشد که در حال کار بر روی سایر زبان‌های کم‌منابع، به ویژه زبان‌هایی با صرف پیچیده، هستند. این نشان می‌دهد که با وجود چالش‌ها، امکان ایجاد منابع ارزشمند با استفاده از روش‌های خودکار وجود دارد.

در نهایت، این پیکره نه تنها به پیشرفت‌های فناورانه کمک می‌کند، بلکه با مستندسازی و غنی‌سازی دیجیتالی زبان اَمهَری، به حفظ و ارتقاء آن در عصر دیجیتال یاری می‌رساند.

پروژه “پیکره اَمهَری معاصر: پیکره اَمهَری دارای برچسب‌گذاری خودکارِ صرفی-نحوی” یک دستاورد قابل توجه در حوزه پردازش زبان طبیعی و زبان‌شناسی محاسباتی است. این مقاله با موفقیت یک پیکره عظیم و برچسب‌گذاری شده برای زبان اَمهَری را معرفی می‌کند که نه تنها از نظر حجم (۲۴ میلیون کلمه از ۲۵,۱۹۹ سند) چشمگیر است، بلکه به لطف فرآیندهای دقیق پیش‌پردازش، تصحیح خطای املایی خودکار، و تطبیق هوشمندانه تحلیلگر صرفی HornMorpho، از کیفیت بالایی نیز برخوردار است.

اهمیت این پیکره در این است که شکاف بزرگی در منابع زبانی برای یکی از مهم‌ترین زبان‌های آفریقایی را پر می‌کند. زبان اَمهَری، با وجود پیچیدگی‌های صرفی و تعداد زیاد گویشوران، تا پیش از این از کمبود شدید منابع محاسباتی رنج می‌برد. اکنون، با در دسترس بودن این پیکره، مسیر برای توسعه طیف وسیعی از فناوری‌های زبان طبیعی هموار شده است؛ از سیستم‌های ترجمه ماشینی پیشرفته و ابزارهای استخراج اطلاعات گرفته تا غلط‌یاب‌های گرامری هوشمند و سیستم‌های تشخیص گفتار.

این پژوهش همچنین مثالی بارز از چگونگی استفاده خلاقانه از ابزارهای موجود و ترکیب آن با روش‌های جمع‌آوری داده‌های گسترده برای غلبه بر چالش‌های مربوط به زبان‌های کم‌منابع است. رویکرد خودکارسازی برچسب‌گذاری، امکان تولید این منبع عظیم را در مقایسه با برچسب‌گذاری دستی که زمان‌بر و پرهزینه است، به طور چشمگیری افزایش داده است.

در آینده، می‌توان انتظار داشت که این پیکره به عنوان پایه و اساسی مستحکم برای تحقیقات آتی در زمینه‌های مختلف NLP اَمهَری عمل کند. پژوهش‌های آتی می‌تواند بر اعتبارسنجی دستی بخش‌هایی از پیکره برای ارزیابی دقیق‌تر دقت برچسب‌گذاری خودکار، گسترش حجم پیکره با داده‌های جدیدتر و دامنه‌های بیشتر، و همچنین استفاده از آن در توسعه مدل‌های یادگیری عمیق پیشرفته برای وظایف پیچیده‌تر زبان اَمهَری تمرکز کند. در نهایت، این پروژه نه تنها به جامعه پژوهشی اتیوپی، بلکه به جامعه جهانی زبان‌شناسی محاسباتی، منبعی ارزشمند را ارائه می‌دهد و به حفظ و توسعه دیجیتالی فرهنگ و زبان اَمهَری کمک شایانی می‌کند.