در سال‌های اخیر، حوزه پردازش زبان طبیعی (NLP) با ظهور معماری‌های یادگیری عمیق مبتنی بر مکانیزم توجه (Attention Mechanism)، شاهد پیشرفت‌های چشمگیری بوده است. این مدل‌ها، به‌ویژه در زبان انگلیسی، به نتایج خارق‌العاده‌ای در وظایف مختلفی مانند ترجمه ماشینی، خلاصه‌سازی متن و تحلیل احساسات دست یافته‌اند. با این حال، این پیشرفت‌ها به طور نامتناسبی بر زبان‌های پرمنبع متمرکز بوده و زبان‌های بومی که از منابع داده‌ای و تحقیقاتی کمتری برخوردارند، کمتر مورد توجه قرار گرفته‌اند.

زبان‌های هندی، از جمله زبان مراتی (Marathi) که مبتنی بر خط دیواناگری است، نمونه‌ای بارز از زبان‌های غنی از نظر صرفی (Morphologically Rich) و در عین حال کم‌منبع (Low-Resource) هستند. پیچیدگی‌های ساختاری این زبان‌ها چالش‌های منحصربه‌فردی را برای مدل‌های استاندارد NLP ایجاد می‌کند. مقاله «رویکرد آنسامبل توجهی برای طبقه‌بندی کارآمد متن زبان‌های هندی» به طور مستقیم به این خلاء تحقیقاتی می‌پردازد. اهمیت این پژوهش در ارائه یک راهکار عملی و کارآمد برای طبقه‌بندی متون کوتاه در زبان مراتی است که نه تنها در یک رقابت علمی معتبر به مقام اول دست یافته، بلکه مسیری روشن برای توسعه ابزارهای مشابه در سایر زبان‌های هندی و زبان‌های کم‌منبع دیگر فراهم می‌کند.

این مقاله حاصل تلاش تیم SPPU_AKAH متشکل از آتاروا کولکارنی، آمی هنگله و روتوجا اودیاوار است. این پژوهش در چارچوب یک وظیفه اشتراکی (Shared Task) با عنوان TechDOfication 2020 ارائه شده است. وظیفه مشخص شده برای این تیم، زیرمجموعه 1f بود که بر «شناسایی دامنه فنی درشت‌دانه متون کوتاه» در زبان مراتی تمرکز داشت.

شرکت در چنین رقابت‌هایی به معنای آن است که مدل پیشنهادی نه تنها باید از نظر تئوری قوی باشد، بلکه باید در عمل و بر روی یک مجموعه داده استاندارد و در مقایسه با راهکارهای دیگر تیم‌ها از سراسر جهان، برتری خود را به اثبات برساند. موفقیت این تیم در کسب بهترین نتیجه در این رقابت، اعتبار و اهمیت یافته‌های آن‌ها را دوچندان می‌کند و نشان‌دهنده کارایی بالای مدل پیشنهادی در یک سناریوی واقعی است.

این مقاله یک مدل ترکیبی (Hybrid) جدید برای طبقه‌بندی متون کوتاه به زبان مراتی ارائه می‌دهد. نویسندگان با بهره‌گیری از مجموعه داده بزرگی که برای این رقابت فراهم شده بود، یک مدل آنسامبل توجهی CNN-BiLSTM را پیشنهاد می‌کنند. ایده اصلی این مدل، ترکیب هوشمندانه قابلیت‌های دو معماری قدرتمند یادگیری عمیق است:

• شبکه عصبی پیچشی (CNN): برای استخراج ویژگی‌های محلی و الگوهای کلمات کلیدی در متن.
• حافظه طولانی کوتاه‌مدت دوطرفه (BiLSTM): برای درک وابستگی‌های بلندمدت و زمینه کلی جملات.

این مدل با استفاده از مکانیزم توجه، نمایش‌های میانی تولید شده توسط هر دو بخش CNN و BiLSTM را به طور موثر با یکدیگر ترکیب می‌کند. این رویکرد آنسامبل (Ensemble) منجر به یک نمایش غنی و جامع از متن می‌شود که هم ویژگی‌های محلی و هم وابستگی‌های متنی را در بر می‌گیرد. نتایج آزمایش‌ها نشان می‌دهد که این مدل پیشنهادی نه تنها از مدل‌های پایه یادگیری ماشین و یادگیری عمیق عملکرد بهتری دارد، بلکه توانسته است با کسب بالاترین امتیاز در میان تمام سیستم‌های ارسالی، برنده این چالش علمی شود.

معماری پیشنهادی در این مقاله، یک راهکار چندلایه و هوشمندانه برای مواجهه با چالش طبقه‌بندی متن در یک زبان پیچیده مانند مراتی است. در ادامه، اجزای کلیدی این روش‌شناسی به تفصیل شرح داده می‌شوند.

الف) پیش‌پردازش و بازنمایی متن

اولین گام در هر پروژه NLP، آماده‌سازی داده‌هاست. متون مراتی ابتدا توکنیزه (Tokenize) شده و سپس هر توکن (کلمه) به یک بردار عددی یا Embedding تبدیل می‌شود. این بردارها، معنای کلمات را در یک فضای چندبعدی نمایش می‌دهند و به مدل اجازه می‌دهند تا روابط معنایی بین کلمات را درک کند.

ب) معماری مدل هیبریدی CNN-BiLSTM

قلب این پژوهش، معماری ترکیبی آن است که از نقاط قوت دو مدل متفاوت بهره می‌برد:

• لایه شبکه عصبی پیچشی (CNN): این لایه با استفاده از فیلترهایی با اندازه‌های مختلف (مشابه n-gramها) بر روی بردارهای کلمات حرکت کرده و ویژگی‌های محلی مهم را استخراج می‌کند. برای مثال، در یک متن فنی، CNN می‌تواند عباراتی مانند «پردازنده مرکزی» یا «هوش مصنوعی» را به عنوان الگوهای کلیدی شناسایی کند. این بخش از مدل در تشخیص عبارات مهم بدون توجه به موقعیت دقیق آن‌ها در جمله بسیار کارآمد است.
• لایه حافظه طولانی کوتاه‌مدت دوطرفه (BiLSTM): این لایه، متن را به عنوان یک توالی پردازش می‌کند. برخلاف CNN، ترتیب کلمات برای LSTM اهمیت دارد. نسخه دوطرفه (Bidirectional) آن به مدل اجازه می‌دهد تا متن را هم از ابتدا به انتها و هم از انتها به ابتدا بخواند. این قابلیت به درک کامل زمینه (Context) کمک می‌کند. برای مثال، معنای یک کلمه ممکن است به کلماتی که قبل و بعد از آن آمده‌اند بستگی داشته باشد و BiLSTM این وابستگی‌ها را به خوبی ثبت می‌کند.

ج) مکانیزم توجه و رویکرد آنسامبل

نوآوری اصلی این مقاله در نحوه ترکیب خروجی‌های دو لایه فوق است. به جای انتخاب یکی بر دیگری یا ترکیب ساده آن‌ها، مدل از یک مکانیزم توجه (Attention) استفاده می‌کند. این مکانیزم به مدل یاد می‌دهد که هنگام تصمیم‌گیری برای طبقه‌بندی، به کدام بخش از اطلاعات استخراج‌شده توسط CNN و BiLSTM “توجه” بیشتری کند. در واقع، مدل وزن‌های متفاوتی به ویژگی‌های مختلف اختصاص می‌دهد.

رویکرد آنسامبل در اینجا به این معناست که نمایش‌های معنایی (Semantic Representations) که به طور موازی توسط CNN و BiLSTM تولید شده‌اند، با استفاده از مکانیزم توجه با یکدیگر ترکیب می‌شوند. این فرآیند یک بردار ویژگی نهایی و بسیار غنی ایجاد می‌کند که هم شامل الگوهای کلیدی محلی (از CNN) و هم درک عمیق متنی (از BiLSTM) است. این بردار نهایی سپس به یک لایه طبقه‌بند (Classifier) داده می‌شود تا دامنه فنی متن (مثلاً کامپیوتر، پزشکی، مهندسی) را پیش‌بینی کند.

اثربخشی مدل پیشنهادی از طریق مجموعه‌ای از آزمایش‌های دقیق و مقایسه با سایر روش‌ها ارزیابی شد. نتایج به دست آمده به وضوح برتری این رویکرد را نشان می‌دهد:

• نتایج اعتبارسنجی (Validation Results): در مرحله آزمایش بر روی مجموعه داده اعتبارسنجی (بخشی از داده‌های آموزشی که برای تنظیم مدل کنار گذاشته می‌شود)، مدل توانست به دقت ۸۹.۵۷٪ و امتیاز F1 برابر با ۰.۸۸۷۵ دست یابد. این اعداد نشان‌دهنده توانایی بالای مدل در یادگیری الگوهای موجود در داده‌های آموزشی و تعمیم آن‌ها به داده‌های دیده‌نشده است.
• عملکرد برتر نسبت به مدل‌های پایه: نویسندگان عملکرد مدل خود را با چندین مدل پایه، از جمله روش‌های کلاسیک یادگیری ماشین (مانند SVM) و معماری‌های یادگیری عمیق ساده‌تر (مانند CNN یا BiLSTM به تنهایی) مقایسه کردند. نتایج نشان داد که مدل ترکیبی پیشنهادی در تمام معیارها از مدل‌های دیگر بهتر عمل می‌کند.
• نتایج نهایی مسابقه (Official Test Results): مهم‌ترین دستاورد این پژوهش، عملکرد آن در مجموعه داده نهایی و پنهان مسابقه بود. مدل SPPU_AKAH با کسب دقت ۶۴.۲۶٪ و امتیاز F1 برابر با ۰.۶۱۵۷، نه تنها از سیستم پایه ارائه‌شده توسط برگزارکنندگان، بلکه از تمام راهکارهای ارسالی توسط تیم‌های دیگر نیز پیشی گرفت و به عنوان بهترین سیستم در این زیرشاخه از رقابت انتخاب شد. اگرچه این ارقام از نتایج اعتبارسنجی پایین‌تر هستند (که در رقابت‌های واقعی به دلیل تفاوت توزیع داده‌ها امری طبیعی است)، اما کسب رتبه اول نشان‌دهنده استحکام و کارایی فوق‌العاده این مدل در یک سناریوی رقابتی و واقعی است.

این پژوهش فراتر از یک موفقیت آکادمیک، دستاوردهای عملی و علمی مهمی را به همراه دارد:

کاربردهای عملی:

• سازماندهی هوشمند اسناد: این مدل می‌تواند برای دسته‌بندی خودکار ایمیل‌ها، تیکت‌های پشتیبانی، یا مقالات خبری به زبان مراتی بر اساس حوزه فنی آن‌ها به کار رود.
• موتورهای جستجو و سیستم‌های پیشنهادگر: با درک دامنه محتوا، می‌توان نتایج جستجو را بهبود بخشید یا محتوای مرتبط‌تری را به کاربران در پلتفرم‌های دیجیتال مراتی‌زبان پیشنهاد داد.
• تحلیل داده‌های متنی: شرکت‌ها و سازمان‌ها می‌توانند از این فناوری برای تحلیل بازخورد مشتریان، نظرات کاربران در شبکه‌های اجتماعی یا اسناد فنی داخلی استفاده کنند.

دستاوردها و چشم‌انداز آینده:

• توسعه NLP برای زبان‌های کم‌منبع: این مقاله یک نقشه راه موفق برای توسعه مدل‌های کارآمد در زبان‌های هندی و سایر زبان‌های مشابه ارائه می‌دهد. موفقیت رویکرد آنسامبل CNN-BiLSTM نشان می‌دهد که ترکیب هوشمندانه معماری‌ها می‌تواند کمبود منابع داده‌ای را تا حدی جبران کند.
• ایجاد یک معیار استاندارد (Benchmark): با کسب رتبه اول، این مدل به یک معیار قوی برای تحقیقات آینده در زمینه طبقه‌بندی متن زبان مراتی تبدیل شده است.
• گامی به سوی هوش مصنوعی فراگیر: این تحقیق به ساخت فناوری‌های هوش مصنوعی عادلانه‌تر و فراگیرتر که به جوامع زبانی مختلف خدمت می‌کنند، کمک می‌کند.

مقاله «رویکرد آنسامبل توجهی برای طبقه‌بندی کارآمد متن زبان‌های هندی» یک پژوهش برجسته در زمینه پردازش زبان طبیعی برای زبان‌های کم‌منبع است. نویسندگان با شناسایی دقیق چالش‌های موجود برای زبان مراتی، یک راهکار نوآورانه مبتنی بر معماری ترکیبی CNN-BiLSTM و مکانیزم توجه ارائه دادند. این مدل با ترکیب توانایی استخراج ویژگی‌های محلی و درک زمینه کلی متن، به یک نمایش جامع و قدرتمند از داده‌های ورودی دست می‌یابد.

موفقیت این مدل در کسب بهترین نتیجه در رقابت معتبر TechDOfication 2020، گواهی بر کارایی و استحکام آن در عمل است. این پژوهش نه تنها یک ابزار قدرتمند برای جامعه مراتی‌زبان فراهم می‌کند، بلکه به عنوان یک الگوی موفق، الهام‌بخش تحقیقات بیشتر برای توسعه ابزارهای هوش مصنوعی در سایر زبان‌های غنی از نظر صرفی و کم‌منبع در سراسر جهان خواهد بود.