در دنیای داده‌محور امروز، مدل‌های هوش مصنوعی، به‌ویژه در حوزه پردازش زبان طبیعی (NLP)، به پیشرفت‌های چشمگیری دست یافته‌اند. با این حال، بسیاری از این مدل‌ها با یک چالش اساسی و فراگیر روبرو هستند: عدم توازن کلاس (Class Imbalance). این پدیده زمانی رخ می‌دهد که توزیع داده‌ها در دسته‌های مختلف یکسان نباشد؛ یعنی برخی کلاس‌ها بسیار پرتعدادتر (کلاس اکثریت) و برخی دیگر بسیار کمیاب‌تر (کلاس اقلیت) هستند.

برای مثال، در تشخیص ایمیل‌های اسپم، تعداد ایمیل‌های عادی بسیار بیشتر از اسپم‌هاست. در تحلیل متون پزشکی برای تشخیص بیماری‌های نادر، داده‌های مربوط به بیماران مبتلا بسیار اندک است. یا در شناسایی سخنان نفرت‌پراکن در شبکه‌های اجتماعی، حجم محتوای سالم به مراتب فراتر از محتوای مخرب است. مدل‌های یادگیری عمیق که با این داده‌های نامتوازن آموزش می‌بینند، تمایل دارند که به سمت کلاس اکثریت سوگیری پیدا کنند و در نتیجه، عملکرد بسیار ضعیفی در شناسایی کلاس‌های اقلیت از خود نشان می‌دهند. این مسئله می‌تواند پیامدهای جدی، از هدررفت منابع گرفته تا تهدید سلامت و امنیت، به همراه داشته باشد.

مقاله «A Survey of Methods for Addressing Class Imbalance in Deep-Learning Based Natural Language Processing» اولین بررسی جامع و نظام‌مند در این حوزه است که به طور خاص بر روی کاربردهای یادگیری عمیق در پردازش زبان طبیعی تمرکز دارد. اهمیت این مقاله در آن است که برای نخستین بار، روش‌های پراکنده و متنوعی را که برای مقابله با این چالش ارائه شده‌اند، در یک چارچوب منسجم دسته‌بندی کرده و راهنمایی عملی برای پژوهشگران و متخصصان این حوزه فراهم می‌آورد.

این مقاله مروری توسط تیمی از پژوهشگران برجسته در حوزه هوش مصنوعی و زبان‌شناسی محاسباتی به نگارش درآمده است: سوفی هنینگ (Sophie Henning)، ویلیام بلوچ (William Beluch)، الکساندر فریزر (Alexander Fraser) و آنماری فریدریش (Annemarie Friedrich). این نویسندگان در مراکز تحقیقاتی معتبری فعالیت دارند و سوابق درخشانی در زمینه یادگیری ماشین و پردازش زبان طبیعی دارند.

این تحقیق در بستر دو حوزه کلیدی علوم کامپیوتر، یعنی «زبان‌شناسی محاسباتی» و «هوش مصنوعی» قرار می‌گیرد. هدف اصلی آن، بهبود استحکام (Robustness) و عدالت (Fairness) مدل‌های زبان طبیعی است تا این مدل‌ها بتوانند در سناریوهای واقعی که داده‌ها هرگز ایده‌آل و متوازن نیستند، عملکرد قابل اعتمادی داشته باشند. این مقاله تلاشی است برای پر کردن شکاف میان تئوری و عمل، و ارائه یک نقشه راه برای ساخت مدل‌هایی که توانایی درک و تحلیل صحیح داده‌های کمیاب اما حیاتی را داشته باشند.

مقاله حاضر به بررسی عمیق چالش عدم توازن کلاس در وظایف پردازش زبان طبیعی می‌پردازد. نویسندگان در ابتدا به این نکته اشاره می‌کنند که عدم توازن، یک ویژگی ذاتی بسیاری از داده‌های دنیای واقعی است و مدل‌های کنونی یادگیری عمیق، علی‌رغم قدرت بالایشان، در مواجهه با آن آسیب‌پذیر هستند. هدف اصلی این مقاله، ارائه یک راهنمای جامع برای انتخاب رویکرد مناسب جهت حل این مشکل در پروژه‌های مختلف NLP است.

نویسندگان ابتدا انواع مختلف عدم توازن را تشریح می‌کنند؛ از سناریوهای کنترل‌شده در محیط‌های آزمایشگاهی تا عدم توازن پیچیده و چندوجهی در داده‌های واقعی. سپس، مجموعه‌ای از روش‌ها و تکنیک‌ها را که به صراحت برای NLP طراحی شده یا از حوزه بینایی ماشین به این حوزه راه یافته‌اند، در پنج دسته اصلی طبقه‌بندی می‌کنند. این دسته‌بندی، هسته اصلی مقاله را تشکیل می‌دهد و به خواننده کمک می‌کند تا چشم‌اندازی روشن از راهکارهای موجود به دست آورد. در نهایت، مقاله با بحث در مورد مسائل حل‌نشده، مانند چالش‌های موجود در طبقه‌بندی چندبرچسبی (Multi-label) و پیشنهاداتی برای آینده، از جمله نیاز به محک‌زنی (Benchmarking) سیستماتیک، به پایان می‌رسد.

از آنجا که این مقاله یک کار مروری (Survey) است، روش‌شناسی آن مبتنی بر گردآوری، تحلیل و طبقه‌بندی نظام‌مند مقالات و تحقیقات پیشین در این زمینه است. نویسندگان طیف گسترده‌ای از مقالات منتشر شده در کنفرانس‌ها و ژورنال‌های معتبر را بررسی کرده و راهکارهای ارائه شده را در یک چارچوب منسجم سازماندهی کرده‌اند. این طبقه‌بندی به پنج دسته اصلی تقسیم می‌شود:

• روش‌های مبتنی بر نمونه‌برداری (Sampling): این روش‌ها با دستکاری مجموعه داده آموزشی سعی در ایجاد توازن دارند. دو رویکرد اصلی در این دسته عبارتند از:
  • بیش‌نمونه‌برداری (Oversampling): افزایش تعداد نمونه‌های کلاس اقلیت، برای مثال از طریق تکرار آن‌ها یا تولید نمونه‌های مصنوعی (مانند تکنیک SMOTE).
  • کم‌نمونه‌برداری (Undersampling): کاهش تعداد نمونه‌های کلاس اکثریت برای رسیدن به توازن، که البته با ریسک از دست دادن اطلاعات مفید همراه است.
• روش‌های مبتنی بر افزایش داده (Data Augmentation): این تکنیک‌ها به جای تکرار ساده، نمونه‌های جدید و معناداری برای کلاس اقلیت تولید می‌کنند. در NLP، این کار می‌تواند از طریق جایگزینی کلمات با مترادف‌ها، ترجمه معکوس (Back-translation) یا استفاده از مدل‌های زبانی مولد برای ساخت جملات جدید انجام شود.
• روش‌های مبتنی بر تابع زیان (Loss Function): در این رویکرد، به جای تغییر داده‌ها، تابع زیان مدل به گونه‌ای اصلاح می‌شود که جریمه بیشتری برای خطاهای مربوط به کلاس اقلیت در نظر بگیرد. این کار باعث می‌شود مدل در طول آموزش، توجه ویژه‌ای به یادگیری صحیح این کلاس‌ها داشته باشد. Focal Loss یکی از معروف‌ترین نمونه‌های این رویکرد است.
• روش‌های مبتنی بر یادگیری مرحله‌ای (Staged Learning): این استراتژی شامل فرآیندهای آموزشی چندمرحله‌ای است. برای مثال، مدل ابتدا روی یک مجموعه داده متوازن (ایجاد شده با نمونه‌برداری) پیش‌آموزش داده می‌شود و سپس روی مجموعه داده نامتوازن اصلی، تنظیم دقیق (Fine-tuning) می‌گردد.
• روش‌های مبتنی بر طراحی مدل (Model Design): در این دسته، معماری خود مدل به گونه‌ای تغییر می‌کند که ذاتاً نسبت به عدم توازن مقاوم‌تر باشد. این تغییرات می‌تواند شامل استفاده از مکانیزم‌های توجه (Attention) خاص یا معماری‌های شبکه‌ای باشد که به طور طبیعی بر روی ویژگی‌های متمایزکننده کلاس‌های اقلیت تمرکز می‌کنند.

این مقاله مروری به چندین یافته کلیدی و مهم دست می‌یابد که می‌تواند مسیر تحقیقات آینده را شکل دهد:

• عدم وجود یک راه‌حل جهانی: هیچ تکنیک واحدی وجود ندارد که برای همه مسائل عدم توازن بهترین باشد. انتخاب روش مناسب به شدت به ماهیت وظیفه، نوع داده، و شدت عدم توازن بستگی دارد. این مقاله به متخصصان ابزار لازم برای تحلیل شرایط و انتخاب آگاهانه را می‌دهد.
• اهمیت انتقال دانش از بینایی ماشین: بسیاری از روش‌های موفق در مقابله با عدم توازن، ابتدا در حوزه بینایی ماشین توسعه یافته‌اند. این مقاله نشان می‌دهد که این تکنیک‌ها با انطباق‌های مناسب، می‌توانند در حوزه NLP نیز بسیار مؤثر باشند.
• ارائه یک طبقه‌بندی جامع: مهم‌ترین دستاورد مقاله، ایجاد یک طبقه‌بندی (Taxonomy) روشن و ساختاریافته از روش‌های موجود است. این چارچوب به پژوهشگران کمک می‌کند تا روابط بین روش‌های مختلف را درک کرده و شکاف‌های تحقیقاتی را شناسایی کنند.
• شناسایی چالش‌های باز: نویسندگان به حوزه‌هایی اشاره می‌کنند که هنوز نیازمند تحقیق بیشتری هستند. یکی از مهم‌ترین این حوزه‌ها، طبقه‌بندی چندبرچسبی نامتوازن است که در آن یک نمونه می‌تواند همزمان به چندین کلاس تعلق داشته باشد و توزیع این برچسب‌ها نامتوازن است.
• نیاز به ارزیابی استاندارد: مقاله بر ضرورت ایجاد معیارها و پروتکل‌های محک‌زنی استاندارد تأکید می‌کند. بدون وجود روش‌های ارزیابی یکسان، مقایسه عادلانه عملکرد روش‌های مختلف و اندازه‌گیری پیشرفت واقعی در این زمینه دشوار خواهد بود.

این مقاله یک منبع ارزشمند برای دو گروه اصلی است: پژوهشگران و متخصصان صنعتی. دستاوردهای آن پیامدهای عملی گسترده‌ای دارد:

• برای پژوهشگران: این مقاله با ارائه یک دید کلی از وضعیت فعلی دانش، به عنوان نقطه شروعی برای تحقیقات جدید عمل می‌کند. شناسایی مسائل باز، به محققان کمک می‌کند تا تلاش‌های خود را بر روی چالش‌برانگیزترین و تأثیرگذارترین جنبه‌های مشکل متمرکز کنند.
• برای متخصصان و مهندسان: این مقاله یک راهنمای عملی برای حل مشکلات واقعی است. مهندسانی که در حال ساخت سیستم‌های تشخیص کلاهبرداری، تحلیل نظرات مشتریان، یا فیلترینگ محتوای مضر هستند، می‌توانند با استفاده از این راهنما، تکنیک مناسب برای داده‌های نامتوازن خود را انتخاب کرده و مدل‌های دقیق‌تر و عادلانه‌تری بسازند.

کاربردهای عملی این تحقیق در حوزه‌هایی مانند پزشکی (تشخیص بیماری‌های نادر از روی گزارش‌های بالینی)، حقوق (یافتن اسناد حقوقی مرتبط و کمیاب)، امنیت سایبری (شناسایی حملات جدید و نادر) و علوم اجتماعی (تحلیل روندهای اجتماعی نوظهور در رسانه‌ها) بسیار حیاتی است. در واقع، هر جا که رویدادهای مهم اما نادر وجود داشته باشند، روش‌های مورد بحث در این مقاله کاربرد خواهند داشت.

مقاله «بررسی روش‌های رفع عدم توازن کلاس در پردازش زبان طبیعی مبتنی بر یادگیری عمیق» نوشته هنینگ و همکاران، یک اثر بنیادی و به‌موقع است که به یکی از مهم‌ترین چالش‌های عملی در هوش مصنوعی مدرن می‌پردازد. این مقاله با ارائه یک چارچوب جامع برای درک و مقابله با عدم توازن داده‌ها، نه تنها دانش موجود را به شکلی منسجم سازماندهی می‌کند، بلکه با برجسته کردن مسائل حل‌نشده و تأکید بر نیاز به ارزیابی استاندارد، راه را برای پیشرفت‌های آینده هموار می‌سازد.

در نهایت، این مقاله یک منبع ضروری برای هر محقق، دانشجو یا متخصصی است که با داده‌های متنی در دنیای واقعی سر و کار دارد. این اثر به جامعه علمی کمک می‌کند تا از ساخت مدل‌های سوگیرانه که پدیده‌های نادر اما مهم را نادیده می‌گیرند، فراتر رفته و به سوی توسعه سیستم‌های هوش مصنوعی قوی‌تر، دقیق‌تر و عادلانه‌تر حرکت کنند.