در دنیای پردازش زبان طبیعی (NLP) و یادگیری ماشین، طبقه‌بندی متن چندبرچسبی (Multi-label Text Classification) به مسئله‌ای گفته می‌شود که در آن هر متن می‌تواند به چندین برچسب (label) مختلف مرتبط باشد. این نوع طبقه‌بندی در بسیاری از کاربردها مانند تحلیل احساسات، برچسب‌گذاری مقالات علمی، و تشخیص موضوعات خبری کاربرد دارد. چالش اصلی در این حوزه، در نظر گرفتن وابستگی بین برچسب‌ها و همچنین برخورد با توزیع نامتوازن کلاس‌ها (Class Imbalance) است، به ویژه زمانی که با توزیع “دم‌بلند” (Long-Tailed Distribution) مواجه هستیم.

مقاله حاضر به بررسی روش‌های متعادل‌سازی در طبقه‌بندی متن چندبرچسبی با توزیع کلاسی دم‌بلند می‌پردازد و راهکارهای نوینی را برای حل این مشکل ارائه می‌دهد. اهمیت این مقاله در این است که با ارائه رویکردهای جدید، دقت و کارایی مدل‌های طبقه‌بندی متن چندبرچسبی را در شرایطی که توزیع داده‌ها نامتوازن است، بهبود می‌بخشد.

این مقاله توسط Yi Huang, Buse Giledereli, Abdullatif Köksal, Arzucan Özgür و Elif Ozkirimli نگارش شده است. نویسندگان این مقاله متخصصان حوزه پردازش زبان طبیعی و یادگیری ماشین هستند و تحقیقات آن‌ها بر روی بهبود عملکرد مدل‌های طبقه‌بندی متن متمرکز است. زمینه تحقیقاتی این افراد شامل:

• پردازش زبان طبیعی
• یادگیری ماشین
• طبقه‌بندی متن
• توزیع نامتوازن داده‌ها

چکیده مقاله به این صورت است:

طبقه‌بندی متن چندبرچسبی یک وظیفه چالش‌برانگیز است زیرا نیازمند درک وابستگی‌های بین برچسب‌ها است. این چالش زمانی بیشتر می‌شود که توزیع کلاس‌ها به صورت دم‌بلند باشد. روش‌های نمونه‌برداری مجدد (Resampling) و وزن‌دهی مجدد (Re-weighting) رویکردهای رایجی برای مقابله با مشکل عدم توازن کلاس‌ها هستند، اما زمانی که علاوه بر عدم توازن کلاس‌ها، وابستگی بین برچسب‌ها نیز وجود داشته باشد، کارایی خود را از دست می‌دهند، زیرا منجر به نمونه‌برداری بیش از حد برچسب‌های رایج می‌شوند. در این مقاله، کاربرد توابع زیان متعادل‌ساز (Balancing Loss Functions) را برای طبقه‌بندی متن چندبرچسبی معرفی می‌کنیم. آزمایش‌هایی را روی یک مجموعه داده عمومی با 90 برچسب (Reuters-21578) و یک مجموعه داده خاص از PubMed با 18211 برچسب انجام داده‌ایم. نتایج نشان می‌دهند که یک تابع زیان متعادل‌ساز توزیع (Distribution-Balanced Loss Function)، که ذاتاً هر دو مشکل عدم توازن کلاس‌ها و وابستگی برچسب‌ها را برطرف می‌کند، عملکرد بهتری نسبت به توابع زیان رایج دارد. روش‌های متعادل‌سازی توزیع با موفقیت در زمینه تشخیص تصویر استفاده شده‌اند. در اینجا، ما اثربخشی آن‌ها را در پردازش زبان طبیعی نشان می‌دهیم.

به طور خلاصه، مقاله حاضر به بررسی کاربرد توابع زیان متعادل‌ساز در طبقه‌بندی متن چندبرچسبی با توزیع کلاسی دم‌بلند می‌پردازد. این توابع زیان، به طور همزمان مشکل عدم توازن کلاس‌ها و وابستگی بین برچسب‌ها را در نظر می‌گیرند و عملکرد بهتری نسبت به روش‌های سنتی ارائه می‌دهند. این مقاله نشان می‌دهد که رویکردهای موفق در حوزه بینایی ماشین (Computer Vision) می‌توانند در پردازش زبان طبیعی نیز کارآمد باشند.

در این تحقیق، نویسندگان از روش‌های زیر برای بررسی کارایی توابع زیان متعادل‌ساز استفاده کرده‌اند:

• انتخاب مجموعه‌داده‌ها: از دو مجموعه داده مختلف استفاده شده است:
  • Reuters-21578: یک مجموعه داده عمومی با 90 برچسب که برای طبقه‌بندی اخبار استفاده می‌شود.
  • PubMed: یک مجموعه داده خاص از مقالات علمی در حوزه پزشکی با 18211 برچسب.

  این تنوع در مجموعه‌داده‌ها، امکان ارزیابی کارایی روش‌ها در شرایط مختلف را فراهم می‌کند.

• پیاده‌سازی توابع زیان: توابع زیان متعادل‌ساز مختلفی پیاده‌سازی و با توابع زیان رایج مانند Binary Cross-Entropy مقایسه شده‌اند. یکی از توابع زیان کلیدی استفاده شده، تابع زیان Distribution-Balanced Loss است که به طور خاص برای حل مشکل عدم توازن کلاس‌ها و وابستگی برچسب‌ها طراحی شده است.
• آموزش مدل‌ها: مدل‌های طبقه‌بندی متن با استفاده از مجموعه‌داده‌های انتخابی و توابع زیان مختلف آموزش داده شده‌اند.
• ارزیابی عملکرد: عملکرد مدل‌ها با استفاده از معیارهای ارزیابی مناسب برای طبقه‌بندی چندبرچسبی مانند Precision، Recall، F1-score و AUC ارزیابی شده است.
• تحلیل نتایج: نتایج حاصل از آزمایش‌ها تحلیل شده‌اند تا مشخص شود که کدام توابع زیان متعادل‌ساز بهترین عملکرد را در مقابله با مشکل عدم توازن کلاس‌ها و وابستگی برچسب‌ها دارند.

یافته‌های کلیدی این تحقیق عبارتند از:

• توابع زیان متعادل‌ساز، به ویژه تابع زیان Distribution-Balanced Loss، عملکرد بهتری نسبت به توابع زیان رایج در طبقه‌بندی متن چندبرچسبی با توزیع کلاسی دم‌بلند دارند.
• روش‌های نمونه‌برداری مجدد و وزن‌دهی مجدد، در شرایطی که وابستگی بین برچسب‌ها وجود دارد، کارایی خود را از دست می‌دهند و ممکن است منجر به نمونه‌برداری بیش از حد برچسب‌های رایج شوند.
• توابع زیان متعادل‌ساز، با در نظر گرفتن همزمان مشکل عدم توازن کلاس‌ها و وابستگی برچسب‌ها، می‌توانند دقت و کارایی مدل‌های طبقه‌بندی متن را به طور قابل توجهی بهبود بخشند.

به عنوان مثال، نتایج نشان داد که استفاده از Distribution-Balanced Loss در مجموعه داده PubMed، افزایش قابل توجهی در مقدار F1-score نسبت به Binary Cross-Entropy داشته است. این نشان می‌دهد که این روش به خوبی می‌تواند با حجم بالای برچسب‌ها و توزیع نامتوازن آن‌ها مقابله کند.

نتایج این تحقیق می‌تواند در زمینه‌های مختلف کاربرد داشته باشد، از جمله:

• برچسب‌گذاری مقالات علمی: با استفاده از روش‌های متعادل‌سازی، می‌توان مقالات علمی را با دقت بیشتری برچسب‌گذاری کرد و امکان جستجو و دسترسی به اطلاعات مرتبط را بهبود بخشید.
• تحلیل احساسات: در تحلیل احساسات متون، ممکن است برخی احساسات (مانند “خشم”) نسبت به سایر احساسات (مانند “شادی”) کمتر رایج باشند. روش‌های متعادل‌سازی می‌توانند به بهبود دقت تشخیص احساسات نادر کمک کنند.
• تشخیص موضوعات خبری: در طبقه‌بندی اخبار، برخی موضوعات (مانند “سیاست”) ممکن است نسبت به سایر موضوعات (مانند “فرهنگ”) بیشتر مورد توجه قرار گیرند. استفاده از روش‌های متعادل‌سازی می‌تواند به تشخیص بهتر موضوعات نادر کمک کند.

دستاورد اصلی این مقاله، ارائه یک رویکرد موثر برای حل مشکل عدم توازن کلاس‌ها و وابستگی برچسب‌ها در طبقه‌بندی متن چندبرچسبی است. این رویکرد می‌تواند به بهبود عملکرد مدل‌های طبقه‌بندی متن در بسیاری از کاربردها کمک کند.

مقاله حاضر نشان داد که توابع زیان متعادل‌ساز، به ویژه Distribution-Balanced Loss، می‌توانند به طور موثری با مشکل عدم توازن کلاس‌ها و وابستگی برچسب‌ها در طبقه‌بندی متن چندبرچسبی مقابله کنند. این روش‌ها عملکرد بهتری نسبت به روش‌های سنتی مانند نمونه‌برداری مجدد و وزن‌دهی مجدد ارائه می‌دهند و می‌توانند دقت و کارایی مدل‌های طبقه‌بندی متن را در شرایطی که توزیع داده‌ها نامتوازن است، بهبود بخشند. این تحقیق دریچه‌ای جدید به سوی استفاده از تکنیک‌های موفق در حوزه‌های دیگر مانند بینایی ماشین در زمینه پردازش زبان طبیعی باز می‌کند.

کد منبع این تحقیق در GitHub در دسترس است، که به محققان و توسعه‌دهندگان امکان می‌دهد از این روش‌ها در پروژه‌های خود استفاده کنند و به بهبود عملکرد مدل‌های طبقه‌بندی متن خود کمک کنند.