در دنیای امروز، طبقه‌بندی متن به یکی از وظایف اساسی در پردازش زبان طبیعی (NLP) تبدیل شده است. از تشخیص هرزنامه در ایمیل‌ها گرفته تا تحلیل احساسات مشتریان در شبکه‌های اجتماعی، طبقه‌بندی متن نقش مهمی در استخراج اطلاعات و اتخاذ تصمیمات آگاهانه ایفا می‌کند. با این حال، روش‌های سنتی طبقه‌بندی متن اغلب نیازمند حجم زیادی از داده‌های برچسب‌گذاری‌شده هستند. جمع‌آوری و برچسب‌گذاری این داده‌ها می‌تواند زمان‌بر، پرهزینه و در برخی موارد، به دلیل ماهیت تخصصی موضوع، دشوار باشد.

مقاله ZeroBERTo: Leveraging Zero-Shot Text Classification by Topic Modeling رویکرد نوینی را برای طبقه‌بندی متن ارائه می‌دهد که بر مشکل کمبود داده‌های برچسب‌گذاری‌شده غلبه می‌کند. این مقاله، روشی به نام یادگیری شات-صفر (Zero-Shot Learning) را بررسی می‌کند که در آن مدل قادر است بدون مشاهده هیچ‌گونه داده برچسب‌گذاری‌شده قبلی، متن‌ها را طبقه‌بندی کند. اهمیت این مقاله در این است که راه‌حلی عملی برای طبقه‌بندی متن در حوزه‌هایی با منابع محدود ارائه می‌دهد، به‌ویژه در زبان‌هایی که داده‌های آموزشی کافی برای آن‌ها در دسترس نیست.

این مقاله توسط تیمی از محققان به نام‌های Alexandre Alcoforado، Thomas Palmeira Ferraz، Rodrigo Gerber، Enzo Bustos، André Seidel Oliveira، Bruno Miguel Veloso، Fabio Levy Siqueira و Anna Helena Reali Costa نوشته شده است. این محققان در زمینه‌های گوناگونی از جمله پردازش زبان طبیعی، یادگیری ماشین و هوش مصنوعی تخصص دارند. زمینه تحقیقاتی آن‌ها بر توسعه روش‌های کم‌هزینه برای پردازش زبان طبیعی، به ویژه در شرایطی که داده‌های برچسب‌گذاری‌شده کمی در دسترس است، تمرکز دارد.

چکیده مقاله به این صورت است: روش‌های سنتی طبقه‌بندی متن اغلب نیازمند حجم زیادی از داده‌های برچسب‌گذاری‌شده هستند، که به دست آوردن آن دشوار است، به ویژه در حوزه‌های محدود یا زبان‌های کم‌کاربرد. این کمبود داده‌های برچسب‌گذاری‌شده منجر به ظهور روش‌های کم‌هزینه شده است که کمبود داده را در پردازش زبان طبیعی فرض می‌کنند. در میان آن‌ها، یادگیری شات-صفر برجسته است، که شامل یادگیری یک طبقه‌بندی‌کننده بدون هیچ‌گونه داده برچسب‌گذاری‌شده قبلی است. بهترین نتایج گزارش‌شده با این رویکرد از مدل‌های زبانی مانند ترانسفورمرها استفاده می‌کنند، اما در دو مشکل قرار می‌گیرند: زمان اجرای بالا و عدم توانایی در پردازش متن‌های طولانی به عنوان ورودی. این مقاله یک مدل جدید به نام ZeroBERTo را پیشنهاد می‌کند که از یک گام خوشه‌بندی بدون نظارت برای به دست آوردن یک نمایش داده فشرده قبل از وظیفه طبقه‌بندی استفاده می‌کند. ما نشان می‌دهیم که ZeroBERTo عملکرد بهتری برای ورودی‌های طولانی و زمان اجرای کوتاه‌تری دارد، و در مجموعه داده FolhaUOL با حدود 12٪ در امتیاز F1 از XLM-R پیشی می‌گیرد.

به طور خلاصه، مقاله به بررسی این موضوع می‌پردازد که چگونه می‌توان با استفاده از تکنیک‌های مدل‌سازی موضوع، عملکرد طبقه‌بندی متن شات-صفر را بهبود بخشید. مدل پیشنهادی، ZeroBERTo، ابتدا با استفاده از خوشه‌بندی بدون نظارت، یک نمایش فشرده از داده‌ها ایجاد می‌کند و سپس از این نمایش برای طبقه‌بندی متن استفاده می‌کند. این رویکرد باعث کاهش زمان اجرا و بهبود عملکرد در پردازش متن‌های طولانی می‌شود.

روش‌شناسی تحقیق در مقاله ZeroBERTo شامل چندین مرحله کلیدی است:

• پیش‌پردازش داده‌ها: در این مرحله، متن‌های ورودی برای حذف نویز و آماده‌سازی برای مراحل بعدی پردازش می‌شوند. این شامل توکن‌بندی (تبدیل متن به واحدهای کوچک‌تر مانند کلمات)، حذف کلمات ایست (کلماتی مانند “و”، “در”، “به” که اطلاعات کمی دارند) و نرمال‌سازی متن است.
• مدل‌سازی موضوع: از یک الگوریتم خوشه‌بندی بدون نظارت مانند LDA (Latent Dirichlet Allocation) برای کشف موضوعات پنهان در متن‌ها استفاده می‌شود. هر سند به عنوان ترکیبی از موضوعات مختلف نمایش داده می‌شود. این موضوعات به عنوان ویژگی‌هایی برای طبقه‌بندی متن استفاده می‌شوند.
• طبقه‌بندی شات-صفر: از یک مدل یادگیری شات-صفر، معمولاً مبتنی بر ترانسفورمرها، برای طبقه‌بندی متن‌ها بر اساس موضوعات استخراج‌شده استفاده می‌شود. مدل با استفاده از توضیحات متنی از دسته‌ها آموزش داده می‌شود و سپس قادر است متن‌ها را به دسته‌های مناسب، بدون مشاهده هیچ‌گونه داده برچسب‌گذاری‌شده قبلی، اختصاص دهد.
• ارزیابی: عملکرد مدل ZeroBERTo با استفاده از معیار‌های ارزیابی استاندارد مانند دقت، بازخوانی و امتیاز F1 ارزیابی می‌شود. نتایج با سایر روش‌های طبقه‌بندی شات-صفر مقایسه می‌شوند تا اثربخشی مدل پیشنهادی نشان داده شود.

مثال عملی: فرض کنید می‌خواهیم مقالات خبری را به دسته‌های مختلف مانند “ورزش”، “سیاست” و “فرهنگ” طبقه‌بندی کنیم. در روش ZeroBERTo، ابتدا با استفاده از مدل‌سازی موضوع، موضوعات اصلی در مجموعه مقالات خبری استخراج می‌شوند. سپس، از توضیحات متنی از دسته‌ها (به عنوان مثال، “ورزش: شامل اخبار فوتبال، بسکتبال، تنیس و سایر ورزش‌ها”) برای آموزش مدل طبقه‌بندی شات-صفر استفاده می‌شود. در نهایت، مدل می‌تواند مقالات جدید را بر اساس موضوعات استخراج‌شده و توضیحات دسته‌ها، به دسته‌های مناسب اختصاص دهد.

یافته‌های کلیدی مقاله ZeroBERTo به شرح زیر است:

• بهبود عملکرد: مدل ZeroBERTo در مقایسه با روش‌های قبلی طبقه‌بندی شات-صفر، به ویژه در پردازش متن‌های طولانی، عملکرد بهتری دارد. این بهبود عملکرد به دلیل استفاده از مدل‌سازی موضوع برای ایجاد یک نمایش فشرده از داده‌ها است.
• کاهش زمان اجرا: استفاده از مدل‌سازی موضوع باعث کاهش ابعاد داده‌ها و در نتیجه، کاهش زمان اجرا می‌شود. این امر به ویژه برای پردازش حجم زیادی از داده‌ها اهمیت دارد.
• اثربخشی در داده‌های کم‌برچسب: مدل ZeroBERTo یک راه‌حل مؤثر برای طبقه‌بندی متن در شرایطی است که داده‌های برچسب‌گذاری‌شده کمی در دسترس است.

مقاله نشان داد که ZeroBERTo در مجموعه داده FolhaUOL (یک مجموعه داده بزرگ از اخبار پرتغالی) حدود 12% در امتیاز F1 از مدل XLM-R پیشی می‌گیرد. این نتیجه نشان‌دهنده قابلیت بالای ZeroBERTo در طبقه‌بندی متون دنیای واقعی است.

مدل ZeroBERTo می‌تواند در کاربردهای مختلفی مورد استفاده قرار گیرد:

• طبقه‌بندی اخبار: طبقه‌بندی خودکار اخبار به دسته‌های مختلف مانند ورزش، سیاست، اقتصاد و غیره.
• تحلیل احساسات: تحلیل احساسات مشتریان در شبکه‌های اجتماعی و نظرات آنلاین.
• تشخیص هرزنامه: تشخیص هرزنامه‌ها در ایمیل‌ها و پیام‌های متنی.
• سازماندهی اسناد: سازماندهی خودکار اسناد در یک سازمان یا کتابخانه.
• پاسخگویی به سؤالات: بهبود دقت و کارایی سیستم‌های پاسخگویی به سؤالات.

دستاورد اصلی این مقاله، ارائه یک روش عملی و مؤثر برای طبقه‌بندی متن در شرایطی است که داده‌های برچسب‌گذاری‌شده کمی در دسترس است. این امر می‌تواند به توسعه برنامه‌های کاربردی پردازش زبان طبیعی در زبان‌ها و حوزه‌هایی که منابع محدودی دارند، کمک کند.

مقاله ZeroBERTo رویکرد نوینی را برای طبقه‌بندی متن شات-صفر ارائه می‌دهد که با استفاده از مدل‌سازی موضوع، عملکرد و کارایی را بهبود می‌بخشد. این مدل، یک راه‌حل عملی برای طبقه‌بندی متن در شرایطی است که داده‌های برچسب‌گذاری‌شده کمی در دسترس است و می‌تواند در کاربردهای مختلفی مورد استفاده قرار گیرد. تحقیقات آینده می‌تواند بر بهبود بیشتر مدل‌سازی موضوع و توسعه روش‌های جدید برای ادغام آن با مدل‌های یادگیری شات-صفر تمرکز کند. همچنین، بررسی عملکرد ZeroBERTo در زبان‌ها و حوزه‌های مختلف می‌تواند به درک بهتر قابلیت‌های آن کمک کند.