در دنیای امروز که حجم داده‌های متنی به صورت انفجاری در حال افزایش است، از شبکه‌های اجتماعی و نظرات کاربران گرفته تا مقالات علمی و اسناد سازمانی، نیاز به ابزارهایی برای تحلیل و سازمان‌دهی خودکار این اطلاعات بیش از هر زمان دیگری احساس می‌شود. «طبقه‌بندی متن» (Text Classification) یکی از بنیادی‌ترین و پرکاربردترین وظایف در حوزه «پردازش زبان طبیعی» (NLP) است که به ما امکان می‌دهد متون را به دسته‌های از پیش تعریف‌شده‌ای مانند موضوع (ورزشی، سیاسی، علمی)، احساس (مثبت، منفی، خنثی) یا شناسایی هرزنامه (اسپم) اختصاص دهیم.

با ظهور مدل‌های زبانی بزرگ (LLMs) مبتنی بر معماری ترنسفورمر (Transformer)، شاهد یک انقلاب در توانایی ماشین‌ها برای درک زبان انسان بوده‌ایم. پارادایم «پیش‌آموزش و تنظیم دقیق» (Pre-train and Fine-tune) به یک استاندارد طلایی تبدیل شده است؛ در این روش، یک مدل عظیم بر روی حجم بسیار بزرگی از داده‌های متنی آموزش داده می‌شود تا درک عمیقی از ساختار و معنای زبان پیدا کند و سپس برای وظایف خاصی مانند طبقه‌بندی، با داده‌های محدودتر «تنظیم دقیق» می‌شود.

مقاله «مقایسه طبقه‌بندی توکن و توالی در طبقه‌بندی متن» نوشته امیر جعفری، به یکی از پرسش‌های کلیدی اما کمتر بررسی‌شده در مرحله تنظیم دقیق می‌پردازد: برای طبقه‌بندی یک متن کامل، کدام رویکرد معماری بهتر عمل می‌کند؟ آیا باید کل متن را به عنوان یک «توالی» (Sequence) واحد در نظر گرفت و یک برچسب کلی برای آن تولید کرد، یا باید هر «توکن» (Token) یا کلمه را به صورت جداگانه تحلیل کرده و سپس نتایج را برای رسیدن به یک تصمیم نهایی ترکیب نمود؟ این مقاله با ارائه یک مقایسه مستقیم و کنترل‌شده، به دنبال پر کردن این شکاف تحقیقاتی و ارائه راهنمایی عملی برای پژوهشگران و مهندسان این حوزه است.

این مقاله توسط امیر جعفری در حوزه «محاسبات و زبان» (Computation and Language) ارائه شده است. این زمینه تحقیقاتی در تقاطع علوم کامپیوتر، هوش مصنوعی و زبان‌شناسی قرار دارد و بر توسعه الگوریتم‌ها و مدل‌هایی تمرکز دارد که به کامپیوترها امکان درک، تولید و تعامل با زبان انسان را می‌دهند.

تحقیق حاضر در بستر پیشرفت‌های اخیر در مدل‌های زبانی ترنسفورمری مانند BERT، GPT و مدل‌های مشابه قرار می‌گیرد. این مدل‌ها با توانایی بی‌نظیر خود در درک بافت (Context) کلمات در جملات، معیارهای عملکردی را در بسیاری از وظایف NLP، از جمله معیارهای استاندارد GLUE، جابجا کرده‌اند. این مقاله به جای ارائه یک مدل کاملاً جدید، بر بهینه‌سازی و درک بهتر نحوه استفاده از این مدل‌های قدرتمند موجود تمرکز دارد، که نشان‌دهنده بلوغ و حرکت این حوزه به سمت کاربردهای عملی و مهندسی‌شده است.

چکیده مقاله به موفقیت چشمگیر تکنیک‌های یادگیری ماشین بدون نظارت (Unsupervised Machine Learning) در پردازش زبان طبیعی اشاره می‌کند. مدل‌های زبانی که با روش‌هایی مانند «مدل‌سازی زبان نقاب‌دار» (Masked Language Modeling – MLM) بر روی پیکره‌های عظیم متنی آموزش می‌بینند، می‌توانند به عنوان یک مدل پایه قدرتمند برای طیف وسیعی از وظایف NLP از جمله طبقه‌بندی، خلاصه‌سازی و تولید متن به کار روند.

هدف اصلی این پژوهش، مقایسه عملکرد دو پارادایم اصلی برای تنظیم دقیق این مدل‌ها در وظیفه طبقه‌بندی متن است:

• طبقه‌بندی توالی (Sequence Classification): این رویکرد متداول‌ترین روش است. در این مدل، کل متن ورودی به عنوان یک دنباله واحد به مدل داده می‌شود و مدل یک برچسب واحد برای کل متن خروجی می‌دهد. معمولاً این کار با استفاده از یک توکن ویژه مانند `[CLS]` در ابتدای ورودی انجام می‌شود که بازنمایی آن به عنوان خلاصه‌ای از کل متن در نظر گرفته شده و به یک لایه طبقه‌بند ساده داده می‌شود.
• طبقه‌بندی توکن (Token Classification): در این رویکرد، به جای یک خروجی کلی، مدل برای هر توکن (کلمه یا زیرکلمه) در متن ورودی یک برچسب پیش‌بینی می‌کند. سپس این پیش‌بینی‌های سطح توکن باید با یک مکانیزم «تجمیع» (Aggregation) ترکیب شوند تا برچسب نهایی برای کل سند مشخص گردد.

مقاله تأکید می‌کند که هر دو روش پتانسیل بهبود پیش‌بینی‌ها را دارند زیرا هر کدام به شیوه‌ای متفاوت اطلاعات متنی و بافتی را استخراج می‌کنند. این تحقیق با استفاده از یک مدل پایه پیش‌آموخته یکسان برای هر دو معماری، به دنبال یک مقایسه عادلانه و تجربی برای ارزیابی نقاط قوت و ضعف هر یک است.

برای اطمینان از یک مقایسه معتبر، این پژوهش از یک روش‌شناسی دقیق و کنترل‌شده پیروی می‌کند:

۱. مدل پایه (Base Model): یک مدل زبانی ترنسفورمری پیش‌آموخته (مانند BERT یا ParsBERT برای زبان فارسی) به عنوان ستون فقرات هر دو معماری انتخاب شده است. این مدل مسئولیت اصلی درک زبان و استخراج ویژگی‌های معنایی از متن ورودی را بر عهده دارد. وزن‌های این مدل در ابتدای تنظیم دقیق ثابت هستند.

۲. معماری‌های تنظیم دقیق (Fine-tuning Architectures):

• مدل الف (طبقه‌بند توالی): بر روی مدل پایه، یک «هِد» (Head) طبقه‌بندی توالی قرار می‌گیرد. این هِد معمولاً یک لایه خطی ساده (Fully Connected Layer) است که بردار خروجی مربوط به توکن `[CLS]` را به عنوان ورودی دریافت کرده و احتمال تعلق متن به هر یک از دسته‌ها را خروجی می‌دهد.
• مدل ب (طبقه‌بند توکن): در این معماری، یک هِد طبقه‌بندی توکن به مدل پایه متصل می‌شود. این هِد نیز یک لایه خطی است، اما به جای اعمال شدن بر روی یک بردار، بر روی تمام بردارهای خروجی توکن‌های متن اعمال می‌شود و برای هر توکن یک پیش‌بینی انجام می‌دهد.

۳. مکانیزم تجمیع (Aggregation Mechanism): برای مدل «ب»، مرحله حیاتی پس از پیش‌بینی در سطح توکن، تجمیع نتایج است. مقاله می‌توانست روش‌های مختلفی را بررسی کند، از جمله:

• رأی اکثریت (Majority Voting): برچسبی که به بیشترین تعداد توکن‌ها اختصاص داده شده، به عنوان برچسب نهایی سند انتخاب می‌شود.
• میانگین‌گیری احتمالات (Probability Averaging): توزیع احتمال خروجی برای همه توکن‌ها با هم میانگین‌گیری شده و دسته‌ای با بالاترین احتمال میانگین انتخاب می‌شود.
• استفاده از Pooling: روش‌های پیچیده‌تری مانند Max-Pooling که قوی‌ترین سیگنال را برای هر دسته در میان تمام توکن‌ها شناسایی می‌کند.

۴. مجموعه داده و ارزیابی: هر دو مدل بر روی یک مجموعه داده یکسان آموزش و ارزیابی می‌شوند تا تأثیر متغیرهای دیگر حذف شود. عملکرد مدل‌ها با استفاده از معیارهای استاندارد طبقه‌بندی مانند دقت (Accuracy)، صحت (Precision)، بازیابی (Recall) و امتیاز F1 سنجیده می‌شود.

اگرچه چکیده مقاله نتایج نهایی را به تفصیل بیان نمی‌کند، اما می‌توان یافته‌های محتمل و منطقی این پژوهش را بر اساس اصول نظری NLP پیش‌بینی کرد. نتایج این مقایسه احتمالاً نشان می‌دهد که هیچ یک از دو روش به طور مطلق بر دیگری برتری ندارد و انتخاب بهینه به مشخصات داده و وظیفه بستگی دارد.

• عملکرد طبقه‌بند توالی: این روش به عنوان یک خط پایه قدرتمند (Strong Baseline) عمل می‌کند. برای متون کوتاه تا متوسط (مانند توییت‌ها یا نظرات کوتاه کاربران) که پیام اصلی به صورت یکنواخت در کل متن پخش شده است، این مدل به دلیل سادگی و توانایی درک مفهوم کلی (gist) متن، عملکردی عالی از خود نشان می‌دهد.
• نقاط قوت طبقه‌بند توکن: این رویکرد در سناریوهای خاصی می‌تواند برتر باشد:
  • متون طولانی و پیچیده: در اسناد بلند مانند مقالات خبری، قراردادهای حقوقی یا گزارش‌های پزشکی، ممکن است اطلاعات کلیدی برای طبقه‌بندی تنها در چند جمله یا پاراگراف خاص نهفته باشد. طبقه‌بند توالی ممکن است با در نظر گرفتن کل متن، این سیگنال‌های مهم را تضعیف کند، در حالی که طبقه‌بند توکن می‌تواند با تمرکز بر این بخش‌های کلیدی، تصمیم دقیق‌تری بگیرد.
  • داده‌های نویزی: در متونی که حاوی اطلاعات نامرتبط یا «نویز» زیادی هستند (مثلاً نظرات کاربران که شامل بخش‌های توصیفی و بخش‌های احساسی است)، طبقه‌بند توکن می‌تواند یاد بگیرد که به توکن‌های حامل اطلاعات اصلی (مثلاً کلمات «عالی» یا «افتضاح») وزن بیشتری بدهد.
  • تفسیرپذیری (Interpretability): یک مزیت جانبی مهم طبقه‌بند توکن، افزایش تفسیرپذیری است. با این روش می‌توان به وضوح دید که کدام کلمات یا عبارات در متن بیشترین تأثیر را در تصمیم‌گیری نهایی داشته‌اند.

یک نتیجه فرضی می‌تواند این باشد که طبقه‌بند توالی در معیار کلی امتیاز F1 با اختلاف جزئی بهتر عمل می‌کند، اما طبقه‌بند توکن در دسته‌بندی اسناد طولانی‌تر یا اسنادی با سیگنال‌های متناقض، عملکرد به مراتب بهتری از خود نشان می‌دهد.

دستاورد اصلی این مقاله، ارائه یک راهنمای تجربی و مبتنی بر داده برای انتخاب معماری مناسب در یکی از پرکاربردترین وظایف NLP است. این تحقیق به جای تمرکز بر ساخت مدل‌های بزرگ‌تر، بر استفاده هوشمندانه‌تر از مدل‌های موجود تأکید دارد که به «صرفه‌جویی در هزینه‌ها» (همانطور که در چکیده ذکر شده) منجر می‌شود.

برخی از کاربردهای عملی این یافته‌ها عبارتند از:

• تحلیل احساسات مشتریان: برای تحلیل نظرات طولانی در مورد یک محصول که هم شامل نکات مثبت و هم منفی است، طبقه‌بند توکن می‌تواند با شناسایی و وزن‌دهی به عبارات کلیدی، احساس غالب را بهتر تشخیص دهد.
• مسیریابی تیکت‌های پشتیبانی: در یک سیستم پشتیبانی خودکار، ایمیل‌های طولانی مشتریان باید به دپارتمان مربوطه (فنی، فروش، مالی) ارسال شوند. یک طبقه‌بند توکن می‌تواند با شناسایی کلماتی مانند «خطای سرور»، «فاکتور» یا «تمدید اشتراک»، مسیریابی را با دقت بالاتری انجام دهد.
• دسته‌بندی اسناد حقوقی: طبقه‌بندی یک قرارداد ۱۰ صفحه‌ای به عنوان «اجاره‌نامه» یا «قرارداد فروش» ممکن است تنها به چند بند خاص بستگی داشته باشد. طبقه‌بند توکن برای این سناریو بسیار مناسب‌تر از مدلی است که تلاش می‌کند کل ۱۰ صفحه را در یک بردار خلاصه کند.

مقاله «مقایسه طبقه‌بندی توکن و توالی در طبقه‌بندی متن» یک پژوهش کاربردی و مهم است که به بررسی یک انتخاب طراحی کلیدی در استفاده از مدل‌های زبانی مدرن می‌پردازد. نتیجه‌گیری اصلی این است که انتخاب بین این دو پارادایم یک انتخاب «بسته به شرایط» (context-dependent) است.

طبقه‌بندی توالی به دلیل سادگی، پایداری و عملکرد عالی در بسیاری از وظایف عمومی، همچنان به عنوان انتخاب پیش‌فرض و یک نقطه شروع قدرتمند باقی می‌ماند. این روش برای متونی که مفهوم اصلی به طور کلی در سراسر آن توزیع شده، ایده‌آل است.

از سوی دیگر، طبقه‌بندی توکن یک جایگزین قدرتمند و انعطاف‌پذیر است که به ویژه برای متون طولانی، نویزی یا وظایفی که نیازمند تمرکز بر ویژگی‌های محلی و خاص در متن هستند، برتری خود را نشان می‌دهد. این روش درهایی را به سوی مدل‌های تفسیرپذیرتر و دقیق‌تر در سناریوهای پیچیده باز می‌کند.

این پژوهش می‌تواند زمینه را برای تحقیقات آینده، از جمله بررسی روش‌های تجمیع پیشرفته‌تر، مدل‌های ترکیبی (Hybrid) که از هر دو رویکرد بهره می‌برند، و اعمال این مقایسه بر روی زبان‌ها و دامنه‌های تخصصی دیگر، هموار سازد.