پردازش زبان طبیعی (NLP) به عنوان یکی از شاخه‌های مهم هوش مصنوعی، نقش بسزایی در تعامل بین انسان و ماشین ایفا می‌کند. با پیشرفت‌های اخیر در یادگیری عمیق و ظهور مدل‌های زبانی از پیش آموزش‌دیده بزرگ، شاهد بهبود چشمگیری در عملکرد سیستم‌های NLP در وظایف مختلف بوده‌ایم. این مدل‌ها، که با حجم عظیمی از داده‌های متنی آموزش داده می‌شوند، قادرند الگوهای پیچیده زبانی را فراگرفته و در وظایف پایین‌دستی (downstream tasks) مانند تحلیل احساسات، ترجمه ماشینی، و پاسخگویی به سوالات، به نتایج قابل توجهی دست یابند. با این حال، همچنان جای بهبود در نحوه بازنمایی (representation) توکن‌ها (tokens) یا همان واحدهای سازنده متن (کلمات، زیرکلمات، و غیره) در این مدل‌ها وجود دارد. این مقاله به بررسی روشی نوین برای بهبود بازنمایی توکن‌ها در مدل‌های زبانی از پیش آموزش‌دیده می‌پردازد.

این مقاله توسط Mengyuan Zhou, Jian Ma, Haiqin Yang, Lianxin Jiang و Yang Mo به رشته تحریر درآمده است. نویسندگان در زمینه هوش مصنوعی و به طور خاص پردازش زبان طبیعی فعالیت دارند. زمینه تحقیقاتی آن‌ها بر بهبود عملکرد مدل‌های زبانی بزرگ از طریق طراحی ماژول‌های توجه کارآمد و موثر تمرکز دارد.

این مقاله یک ماژول ساده اما کارآمد به نام “ماژول توجه متوالی” (Sequential Attention Module – SAM) را معرفی می‌کند که به عنوان یک افزونه (plug-and-play) بر روی بازنمایی توکن‌های یادگرفته‌شده از یک مدل زبانی از پیش آموزش‌دیده اعمال می‌شود. هدف اصلی SAM بهبود کیفیت بازنمایی توکن‌ها و در نتیجه، ارتقای عملکرد مدل در وظایف مختلف NLP است.

SAM از دو ماژول توجه اصلی تشکیل شده است که به صورت متوالی عمل می‌کنند:

• ماژول توجه ویژگی‌محور (Feature-wise Attention Module – FAM): این ماژول اهمیت هر یک از ویژگی‌ها (ابعاد) در بردار بازنمایی توکن را شناسایی کرده و با استفاده از ضرب داخلی (dot-product)، تاثیر آن‌ها را بر بازنمایی اصلی توکن تقویت می‌کند. به بیان ساده‌تر، FAM مشخص می‌کند که کدام ویژگی‌ها در یک کلمه خاص مهم‌تر هستند و وزن آن‌ها را افزایش می‌دهد.
• ماژول توجه توکن‌محور (Token-wise Attention Module – TAM): این ماژول به صورت توکنی (کلمه‌ای) عمل کرده و وزن ویژگی‌ها را مجدداً تنظیم می‌کند. TAM به دنبال یافتن ارتباط بین توکن‌های مختلف در یک جمله یا متن است و بر اساس این ارتباط، وزن ویژگی‌ها را تنظیم می‌کند.

علاوه بر این، نویسندگان یک فیلتر تطبیقی (adaptive filter) را بر روی FAM اعمال می‌کنند تا از تاثیر نویز جلوگیری کرده و جذب اطلاعات را افزایش دهند. به این ترتیب، FAM قادر است با دقت بیشتری ویژگی‌های مهم را شناسایی کند و از تاثیر اطلاعات غیرمرتبط جلوگیری کند.

نتایج آزمایش‌های گسترده نشان می‌دهد که SAM می‌تواند به طور قابل توجهی عملکرد مدل‌های زبانی را در وظایف مختلف NLP بهبود بخشد. به عنوان مثال، SAM نقش کلیدی در راهکار برنده در دو زیرمسئله از SemEval’21 Task 7 ایفا کرده است. همچنین، این ماژول در تحلیل احساسات و سه وظیفه رایج دیگر NLP، به طور مداوم از بهترین روش‌های موجود (state-of-the-art baselines) عملکرد بهتری داشته است.

روش‌شناسی تحقیق در این مقاله بر پایه آزمایش‌های تجربی گسترده استوار است. نویسندگان ابتدا SAM را بر روی مدل‌های زبانی از پیش آموزش‌دیده مختلف (مانند BERT، RoBERTa و غیره) پیاده‌سازی کرده و سپس عملکرد آن‌ها را در وظایف مختلف NLP ارزیابی کرده‌اند.

برای ارزیابی عملکرد SAM، نویسندگان از داده‌مجموعه‌های استاندارد و معیارهای ارزیابی رایج در هر وظیفه استفاده کرده‌اند. به عنوان مثال، برای تحلیل احساسات، از داده‌مجموعه IMDb و معیار دقت (accuracy) استفاده شده است. برای سایر وظایف نیز، داده‌مجموعه‌های و معیارهای متناسب با آن وظایف به کار رفته‌اند.

نویسندگان همچنین برای بررسی تاثیر هر یک از اجزای SAM (FAM و TAM) آزمایش‌های ablation study انجام داده‌اند. در این آزمایش‌ها، هر بار یک جزء از SAM حذف شده و عملکرد مدل ارزیابی می‌شود. این آزمایش‌ها به شناسایی نقش هر یک از اجزا در بهبود عملکرد کلی SAM کمک می‌کند.

علاوه بر این، نویسندگان به بررسی تاثیر فیلتر تطبیقی بر روی FAM پرداخته‌اند. آن‌ها با اعمال و عدم اعمال این فیلتر، عملکرد FAM را مقایسه کرده و نشان داده‌اند که این فیلتر می‌تواند به طور قابل توجهی از تاثیر نویز جلوگیری کرده و جذب اطلاعات را بهبود بخشد.

مثال عملی: فرض کنید می‌خواهیم جمله “این فیلم بسیار عالی بود” را با استفاده از SAM تحلیل احساسات کنیم. ابتدا مدل زبانی از پیش آموزش‌دیده، بازنمایی برداری برای هر یک از توکن‌ها (کلمات) در این جمله تولید می‌کند. سپس FAM، با بررسی ابعاد مختلف بردار بازنمایی هر کلمه، اهمیت آن‌ها را تعیین می‌کند. به عنوان مثال، ممکن است FAM تشخیص دهد که در کلمه “عالی”، ویژگی‌هایی که نشان‌دهنده “کیفیت بالا” و “احساس مثبت” هستند، اهمیت بیشتری دارند. سپس TAM با بررسی ارتباط بین کلمات مختلف در جمله، وزن ویژگی‌ها را مجدداً تنظیم می‌کند. به عنوان مثال، TAM ممکن است تشخیص دهد که کلمه “بسیار” نقش تقویت‌کننده در جمله دارد و وزن ویژگی‌های مربوط به “احساس مثبت” در کلمه “عالی” را افزایش دهد. در نهایت، بازنمایی بهبودیافته توکن‌ها به یک طبقه‌بندی‌کننده (classifier) ارسال می‌شود تا احساسات موجود در جمله را تعیین کند.

یافته‌های کلیدی این مقاله عبارتند از:

• SAM می‌تواند به طور قابل توجهی عملکرد مدل‌های زبانی از پیش آموزش‌دیده را در وظایف مختلف NLP بهبود بخشد.
• FAM و TAM به صورت متوالی، نقش مکمل در بهبود بازنمایی توکن‌ها ایفا می‌کنند.
• فیلتر تطبیقی بر روی FAM می‌تواند از تاثیر نویز جلوگیری کرده و جذب اطلاعات را افزایش دهد.
• SAM یک ماژول افزونه ساده و کارآمد است که به راحتی می‌تواند بر روی مدل‌های زبانی مختلف پیاده‌سازی شود.
• SAM در وظایف مختلف NLP از جمله تحلیل احساسات، دسته‌بندی متن و پاسخگویی به سوالات، عملکرد بهتری نسبت به روش‌های موجود ارائه می‌دهد.

نتایج این مقاله می‌تواند کاربردهای گسترده‌ای در زمینه‌های مختلف NLP داشته باشد. برخی از کاربردهای بالقوه SAM عبارتند از:

• بهبود عملکرد سیستم‌های تحلیل احساسات در شبکه‌های اجتماعی و نظرسنجی‌های آنلاین
• ارتقای کیفیت سیستم‌های ترجمه ماشینی
• بهبود دقت سیستم‌های پاسخگویی به سوالات
• افزایش کارایی سیستم‌های خلاصه‌سازی متن
• بهبود تشخیص اسپم (spam) و اخبار جعلی

دستاوردها: یکی از مهم‌ترین دستاوردهای این مقاله، ارائه یک روش ساده و کارآمد برای بهبود بازنمایی توکن‌ها در مدل‌های زبانی است. SAM یک ماژول افزونه است که به راحتی می‌تواند بر روی مدل‌های زبانی مختلف پیاده‌سازی شود و بدون نیاز به تغییرات اساسی در ساختار مدل، عملکرد آن را بهبود بخشد. این ویژگی، SAM را به یک ابزار ارزشمند برای محققان و توسعه‌دهندگان NLP تبدیل می‌کند.

همچنین، موفقیت SAM در SemEval’21 Task 7 نشان‌دهنده پتانسیل بالای این ماژول در حل مسائل پیچیده NLP است. این موفقیت می‌تواند انگیزه‌ای برای تحقیقات بیشتر در زمینه طراحی ماژول‌های توجه کارآمد و موثر باشد.

این مقاله یک ماژول توجه متوالی (SAM) را معرفی می‌کند که به عنوان یک افزونه بر روی مدل‌های زبانی از پیش آموزش‌دیده اعمال شده و به طور قابل توجهی عملکرد آن‌ها را در وظایف مختلف NLP بهبود می‌بخشد. SAM با استفاده از دو ماژول توجه اصلی (FAM و TAM) و یک فیلتر تطبیقی، قادر است بازنمایی توکن‌ها را بهبود بخشیده و اطلاعات مهم را از نویز تفکیک کند.

نتایج آزمایش‌های گسترده نشان می‌دهد که SAM می‌تواند به طور مداوم از بهترین روش‌های موجود در وظایف مختلف NLP عملکرد بهتری داشته باشد. سادگی و کارآمدی SAM آن را به یک ابزار ارزشمند برای محققان و توسعه‌دهندگان NLP تبدیل می‌کند.

تحقیقات آینده می‌تواند بر بررسی تاثیر SAM بر روی مدل‌های زبانی بزرگتر و پیچیده‌تر، طراحی ماژول‌های توجه کارآمدتر، و کاربرد SAM در زمینه‌های جدید NLP تمرکز کند. همچنین، بررسی تاثیر SAM بر روی زبان‌های مختلف و وظایف خاص هر زبان می‌تواند به توسعه هر چه بیشتر این ماژول کمک کند.