در عصر حاضر، پردازش زبان طبیعی (NLP) به شدت به مدل‌های زبانی با ظرفیت بالا وابسته است. این مدل‌ها معمولاً بر روی پیام‌های منفرد آموزش داده می‌شوند و هدف آن‌ها پیش‌بینی یک یا چند توکن است. با این حال، مدل‌سازی زبان انسانی در سطوح بالاتر (به عنوان مثال، توالی پیام‌ها) کمتر مورد توجه قرار گرفته است. مقاله حاضر با عنوان “MeLT: ترانسفورمر سطح پیام با بازنمایی‌های متنی ماسک‌شده به عنوان پیش‌آموزش برای تشخیص موضع” به بررسی این کمبود می‌پردازد و رویکرد نوینی را برای استفاده از اطلاعات متنی در وظایف پردازش زبان طبیعی ارائه می‌دهد.

این مقاله توسط Matthew Matero، Nikita Soni، Niranjan Balasubramanian و H. Andrew Schwartz به رشته تحریر درآمده است. نویسندگان، با تخصص در زمینه‌های پردازش زبان طبیعی، یادگیری ماشین و تحلیل رسانه‌های اجتماعی، به دنبال بهبود عملکرد مدل‌های زبانی در وظایفی هستند که نیازمند درک عمیق‌تری از متن و روابط بین پیام‌ها هستند. این تحقیق در دسته‌بندی “محاسبات و زبان” قرار می‌گیرد و بر کاربرد ترانسفورمرها در تحلیل متون اجتماعی تمرکز دارد.

هدف اصلی این مقاله، معرفی مدل “ترانسفورمر سطح پیام” (MeLT) است. این مدل، یک رمزگذار سلسله مراتبی پیام است که بر روی داده‌های توییتر پیش‌آموزش داده شده و سپس در وظیفه تشخیص موضع (stance detection) به کار گرفته می‌شود. تشخیص موضع، به عنوان وظیفه‌ای که از دانستن زمینه پیام (یعنی، توالی پیام‌های قبلی) سود می‌برد، مورد تاکید قرار گرفته است. MeLT با استفاده از نوعی از مدل‌سازی زبان ماسک‌شده آموزش داده می‌شود. به جای پیش‌بینی توکن‌ها، این مدل سعی می‌کند یک بردار پیام ماسک‌شده (تجمیع شده) را از طریق تلفات بازسازی تولید کند. نتایج نشان می‌دهد که استفاده از این ترانسفورمر سطح پیام ماسک‌شده پیش‌آموزش‌شده در وظیفه پایین‌دستی تشخیص موضع، به عملکرد F1 معادل 67٪ دست می‌یابد.

به طور خلاصه، مقاله یک مدل جدید به نام MeLT را معرفی می‌کند که با استفاده از اطلاعات متنی پیام‌ها در رسانه‌های اجتماعی، عملکرد وظیفه تشخیص موضع را بهبود می‌بخشد. این مدل از یک روش پیش‌آموزش مبتنی بر ماسک کردن و بازسازی پیام‌ها استفاده می‌کند.

روش‌شناسی این تحقیق شامل چند مرحله کلیدی است:

• جمع‌آوری داده‌ها: مجموعه داده بزرگی از توییت‌ها جمع‌آوری شده است. این داده‌ها شامل توالی پیام‌های یک کاربر در طول زمان است.
• پیش‌آموزش مدل MeLT: مدل MeLT بر روی مجموعه داده توییت‌ها با استفاده از یک روش مدل‌سازی زبان ماسک‌شده آموزش داده می‌شود. در این روش، بخشی از پیام‌ها (به صورت برداری) ماسک می‌شوند و مدل تلاش می‌کند تا آن‌ها را بازسازی کند. این فرآیند به مدل کمک می‌کند تا روابط بین پیام‌ها و زمینه آن‌ها را یاد بگیرد.
• وظیفه تشخیص موضع: مدل MeLT پیش‌آموزش‌شده بر روی یک مجموعه داده مربوط به تشخیص موضع، fine-tune می‌شود. هدف از این مرحله، تطبیق مدل با وظیفه خاص تشخیص موضع است.
• ارزیابی عملکرد: عملکرد مدل MeLT در وظیفه تشخیص موضع با استفاده از معیار F1 ارزیابی می‌شود. این معیار، تعادل بین دقت (precision) و بازخوانی (recall) را در نظر می‌گیرد.

به عبارت دیگر، این پژوهش از یک رویکرد یادگیری انتقالی (transfer learning) استفاده می‌کند. ابتدا، یک مدل عمومی بر روی یک مجموعه داده بزرگ و غیربرچسب‌گذاری شده (توییتر) آموزش داده می‌شود. سپس، این مدل برای یک وظیفه خاص (تشخیص موضع) با استفاده از یک مجموعه داده برچسب‌گذاری شده کوچک‌تر، fine-tune می‌شود. این روش به مدل اجازه می‌دهد تا از دانش عمومی خود برای بهبود عملکرد در وظیفه خاص استفاده کند.

نتایج این تحقیق نشان می‌دهد که مدل MeLT در مقایسه با مدل‌های پایه (baseline) در وظیفه تشخیص موضع، عملکرد بهتری دارد. مهم‌ترین یافته‌های کلیدی عبارتند از:

• مدل MeLT با استفاده از اطلاعات متنی پیام‌ها، قادر است دقت بالاتری در تشخیص موضع داشته باشد.
• پیش‌آموزش مدل با استفاده از روش مدل‌سازی زبان ماسک‌شده، به طور قابل توجهی عملکرد آن را بهبود می‌بخشد.
• مدل MeLT می‌تواند به عنوان یک رویکرد موثر برای استفاده از اطلاعات متنی در وظایف پردازش زبان طبیعی در رسانه‌های اجتماعی به کار رود.
• به طور خاص، مدل به F1 score برابر با 67% در وظیفه تشخیص موضع دست یافته است.

به عنوان مثال، فرض کنید کاربری در توییتر در مورد یک موضوع خاص (مانند تغییرات آب و هوایی) چندین توییت ارسال کرده است. مدل MeLT با تحلیل توالی این توییت‌ها، می‌تواند موضع کاربر را (موافق، مخالف، بی‌طرف) با دقت بیشتری نسبت به زمانی که تنها به یک توییت منفرد توجه شود، تشخیص دهد. این امر به دلیل آن است که مدل قادر است روابط بین توییت‌ها و زمینه کلی بحث را درک کند.

این تحقیق دارای کاربردهای متعددی در زمینه‌های مختلف است:

• تحلیل رسانه‌های اجتماعی: مدل MeLT می‌تواند برای تحلیل نظرات و نگرش‌های کاربران در رسانه‌های اجتماعی در مورد موضوعات مختلف مورد استفاده قرار گیرد.
• تشخیص اخبار جعلی: با تحلیل موضع کاربران در مورد اخبار مختلف، می‌توان به تشخیص اخبار جعلی و اطلاعات نادرست کمک کرد.
• پاسخگویی به مشتریان: شرکت‌ها می‌توانند از مدل MeLT برای درک بهتر نظرات مشتریان و بهبود خدمات خود استفاده کنند.
• سیاست‌گذاری عمومی: دولت‌ها می‌توانند از مدل MeLT برای تحلیل نظرات عمومی در مورد سیاست‌های مختلف و اتخاذ تصمیمات آگاهانه‌تر استفاده کنند.

دستاورد اصلی این تحقیق، ارائه یک رویکرد جدید و موثر برای استفاده از اطلاعات متنی در وظایف پردازش زبان طبیعی در رسانه‌های اجتماعی است. مدل MeLT نشان می‌دهد که با در نظر گرفتن زمینه پیام‌ها، می‌توان دقت مدل‌های زبانی را در وظایفی مانند تشخیص موضع به طور قابل توجهی بهبود بخشید. این تحقیق، راه را برای توسعه مدل‌های زبانی پیشرفته‌تر که قادر به درک عمیق‌تری از زبان انسانی هستند، هموار می‌کند.

مقاله “MeLT: ترانسفورمر سطح پیام با بازنمایی‌های متنی ماسک‌شده به عنوان پیش‌آموزش برای تشخیص موضع” یک گام مهم در جهت بهبود عملکرد مدل‌های زبانی در وظایف پردازش زبان طبیعی در رسانه‌های اجتماعی است. مدل MeLT با استفاده از اطلاعات متنی پیام‌ها و یک روش پیش‌آموزش مبتنی بر ماسک کردن و بازسازی پیام‌ها، عملکرد قابل توجهی در وظیفه تشخیص موضع نشان داده است. این تحقیق، کاربردهای گسترده‌ای در زمینه‌های مختلف دارد و می‌تواند به تحلیل بهتر رسانه‌های اجتماعی، تشخیص اخبار جعلی، پاسخگویی به مشتریان و سیاست‌گذاری عمومی کمک کند. با توجه به اهمیت روزافزون رسانه‌های اجتماعی در زندگی روزمره، توسعه مدل‌های زبانی پیشرفته‌تر که قادر به درک عمیق‌تری از زبان انسانی هستند، از اهمیت بسزایی برخوردار است.

در نهایت، این تحقیق نشان می‌دهد که با تمرکز بر مدل‌سازی روابط بین پیام‌ها و استفاده از روش‌های پیش‌آموزش مناسب، می‌توان به بهبود قابل توجهی در عملکرد مدل‌های زبانی در وظایف پیچیده پردازش زبان طبیعی دست یافت.