در دنیای امروز، شبکه‌های اجتماعی نقش بی‌بدیلی در تبادل اطلاعات و شکل‌گیری افکار عمومی ایفا می‌کنند. حجم عظیم داده‌های تولیدشده توسط کاربران در این شبکه‌ها، فرصت‌های بی‌شماری را برای تحلیل و درک بهتر رفتارها و گرایش‌های اجتماعی فراهم آورده است. در این میان، توییتر به عنوان یک پلتفرم میکروبلاگینگ، با میلیون‌ها توییت روزانه، منبع غنی از داده‌های متنی کوتاه و پر از نویز است. مدل‌های زبانی پیش‌آموزش‌دیده (Pre-trained Language Models – PLMs) ابزاری قدرتمند برای پردازش زبان طبیعی (Natural Language Processing – NLP) هستند، اما بسیاری از آن‌ها برای داده‌های نویزی شبکه‌های اجتماعی بهینه نشده‌اند. مقاله “TwHIN-BERT: مدل زبان پیش‌آموزش‌دیده غنی‌شده اجتماعی برای بازنمایی چندزبانه توییت‌ها در توییتر” به معرفی مدلی می‌پردازد که به طور خاص برای این منظور طراحی شده است.

این مقاله توسط تیمی از محققان به سرپرستی Xinyang Zhang، Yury Malkov، Omar Florez، Serim Park، Brian McWilliams، Jiawei Han و Ahmed El-Kishky ارائه شده است. نویسندگان این مقاله، با تخصص در زمینه‌های پردازش زبان طبیعی، یادگیری ماشین و شبکه‌های اجتماعی، به چالش‌های موجود در بازنمایی و درک توییت‌ها پرداخته‌اند. زمینه اصلی تحقیق، استفاده از مدل‌های زبانی پیش‌آموزش‌دیده و غنی‌سازی آن‌ها با اطلاعات اجتماعی موجود در شبکه‌های اجتماعی است. هدف اصلی، بهبود عملکرد مدل‌ها در وظایف مختلف پردازش زبان طبیعی مرتبط با داده‌های توییتر، از جمله پیشنهادهای اجتماعی و درک معنایی است.

مقاله TwHIN-BERT یک مدل زبانی پیش‌آموزش‌دیده چندزبانه را معرفی می‌کند که در توییتر به صورت عملیاتی پیاده‌سازی شده است. این مدل بر روی داده‌های مرتبط با دامنه (in-domain) از این شبکه اجتماعی محبوب آموزش داده شده است. تفاوت اصلی TwHIN-BERT با مدل‌های پیشین، استفاده از یک هدف اجتماعی مبتنی بر تعاملات اجتماعی غنی در یک شبکه اطلاعاتی ناهمگن توییتر (Twitter Heterogeneous Information Network – TwHIN) علاوه بر خودنظارتی مبتنی بر متن است. این مدل بر روی ۷ میلیارد توییت در بیش از ۱۰۰ زبان مختلف آموزش داده شده است و بازنمایی ارزشمندی برای مدل‌سازی متن‌های کوتاه، نویزی و تولیدشده توسط کاربر ارائه می‌دهد. ارزیابی این مدل بر روی وظایف مختلف پیشنهادهای اجتماعی چندزبانه و درک معنایی، بهبود قابل توجهی را نسبت به مدل‌های پیش‌آموزش‌دیده موجود نشان می‌دهد. نویسندگان این مدل و مجموعه داده‌های معیار پیش‌بینی هشتگ و تعاملات اجتماعی را به صورت متن‌باز برای جامعه تحقیقاتی منتشر کرده‌اند.

روش‌شناسی این تحقیق شامل چند مرحله کلیدی است:

• جمع‌آوری داده: جمع‌آوری یک مجموعه داده بزرگ از توییت‌ها (۷ میلیارد توییت) به زبان‌های مختلف (بیش از ۱۰۰ زبان).
• ساخت شبکه اطلاعاتی ناهمگن توییتر (TwHIN): ایجاد یک شبکه که در آن گره‌ها نشان‌دهنده کاربران، توییت‌ها، هشتگ‌ها و سایر موجودیت‌ها هستند و لبه‌ها نشان‌دهنده روابط بین آن‌ها (مانند دنبال کردن، ریتوییت کردن، منشن کردن).
• پیش‌آموزش مدل: آموزش مدل BERT با استفاده از دو نوع هدف:
  • هدف خودنظارتی مبتنی بر متن: مانند پوشاندن کلمات و پیش‌بینی آن‌ها (Masked Language Modeling – MLM).
  • هدف اجتماعی: استفاده از اطلاعات TwHIN برای یادگیری بازنمایی‌هایی که تعاملات اجتماعی را در نظر می‌گیرند. به عنوان مثال، پیش‌بینی اینکه آیا دو کاربر یکدیگر را دنبال می‌کنند یا خیر.
• ارزیابی مدل: ارزیابی عملکرد مدل بر روی وظایف مختلف NLP، از جمله پیشنهادهای اجتماعی (Social Recommendation) و درک معنایی (Semantic Understanding).
• مقایسه با مدل‌های پایه: مقایسه نتایج TwHIN-BERT با نتایج مدل‌های زبانی پیش‌آموزش‌دیده موجود، مانند mBERT و XLM-RoBERTa.

هدف اجتماعی مورد استفاده در این روش‌شناسی، نکته کلیدی و نوآورانه این تحقیق است. این هدف به مدل کمک می‌کند تا ارتباطات و روابط اجتماعی را درک کند و بازنمایی‌های بهتری از توییت‌ها ایجاد کند. به عنوان مثال، اگر دو کاربر اغلب با یکدیگر تعامل داشته باشند (مثلاً ریتوییت کنند یا منشن کنند)، مدل یاد می‌گیرد که بازنمایی‌های مشابهی برای توییت‌های آن‌ها ایجاد کند.

نتایج این تحقیق نشان می‌دهد که TwHIN-BERT به طور قابل توجهی از مدل‌های زبانی پیش‌آموزش‌دیده موجود در وظایف مختلف مرتبط با داده‌های توییتر بهتر عمل می‌کند. برخی از یافته‌های کلیدی عبارتند از:

• بهبود در پیشنهادهای اجتماعی: TwHIN-BERT توانایی بهتری در پیشنهاد کاربران و محتوای مرتبط به کاربران دارد. این امر به دلیل در نظر گرفتن اطلاعات اجتماعی در فرایند آموزش است.
• بهبود در درک معنایی: TwHIN-BERT در درک معنای توییت‌ها و روابط بین آن‌ها بهتر عمل می‌کند. این امر به دلیل توانایی مدل در یادگیری از بافت اجتماعی توییت‌ها است.
• عملکرد چندزبانه قوی: TwHIN-BERT به دلیل آموزش بر روی مجموعه داده‌ای بزرگ و متنوع از زبان‌ها، عملکرد خوبی در زبان‌های مختلف دارد.
• اهمیت اطلاعات اجتماعی: نتایج این تحقیق نشان می‌دهد که استفاده از اطلاعات اجتماعی در آموزش مدل‌های زبانی، می‌تواند به طور قابل توجهی عملکرد آن‌ها را در شبکه‌های اجتماعی بهبود بخشد.

به عنوان مثال، در یک آزمایش پیشنهاد هشتگ، TwHIN-BERT توانست هشتگ‌های مرتبط‌تری را به توییت‌ها پیشنهاد دهد نسبت به مدل‌های دیگر. این امر به دلیل این است که TwHIN-BERT توانایی درک ارتباط بین هشتگ‌ها و کاربران مختلف را دارد.

TwHIN-BERT دارای کاربردهای متنوعی در زمینه‌های مختلف است:

• بهبود سیستم‌های پیشنهاد محتوا در توییتر: کمک به کاربران در پیدا کردن محتوای مرتبط‌تر و جذاب‌تر.
• تشخیص اخبار جعلی و اطلاعات نادرست: شناسایی توییت‌هایی که حاوی اطلاعات نادرست یا گمراه‌کننده هستند.
• تحلیل احساسات و افکار عمومی: درک بهتر نظرات و احساسات کاربران در مورد موضوعات مختلف.
• بهبود سیستم‌های ترجمه ماشینی: ارائه ترجمه‌های دقیق‌تر و روان‌تر برای توییت‌ها.
• تحقیقات علوم اجتماعی: استفاده از این مدل برای مطالعه رفتارها و گرایش‌های اجتماعی در توییتر.

یکی از دستاوردهای مهم این مقاله، ارائه یک مدل زبانی پیش‌آموزش‌دیده است که به طور خاص برای داده‌های نویزی شبکه‌های اجتماعی بهینه شده است. این مدل می‌تواند به عنوان یک ابزار قدرتمند برای محققان و توسعه‌دهندگان در زمینه‌های مختلف مورد استفاده قرار گیرد. همچنین، انتشار مجموعه داده‌های معیار پیش‌بینی هشتگ و تعاملات اجتماعی، گام مهمی در جهت پیشبرد تحقیقات در این زمینه است.

مقاله TwHIN-BERT یک پیشرفت مهم در زمینه پردازش زبان طبیعی در شبکه‌های اجتماعی است. این مدل با بهره‌گیری از اطلاعات اجتماعی موجود در توییتر، توانسته است عملکرد بهتری نسبت به مدل‌های زبانی پیش‌آموزش‌دیده موجود در وظایف مختلف مرتبط با داده‌های توییتر به دست آورد. این تحقیق نشان می‌دهد که استفاده از اطلاعات اجتماعی می‌تواند به طور قابل توجهی عملکرد مدل‌های زبانی را در شبکه‌های اجتماعی بهبود بخشد. انتشار این مدل و مجموعه داده‌های معیار به صورت متن‌باز، فرصت‌های جدیدی را برای تحقیقات و توسعه در این زمینه فراهم می‌آورد.

در آینده، می‌توان بر روی توسعه روش‌های جدید برای ادغام اطلاعات اجتماعی در آموزش مدل‌های زبانی و همچنین بررسی عملکرد این مدل‌ها در سایر شبکه‌های اجتماعی تمرکز کرد. همچنین، تحقیق در مورد استفاده از TwHIN-BERT برای مقابله با چالش‌های مهمی مانند اخبار جعلی و اطلاعات نادرست در شبکه‌های اجتماعی، از اهمیت بالایی برخوردار است.