در عصر حاضر، با گسترش روزافزون استفاده از شبکه‌های اجتماعی و فضاهای آنلاین، مقابله با محتوای سمی و توهین‌آمیز به یک چالش جدی تبدیل شده است. این نوع محتوا می‌تواند تاثیرات منفی عمیقی بر سلامت روان کاربران و سلامت کلی جوامع آنلاین داشته باشد. مقاله “UoB at SemEval-2021 Task 5: Extending Pre-Trained Language Models to Include Task and Domain-Specific Information for Toxic Span Prediction” به بررسی روشی برای شناسایی و پیش‌بینی دقیق‌تر بخش‌های سمی در متون آنلاین می‌پردازد. این مقاله با ارائه راهکارهایی برای توسعه و بهبود مدل‌های زبانی از پیش‌آموزش‌دیده، گامی مهم در جهت مقابله با این معضل برمی‌دارد.

این مقاله توسط اریک یان و هریش تایار مادابوشی نوشته شده است. این محققان با تخصص در زمینه پردازش زبان طبیعی (NLP) و یادگیری ماشین، به بررسی چگونگی استفاده از مدل‌های زبانی پیشرفته برای حل مشکلات دنیای واقعی، از جمله شناسایی محتوای سمی، پرداخته‌اند. زمینه تحقیقاتی آن‌ها در حوزه محاسبات و زبان قرار می‌گیرد، و تمرکز آن‌ها بر توسعه الگوریتم‌ها و مدل‌هایی است که می‌توانند زبان انسانی را درک و پردازش کنند.

چکیده این مقاله به این موضوع اشاره دارد که سمیت در رسانه‌های اجتماعی بسیار شایع است و تهدیدی جدی برای سلامت جوامع آنلاین محسوب می‌شود. معرفی اخیر مدل‌های زبانی از پیش‌آموزش‌دیده، که به نتایج فوق‌العاده‌ای در بسیاری از وظایف پردازش زبان طبیعی دست یافته‌اند، روش برخورد ما با این حوزه را متحول کرده است. با این حال، ماهیت ذاتی پیش‌آموزش به این معنی است که احتمالاً این مدل‌ها اطلاعات آماری خاص وظیفه یا دانش خاص دامنه را به طور کامل درک نمی‌کنند. علاوه بر این، بیشتر پیاده‌سازی‌های این مدل‌ها معمولاً از فیلدهای تصادفی شرطی (CRF)، روشی برای طبقه‌بندی همزمان توکن‌ها، استفاده نمی‌کنند. نویسندگان نشان می‌دهند که این تغییرات می‌تواند عملکرد مدل را در وظیفه تشخیص گستره‌های سمی در SemEval-2021 بهبود بخشد و به امتیازی در حدود 4 درصد امتیاز کمتر از بهترین تیم دست یابد. به طور خلاصه، مقاله راهکارهایی را برای بهبود عملکرد مدل‌های زبانی از پیش‌آموزش‌دیده در شناسایی دقیق‌تر بخش‌های سمی متون ارائه می‌دهد.

این بهبود از طریق افزودن اطلاعات خاص وظیفه و دامنه و همچنین استفاده از روش‌های طبقه‌بندی همزمان توکن‌ها (CRF) حاصل می‌شود.

روش‌شناسی این تحقیق بر پایه توسعه و تعدیل مدل‌های زبانی از پیش‌آموزش‌دیده است. به طور خاص، نویسندگان از این روش‌ها برای بهبود دقت مدل در شناسایی گستره‌های سمی استفاده کرده‌اند:

• افزودن اطلاعات خاص وظیفه: این مورد شامل آموزش بیشتر مدل با استفاده از داده‌های خاص مربوط به وظیفه شناسایی سمیت است. برای مثال، می‌توان مدل را با مجموعه‌ای از متون که شامل نمونه‌های سمی و غیرسمی هستند، آموزش داد.
• افزودن اطلاعات خاص دامنه: این مورد شامل ادغام دانش مربوط به زمینه‌های خاص (مانند شبکه‌های اجتماعی خاص یا موضوعات خاص) در مدل است. به عنوان مثال، اگر هدف شناسایی سمیت در توییتر باشد، می‌توان مدل را با داده‌های مربوط به توییت‌ها و اصطلاحات رایج در این پلتفرم آموزش داد.
• استفاده از فیلدهای تصادفی شرطی (CRF): CRF یک روش آماری برای طبقه‌بندی دنباله‌ها است. در این مورد، CRF برای طبقه‌بندی هر توکن در یک متن به عنوان سمی یا غیرسمی استفاده می‌شود، در حالی که وابستگی‌های بین توکن‌ها را در نظر می‌گیرد. این امر به مدل کمک می‌کند تا تصمیمات دقیق‌تری بگیرد و از اشتباهات رایج، مانند شناسایی کلمات منفرد به عنوان سمی در حالی که در بافت کلی جمله غیرسمی هستند، جلوگیری کند.

برای مثال، فرض کنید جمله‌ای مانند “این فیلم خیلی بد بود” وجود دارد. یک مدل ساده ممکن است کلمه “بد” را به تنهایی به عنوان سمی شناسایی کند. اما با استفاده از CRF و در نظر گرفتن بافت جمله، مدل می‌تواند تشخیص دهد که در این جمله، “بد” به معنای توهین‌آمیز نیست و صرفاً یک نظر منفی است.

یافته‌های کلیدی این تحقیق نشان می‌دهد که:

• توسعه مدل‌های زبانی از پیش‌آموزش‌دیده با افزودن اطلاعات خاص وظیفه و دامنه، به طور قابل توجهی دقت آن‌ها را در شناسایی گستره‌های سمی افزایش می‌دهد.
• استفاده از فیلدهای تصادفی شرطی (CRF) به عنوان یک لایه اضافی، به بهبود بیشتر عملکرد مدل کمک می‌کند.
• مدل توسعه‌یافته در این تحقیق توانسته است عملکرد قابل قبولی در رقابت SemEval-2021 کسب کند و تنها 4 درصد از بهترین تیم فاصله داشته باشد. این نشان می‌دهد که روش ارائه شده در این مقاله، یک رویکرد امیدوارکننده برای مقابله با محتوای سمی در فضای آنلاین است.

به عبارت دیگر، این مقاله نشان می‌دهد که مدل‌های زبانی از پیش‌آموزش‌دیده به تنهایی برای شناسایی دقیق سمیت کافی نیستند و نیاز به بهبود و شخصی‌سازی دارند. با افزودن اطلاعات مرتبط و استفاده از روش‌های پیشرفته مانند CRF، می‌توان به نتایج بهتری دست یافت.

کاربردهای این تحقیق بسیار گسترده و مهم هستند. از جمله کاربردهای اصلی می‌توان به موارد زیر اشاره کرد:

• بهبود فیلترینگ محتوای سمی در شبکه‌های اجتماعی: با استفاده از مدل‌های توسعه‌یافته، می‌توان به طور خودکار محتوای سمی و توهین‌آمیز را در شبکه‌های اجتماعی شناسایی و حذف کرد، در نتیجه فضایی سالم‌تر و امن‌تر برای کاربران ایجاد کرد.
• کمک به اعتدال‌گران انسانی: مدل‌های شناسایی سمیت می‌توانند به اعتدال‌گران انسانی کمک کنند تا حجم زیادی از محتوا را به سرعت بررسی کنند و محتوای سمی را برای حذف یا اقدامات دیگر مشخص کنند.
• تحلیل نظرات و بازخوردهای کاربران: با شناسایی بخش‌های سمی در نظرات و بازخوردهای کاربران، می‌توان مشکلات و نقاط ضعف محصولات و خدمات را شناسایی کرد و برای بهبود آن‌ها اقدام کرد.
• تشخیص حملات سایبری و تهدیدات آنلاین: مدل‌های شناسایی سمیت می‌توانند برای شناسایی حملات سایبری و تهدیدات آنلاین، مانند انتشار اطلاعات نادرست و تحریک به خشونت، استفاده شوند.

دستاورد اصلی این تحقیق، ارائه یک روش موثر برای توسعه مدل‌های زبانی از پیش‌آموزش‌دیده برای شناسایی دقیق‌تر محتوای سمی است. این روش می‌تواند به بهبود سلامت جوامع آنلاین و مقابله با تهدیدات ناشی از محتوای سمی کمک کند.

به عنوان یک مثال عملی، فرض کنید یک شرکت می‌خواهد کیفیت خدمات مشتری خود را بهبود بخشد. با استفاده از این مدل، می‌توانند به طور خودکار نظرات و بازخوردهای مشتریان را تحلیل کرده و بخش‌های سمی و توهین‌آمیز را شناسایی کنند. این اطلاعات می‌تواند به آن‌ها کمک کند تا مشکلات مربوط به خدمات مشتری را شناسایی کرده و برای حل آن‌ها اقدام کنند.

در مجموع، مقاله “UoB at SemEval-2021 Task 5: Extending Pre-Trained Language Models to Include Task and Domain-Specific Information for Toxic Span Prediction” یک گام مهم در جهت مقابله با محتوای سمی در فضای آنلاین است. این مقاله با ارائه راهکارهایی برای توسعه و بهبود مدل‌های زبانی از پیش‌آموزش‌دیده، نشان می‌دهد که می‌توان با افزودن اطلاعات خاص وظیفه و دامنه و استفاده از روش‌های پیشرفته مانند CRF، دقت این مدل‌ها را در شناسایی گستره‌های سمی به طور قابل توجهی افزایش داد. این تحقیق می‌تواند کاربردهای گسترده‌ای در زمینه‌های مختلف، از جمله فیلترینگ محتوا، کمک به اعتدال‌گران انسانی، تحلیل نظرات کاربران و تشخیص حملات سایبری داشته باشد. به نظر می‌رسد که این رویکرد، نویدبخش آینده‌ای روشن‌تر در زمینه مقابله با سمیت آنلاین است و می‌تواند به ایجاد فضاهای آنلاین سالم‌تر و امن‌تر برای همه کمک کند.