ترجمه فارسی مقاله ارزیابی صحت و کیفیت شرح تصاویر از طریق تحلیل های احساسی و معنایی

چکیده

The growth of deep learning (DL) relies heavily on huge amounts of labelled data for tasks such as natural language processing and computer vision. Specifically, in image-to-text or image-to-image pipelines, opinion (sentiment) may be inadvertently learned by a model from human-generated image captions. Additionally, learning may be affected by the variety and diversity of the provided captions. While labelling large datasets has largely relied on crowd-sourcing or data-worker pools, evaluating the quality of such training data is crucial. This study proposes an evaluation method focused on sentiment and semantic richness. That method was applied to the COCO-MS dataset, comprising approximately 150K images with segmented objects and corresponding crowd-sourced captions. We employed pre-trained models (Twitter-RoBERTa-base and BERT-base) to extract sentiment scores and variability of semantic embeddings from captions. The relation of the sentiment score and semantic variability with object categories was examined using multiple linear regression. Results indicate that while most captions were neutral, about 6% of the captions exhibited strong sentiment influenced by specific object categories. Semantic variability of within-image captions remained low and uncorrelated with object categories. Model-generated captions showed less than 1.5% of strong sentiment which was not influenced by object categories and did not correlate with the sentiment of the respective human-generated captions. This research demonstrates an approach to assess the quality of crowd- or worker-sourced captions informed by image content.

چکیده به فارسی (ترجمه ماشینی)

رشد یادگیری عمیق (DL) به مقدار زیادی از داده های دارای برچسب برای کارهایی مانند پردازش زبان طبیعی و دید رایانه متکی است.به طور خاص ، در خطوط لوله تصویر به متن یا تصویر به تصویر ، نظر (احساسات) ممکن است سهواً توسط یک مدل از زیرنویس های تصویر تولید شده توسط انسان آموخته شود.علاوه بر این ، یادگیری ممکن است تحت تأثیر تنوع و تنوع زیرنویس های ارائه شده باشد.در حالی که برچسب زدن به مجموعه داده های بزرگ تا حد زیادی به استخرهای جمع آوری جمعیت یا کارگران داده متکی است ، ارزیابی کیفیت چنین داده های آموزشی بسیار مهم است.این مطالعه یک روش ارزیابی با محوریت احساسات و غنای معنایی را پیشنهاد می کند.این روش برای مجموعه داده Coco-MS اعمال شد ، که شامل تقریباً 150K تصاویر با اشیاء تقسیم شده و زیرنویس های مربوط به جمعیت است.ما برای استخراج نمرات احساسات و تغییرپذیری تعبیه های معنایی از زیرنویس ها ، از مدل های از پیش آموزش (توییتر-رابتا-پایه و BERT-BASE) استفاده کردیم.رابطه نمره احساسات و تنوع معنایی با دسته اشیاء با استفاده از رگرسیون خطی چندگانه مورد بررسی قرار گرفت.نتایج نشان می دهد که در حالی که بیشتر زیرنویس ها خنثی بودند ، حدود 6 ٪ از زیرنویس ها احساسات محکمی را تحت تأثیر دسته های شیء خاص به نمایش می گذارند.تنوع معنایی زیرنویس های درون تصویر با دسته های شیء کم و نامربوط باقی مانده است.زیرنویس های تولید شده از مدل کمتر از 1.5 ٪ از احساسات قوی را نشان می دهد که تحت تأثیر دسته های شیء قرار نگرفته و با احساسات زیرنویس های مربوط به انسان ارتباط ندارد.این تحقیق رویکردی را برای ارزیابی کیفیت زیرنویس های جمع آوری شده از جمعیت یا کارگران که توسط محتوای تصویر آگاه شده است ، نشان می دهد.