ترجمه فارسی مقاله استفاده از LLMها برای ایجاد احساس ضمنی کاربر در مورد مطلوبیت نرم‌افزار

چکیده

This study explores the use of LLMs for providing quantitative zero-shot sentiment analysis of implicit software desirability, addressing a critical challenge in product evaluation where traditional review scores, though convenient, fail to capture the richness of qualitative user feedback. Innovations include establishing a method that 1) works with qualitative user experience data without the need for explicit review scores, 2) focuses on implicit user satisfaction, and 3) provides scaled numerical sentiment analysis, offering a more nuanced understanding of user sentiment, instead of simply classifying sentiment as positive, neutral, or negative. Data is collected using the Microsoft Product Desirability Toolkit (PDT), a well-known qualitative user experience analysis tool. For initial exploration, the PDT metric was given to users of two software systems. PDT data was fed through several LLMs (Claude Sonnet 3 and 3.5, GPT4, and GPT4o) and through a leading transfer learning technique, Twitter-Roberta-Base-Sentiment, and Vader, a leading sentiment analysis tool. Each system was asked to evaluate the data in two ways, by looking at the sentiment expressed in the PDT word/explanation pairs; and by looking at the sentiment expressed by the users in their grouped selection of five words and explanations, as a whole. Each LLM provided a sentiment score, its confidence (low, medium, high) in the score, and an explanation of the score. All LLMs tested were able to statistically detect user sentiment from the users’ grouped data, whereas TRBS and Vader were not. The confidence and explanation of confidence provided by the LLMs assisted in understanding user sentiment. This study adds deeper understanding of evaluating user experiences, toward the goal of creating a universal tool that quantifies implicit sentiment.

چکیده به فارسی (ترجمه ماشینی)

این مطالعه به بررسی استفاده از LLM ها برای ارائه تجزیه و تحلیل کمی از احساسات صفر از نرم افزار ضمنی ، پرداختن به یک چالش مهم در ارزیابی محصول که در آن نمرات بررسی سنتی ، هرچند راحت است ، نمی توانند غنای بازخورد کیفی کاربر را به دست آورند.نوآوری ها شامل ایجاد روشی است که 1) با داده های کیفی تجربه کاربری بدون نیاز به نمرات بررسی صریح ، 2) بر رضایت کاربر ضمنی متمرکز می شود ، و 3) تجزیه و تحلیل احساسات عددی مقیاس را ارائه می دهد ، به جای درک ، درک ظریف تر از احساسات کاربر ارائه می دهد.به سادگی طبقه بندی احساسات به عنوان مثبت ، خنثی یا منفی.داده ها با استفاده از ابزار مطلوبیت محصول Microsoft (PDT) ، یک ابزار شناخته شده کیفی تجربه کاربری ، جمع آوری می شود.برای اکتشاف اولیه ، متریک PDT به کاربران دو سیستم نرم افزاری داده شد.داده های PDT از طریق چندین LLM (CLAUDE SONNET 3 و 3.5 ، GPT4 و GPT4O) و از طریق یک تکنیک یادگیری انتقال انتقال ، توییتر-رابتا-پاییز و Vader ، یک ابزار اصلی تجزیه و تحلیل احساسات تغذیه می شود.از هر سیستم خواسته شد تا با نگاه به احساسات بیان شده در جفت کلمه/توضیحات PDT ، داده ها را به دو روش ارزیابی کند.و با نگاهی به احساسات بیان شده توسط کاربران در انتخاب گروهی خود از پنج کلمه و توضیحات ، به طور کلی.هر LLM نمره احساساتی ، اعتماد به نفس (کم ، متوسط ​​، بالا) در نمره و توضیحی در مورد نمره ارائه می داد.تمام LLM های آزمایش شده توانستند از نظر آماری احساسات کاربر را از داده های گروه بندی شده کاربران تشخیص دهند ، در حالی که TRB و Vader نبودند.اعتماد به نفس و توضیح اعتماد به نفس ارائه شده توسط LLMS در درک احساسات کاربر.این مطالعه درک عمیق تری از ارزیابی تجربیات کاربر ، به هدف ایجاد ابزاری جهانی است که احساسات ضمنی را تعیین می کند.