ترجمه فارسی مقاله از متن تا ایموجی: چگونه دستکاری شخصیت محور PEFT پتانسیل Emoji را در LLM آزاد می کند

چکیده

As the demand for human-like interactions with LLMs continues to grow, so does the interest in manipulating their personality traits, which has emerged as a key area of research. Methods like prompt-based In-Context Knowledge Editing (IKE) and gradient-based Model Editor Networks (MEND) have been explored but show irregularity and variability. IKE depends on the prompt, leading to variability and sensitivity, while MEND yields inconsistent and gibberish outputs. To address this, we employed Opinion QA Based Parameter-Efficient Fine-Tuning (PEFT), specifically Quantized Low-Rank Adaptation (QLORA), to manipulate the Big Five personality traits: Openness, Conscientiousness, Extraversion, Agreeableness, and Neuroticism. After PEFT, models such as Mistral-7B-Instruct and Llama-2-7B-chat began generating emojis, despite their absence in the PEFT data. For instance, Llama-2-7B-chat generated emojis in 99.5% of extraversion-related test instances, while Mistral-8B-Instruct did so in 92.5% of openness-related test instances. Explainability analysis indicated that the LLMs used emojis intentionally to express these traits. This paper provides a number of novel contributions. First, introducing an Opinion QA dataset for PEFT-driven personality manipulation; second, developing metric models to benchmark LLM personality traits; third, demonstrating PEFT’s superiority over IKE in personality manipulation; and finally, analyzing and validating emoji usage through explainability methods such as mechanistic interpretability and in-context learning explainability methods.

چکیده به فارسی (ترجمه ماشینی)

از آنجا که تقاضا برای تعامل انسان مانند با LLMS همچنان رو به رشد است ، همچنین علاقه به دستکاری ویژگی های شخصیت آنها ، که به عنوان یک حوزه اصلی تحقیق ظاهر شده است ، نیز می شود.روش هایی مانند ویرایش دانش درون متن مبتنی بر سریع (IKE) و شبکه های ویرایشگر مدل مبتنی بر گرادیان (MEND) مورد بررسی قرار گرفته اند اما بی نظمی و تنوع را نشان می دهند.IKE به سریع بستگی دارد و منجر به تغییرپذیری و حساسیت می شود ، در حالی که MEND خروجی های متناقض و فریبنده را به همراه دارد.برای پرداختن به این موضوع ، ما با تنظیم دقیق پارامترهای مبتنی بر نظر QA (PEFT) ، به طور خاص سازگاری با رتبه پایین (QLORA) ، برای دستکاری ویژگی های شخصیت بزرگ پنج: باز بودن ، وجدان ، برونگرایی ، موافقت و عصبی گرایی استفاده کردیم.پس از Peft ، مدلهایی مانند مدافع MISTRAL-7B و LLAMA-2-7B-Chat با وجود عدم حضور آنها در داده های PEFT ، تولید ایموجی ها را آغاز کردند.به عنوان مثال ، LLAMA-2-7B-CHAT در 99.5 ٪ از موارد آزمایش مربوط به برونگرایی ، emojis تولید کرد ، در حالی که مدرک mistral-8b این کار را در 92.5 ٪ از موارد آزمایش مربوط به باز انجام داد.تجزیه و تحلیل توضیح نشان داد که LLM ها از ایموجی ها عمداً برای بیان این صفات استفاده می کنند.در این مقاله تعدادی از مشارکتهای جدید ارائه شده است.اول ، معرفی مجموعه داده QA برای دستکاری شخصیت Peft محور ؛دوم ، در حال توسعه مدل های متریک برای معیار ویژگی های شخصیتی LLM.سوم ، نشان دادن برتری پفت نسبت به ایکه در دستکاری شخصیت ؛و در آخر ، تجزیه و تحلیل و اعتبار سنجی استفاده از ایموجی از طریق روشهای توضیح قابلیت تفسیر مکانیکی و روشهای توضیح در یادگیری درون متن.