ترجمه فارسی مقاله CoRA: ادراک اطلاعات مشترک توسط وزن مدل زبان بزرگ برای توصیه

چکیده

Involving collaborative information in Large Language Models (LLMs) is a promising technique for adapting LLMs for recommendation. Existing methods achieve this by concatenating collaborative features with text tokens into a unified sequence input and then fine-tuning to align these features with LLM’s input space. Although effective, in this work, we identify two limitations when adapting LLMs to recommendation tasks, which hinder the integration of general knowledge and collaborative information, resulting in sub-optimal recommendation performance. (1) Fine-tuning LLM with recommendation data can undermine its inherent world knowledge and fundamental competencies, which are crucial for interpreting and inferring recommendation text. (2) Incorporating collaborative features into textual prompts disrupts the semantics of the original prompts, preventing LLM from generating appropriate outputs. In this paper, we propose a new paradigm, CoRA (an acronym for Collaborative LoRA), with a collaborative weights generator. Rather than input space alignment, this method aligns collaborative information with LLM’s parameter space, representing them as incremental weights to update LLM’s output. This way, LLM perceives collaborative information without altering its general knowledge and text inference capabilities. Specifically, we employ a collaborative filtering model to extract user and item embeddings, converting them into collaborative weights with low-rank properties through the collaborative weights generator. We then merge the collaborative weights into LLM’s weights, enabling LLM to perceive the collaborative signals and generate personalized recommendations without fine-tuning or extra collaborative tokens in prompts. Extensive experiments confirm that CoRA effectively integrates collaborative information into LLM, enhancing recommendation performance.

چکیده به فارسی (ترجمه ماشینی)

درگیر کردن اطلاعات مشترک در مدل های بزرگ زبان (LLMS) یک تکنیک امیدوار کننده برای تطبیق LLMS برای توصیه است.روشهای موجود با هماهنگی ویژگی های مشترک با نشانه های متن به یک ورودی توالی یکپارچه و سپس تنظیم دقیق این ویژگی ها با فضای ورودی LLM ، این کار را می کنند.اگرچه مؤثر است ، در این کار ، ما دو محدودیت را هنگام تطبیق LLM ها با وظایف توصیه ، که مانع ادغام دانش عمومی و اطلاعات مشترک می شود ، شناسایی می کنیم و در نتیجه عملکرد توصیه های زیر بهینه می شود.(1) تنظیم دقیق LLM با داده های توصیه می تواند دانش ذاتی جهان و شایستگی های اساسی آن را تضعیف کند ، که برای تفسیر و استنباط متن توصیه بسیار مهم است.(2) ترکیب ویژگی های مشارکتی در مطالب متنی باعث اختلال در معناییهای اصلی می شود و از تولید LLM از تولید خروجی های مناسب جلوگیری می کند.در این مقاله ، ما یک الگوی جدید ، CORA (مخفف مخفف لورا مشترک) ، با یک ژنراتور وزن مشترک پیشنهاد می کنیم.این روش به جای تراز فضای ورودی ، اطلاعات مشترک را با فضای پارامتر LLM تراز می کند ، و آنها را به عنوان وزن افزایشی برای به روزرسانی خروجی LLM نشان می دهد.به این ترتیب ، LLM اطلاعات مشترک را بدون تغییر دانش عمومی و قابلیت های استنباط متن آن درک می کند.به طور خاص ، ما از یک مدل فیلتر مشترک برای استخراج تعبیه های کاربر و کالا استفاده می کنیم ، و آنها را به وزن مشترک با خواص پایین رتبه از طریق ژنراتور وزن مشترک تبدیل می کنیم.سپس وزن های مشترک را در وزن LLM ادغام می کنیم و LLM را قادر می سازد تا سیگنال های مشترک را درک کرده و توصیه های شخصی را بدون تنظیم دقیق یا نشانه های مشترک اضافی در اعلان ها ایجاد کنیم.آزمایش های گسترده تأیید می کند که CORA به طور موثری اطلاعات مشترک را در LLM ادغام می کند و باعث افزایش عملکرد توصیه می شود.