ترجمه فارسی مقاله بررسی کاربردهای مدل‌های فضای حالت و تکنیک‌های آموزش پیشرفته در توصیه‌های متوالی: مطالعه تطبیقی ​​در مورد کارایی و عملکرد

چکیده

Recommender systems aim to estimate the dynamically changing user preferences and sequential dependencies between historical user behaviour and metadata. Although transformer-based models have proven to be effective in sequential recommendations, their state growth is proportional to the length of the sequence that is being processed, which makes them expensive in terms of memory and inference costs. Our research focused on three promising directions in sequential recommendations: enhancing speed through the use of State Space Models (SSM), as they can achieve SOTA results in the sequential recommendations domain with lower latency, memory, and inference costs, as proposed by arXiv:2403.03900 improving the quality of recommendations with Large Language Models (LLMs) via Monolithic Preference Optimization without Reference Model (ORPO); and implementing adaptive batch- and step-size algorithms to reduce costs and accelerate training processes.

چکیده به فارسی (ترجمه ماشینی)

سیستم های پیشنهادی با هدف تخمین ترجیحات کاربر در حال تغییر و وابستگی های متوالی بین رفتار کاربر تاریخی و ابرداده.اگرچه مدلهای مبتنی بر ترانسفورماتور در توصیه های پی در پی مؤثر هستند ، اما رشد حالت آنها متناسب با طول دنباله ای است که در حال پردازش است و این باعث می شود آنها از نظر حافظه و هزینه های استنباط گران شوند.تحقیقات ما بر سه جهت امیدوارکننده در توصیه های پی در پی متمرکز شده است: افزایش سرعت از طریق استفاده از مدل های فضای دولتی (SSM) ، زیرا آنها می توانند به نتایج SOTA در دامنه توصیه های پی در پی با تأخیر کمتر ، حافظه و هزینه های استنباط دست پیدا کنند ، همانطور که توسط ARXIV پیشنهاد شده است:2403.03900 بهبود کیفیت توصیه ها با مدل های بزرگ زبان (LLM) از طریق بهینه سازی اولویت یکپارچه بدون مدل مرجع (ORPO).و اجرای الگوریتم های تطبیقی ​​دسته ای و اندازه برای کاهش هزینه ها و تسریع در فرایندهای آموزش.