ترجمه فارسی مقاله یک الگوریتم یادگیری تقویت‌شده حالت پیشرفته برای ترکیب چند وظیفه‌ای در سیستم‌های توصیه‌کننده مقیاس بزرگ

چکیده

As the last key stage of Recommender Systems (RSs), Multi-Task Fusion (MTF) is in charge of combining multiple scores predicted by Multi-Task Learning (MTL) into a final score to maximize user satisfaction, which decides the ultimate recommendation results. In recent years, to maximize long-term user satisfaction within a recommendation session, Reinforcement Learning (RL) is widely used for MTF in large-scale RSs. However, limited by their modeling pattern, all the current RL-MTF methods can only utilize user features as the state to generate actions for each user, but unable to make use of item features and other valuable features, which leads to suboptimal results. Addressing this problem is a challenge that requires breaking through the current modeling pattern of RL-MTF. To solve this problem, we propose a novel method called Enhanced-State RL for MTF in RSs. Unlike the existing methods mentioned above, our method first defines user features, item features, and other valuable features collectively as the enhanced state; then proposes a novel actor and critic learning process to utilize the enhanced state to make much better action for each user-item pair. To the best of our knowledge, this novel modeling pattern is being proposed for the first time in the field of RL-MTF. We conduct extensive offline and online experiments in a large-scale RS. The results demonstrate that our model outperforms other models significantly. Enhanced-State RL has been fully deployed in our RS more than half a year, improving +3.84% user valid consumption and +0.58% user duration time compared to baseline.

چکیده به فارسی (ترجمه ماشینی)

به عنوان آخرین مرحله کلیدی سیستم های پیشنهادی (RSS) ، فیوژن چند کاره (MTF) مسئولیت ترکیب چندین نمره پیش بینی شده توسط یادگیری چند وظیفه (MTL) را به یک نمره نهایی برای به حداکثر رساندن رضایت کاربر ، که تصمیم می گیرد نتایج نهایی توصیه را تعیین می کند.بشردر سالهای اخیر ، برای به حداکثر رساندن رضایت کاربر طولانی مدت در یک جلسه توصیه ، یادگیری تقویت کننده (RL) برای MTF در RSS در مقیاس بزرگ استفاده می شود.با این حال ، محدود به الگوی مدل سازی آنها ، تمام روشهای فعلی RL-MTF فقط می توانند از ویژگی های کاربر به عنوان حالت برای تولید اقدامات برای هر کاربر استفاده کنند ، اما قادر به استفاده از ویژگی های مورد و سایر ویژگی های ارزشمند نیستند ، که منجر به نتایج زیر حد می شود.پرداختن به این مشکل چالشی است که نیاز به شکستن الگوی مدل سازی فعلی RL-MTF دارد.برای حل این مشکل ، ما یک روش جدید به نام پیشرفته RL برای MTF در RSS پیشنهاد می کنیم.بر خلاف روشهای موجود که در بالا ذکر شد ، روش ما ابتدا ویژگی های کاربر ، ویژگی های مورد و سایر ویژگی های ارزشمند را به صورت جمعی به عنوان حالت پیشرفته تعریف می کند.سپس یک بازیگر جدید و فرایند یادگیری منتقد را برای استفاده از حالت پیشرفته پیشنهاد می کند تا اقدامات بسیار بهتری را برای هر جفت مورد کاربر انجام دهد.به بهترین دانش ما ، این الگوی مدل سازی جدید برای اولین بار در زمینه RL-MTF ارائه می شود.ما آزمایش های آفلاین و آنلاین گسترده ای را در یک RS در مقیاس بزرگ انجام می دهیم.نتایج نشان می دهد که مدل ما از مدل های دیگر به طور قابل توجهی بهتر است.RL با وضعیت پیشرفته بیش از نیم سال در RS ما مستقر شده است ، و در مقایسه با پایه ، میزان مصرف معتبر کاربر 3.84 ٪ و 0.58 ٪ مدت زمان کاربر را بهبود می بخشد.