مقاله استخراج تمام چیزی است که شما برای استفاده از مدلهای مختلف توصیه از قبل آموزش داده شده نیاز دارید

چکیده

Pre-trained recommendation models (PRMs) have attracted widespread attention recently. However, their totally different model structure, huge model size and computation cost hinder their application in practical recommender systems. Hence, it is highly essential to explore how to practically utilize PRMs in real-world recommendations. In this paper, we propose a novel joint knowledge distillation from different pre-trained recommendation models named PRM-KD for recommendation, which takes full advantages of diverse PRMs as teacher models for enhancing student models efficiently. Specifically, PRM-KD jointly distills diverse informative knowledge from multiple representative PRMs such as UniSRec, Recformer, and UniM^2Rec. The knowledge from the above PRMs are then smartly integrated into the student recommendation model considering their confidence and consistency. We further verify the universality of PRM-KD with various types of student models, including sequential recommendation, feature interaction, and graph-based models. Extensive experiments on five real-world datasets demonstrate the effectiveness and efficacy of PRM-KD, which could be viewed as an economical shortcut in practically and conveniently making full use of different PRMs in online systems.

چکیده به فارسی (ترجمه ماشینی)

مدل های توصیه از قبل آموزش دیده (PRMS) اخیراً مورد توجه گسترده قرار گرفته اند.با این حال ، ساختار مدل کاملاً متفاوت آنها ، اندازه مدل بزرگ و هزینه محاسبه مانع کاربرد آنها در سیستم های پیشنهادی عملی می شود.از این رو ، کشف چگونگی استفاده از PRMS در توصیه های دنیای واقعی بسیار ضروری است.در این مقاله ، ما یک تقطیر دانش مشترک جدید از مدلهای مختلف توصیه از قبل آموزش دیده به نام PRM-KD برای توصیه پیشنهاد می کنیم ، که مزایای کامل PRM های متنوع را به عنوان مدل های معلم برای تقویت مدلهای دانش آموز به دست می آورد.به طور خاص ، PRM-KD به طور مشترک دانش آموزنده متنوعی را از PRM های نماینده چندگانه مانند UNISREC ، RECFORMER و UNIM^2REC تقطیر می کند.دانش از PRM های فوق با توجه به اعتماد به نفس و قوام آنها ، هوشمندانه در مدل توصیه دانش آموزان ادغام می شوند.ما در ادامه جهانی بودن PRM-KD را با انواع مختلف مدل های دانشجویی ، از جمله توصیه های متوالی ، تعامل ویژگی ها و مدل های مبتنی بر نمودار بررسی می کنیم.آزمایش های گسترده در مورد پنج مجموعه داده در دنیای واقعی ، اثربخشی و اثربخشی PRM-KD را نشان می دهد ، که می تواند به عنوان یک میانبر اقتصادی در عملاً و به راحتی استفاده کامل از PRM های مختلف در سیستم های آنلاین مشاهده شود.