در عصر اطلاعات، سیستم‌های توصیه‌گر (Recommender Systems) نقشی حیاتی در فیلتر کردن حجم عظیمی از اطلاعات و ارائه پیشنهادات شخصی‌سازی‌شده به کاربران ایفا می‌کنند. از توصیه‌ی فیلم‌ها و سریال‌ها در پلتفرم‌های استریمینگ گرفته تا پیشنهاد محصولات در فروشگاه‌های آنلاین، این سیستم‌ها تجربه‌ی کاربری را بهبود بخشیده و به کاربران کمک می‌کنند تا در میان گزینه‌های بی‌شمار، انتخاب‌های مناسب‌تری داشته باشند. در این میان، الگوریتم‌های خود-توجهی (Self-Attention) به دلیل توانایی‌شان در مدل‌سازی وابستگی‌های پیچیده بین آیتم‌ها، به یکی از ابزارهای قدرتمند در این زمینه تبدیل شده‌اند. با این حال، پیچیدگی محاسباتی بالای این الگوریتم‌ها، به‌ویژه در برخورد با توالی‌های طولانی، مانع از کاربرد گسترده‌ی آن‌ها می‌شود. مقاله‌ی پیش رو با عنوان “خود-توجهی خطی‌زمان با هیستوگرام کدواژه برای توصیه‌گری کارآمد”، راهکاری نوآورانه برای حل این مشکل ارائه می‌دهد.

این مقاله توسط تیمی از محققان برجسته در زمینه‌ی بازیابی اطلاعات (Information Retrieval) به نگارش درآمده است. نویسندگان اصلی مقاله عبارتند از: Yongji Wu, Defu Lian, Neil Zhenqiang Gong, Lu Yin, Mingyang Yin, Jingren Zhou, و Hongxia Yang. این محققان با تمرکز بر بهبود کارایی و عملکرد الگوریتم‌های خود-توجهی در سیستم‌های توصیه‌گر، تلاش کرده‌اند تا محدودیت‌های موجود را برطرف کرده و امکان استفاده از این الگوریتم‌ها را در مقیاس‌های بزرگ‌تر فراهم کنند. زمینه تخصصی این محققان، ترکیب دانش در حوزه‌های یادگیری ماشین، پردازش زبان طبیعی (Natural Language Processing) و سیستم‌های توصیه‌گر را شامل می‌شود.

چکیده‌ی مقاله به این صورت است: خود-توجهی به دلیل اثربخشی‌اش، در کارهای مختلف مدل‌سازی توالی از پردازش زبان طبیعی تا توصیه‌گری، به طور فزاینده‌ای محبوب شده است. با این حال، خود-توجهی از پیچیدگی محاسباتی و حافظه‌ای درجه دو رنج می‌برد که مانع از کاربردهای آن بر روی توالی‌های طولانی می‌شود. رویکردهای موجود که به این موضوع می‌پردازند، عمدتاً به یک زمینه توجه پراکنده متکی هستند، چه با استفاده از یک پنجره محلی، یا یک سطل جابجا شده به دست آمده توسط هشینگ حساس به مکان (LSH) یا مرتب‌سازی، در حالی که اطلاعات حیاتی ممکن است از دست بروند. با الهام از ایده کمی‌سازی برداری که از مراکز خوشه برای تقریب آیتم‌ها استفاده می‌کند، ما LISA (خود-توجهی خطی‌زمان) را پیشنهاد می‌کنیم که هم از اثربخشی خود-توجهی وانیلی و هم از کارایی توجه پراکنده برخوردار است. LISA به صورت خطی با طول توالی مقیاس می‌شود، در حالی که توجه متنی کامل را از طریق محاسبه هیستوگرام‌های مشتق‌پذیر توزیع کدواژه فعال می‌کند. در همین حال، بر خلاف برخی از روش‌های توجه کارآمد، روش ما هیچ محدودیتی در پوشش‌دهی علّی یا طول توالی ندارد. ما روش خود را بر روی چهار مجموعه داده دنیای واقعی برای توصیه‌گری ترتیبی ارزیابی می‌کنیم. نتایج نشان می‌دهد که LISA از روش‌های توجه کارآمد پیشرفته در عملکرد و سرعت پیشی می‌گیرد. و تا 57 برابر سریع‌تر و 78 برابر از نظر حافظه کارآمدتر از خود-توجهی وانیلی است.

به طور خلاصه، این مقاله یک روش جدید و کارآمد برای پیاده‌سازی الگوریتم خود-توجهی ارائه می‌دهد که به آن LISA (LInear-time Self Attention) گفته می‌شود. این روش با استفاده از مفهوم هیستوگرام کدواژه، پیچیدگی محاسباتی را به صورت خطی کاهش می‌دهد، در حالی که همچنان قادر به حفظ دقت و اثربخشی الگوریتم خود-توجهی اصلی است. LISA به ویژه برای سیستم‌های توصیه‌گری که با توالی‌های طولانی از داده‌ها سروکار دارند، بسیار مناسب است.

روش‌شناسی تحقیق در این مقاله بر پایه‌ی ترکیب دو ایده اصلی استوار است:

• کمی‌سازی برداری (Vector Quantization): این تکنیک از خوشه‌های داده‌ها (clusters) برای تقریب آیتم‌ها استفاده می‌کند. به جای اینکه هر آیتم را به صورت جداگانه در نظر بگیریم، آن‌ها را به نزدیک‌ترین مرکز خوشه (centroid) نسبت می‌دهیم. این کار باعث کاهش تعداد پارامترهای مورد نیاز برای محاسبات می‌شود.
• هیستوگرام کدواژه (Codeword Histogram): پس از کمی‌سازی برداری، یک هیستوگرام از توزیع کدواژه‌ها (centroids) محاسبه می‌شود. این هیستوگرام نمایانگر ویژگی‌های اصلی توالی ورودی است و برای محاسبات خود-توجهی مورد استفاده قرار می‌گیرد.

با ترکیب این دو ایده، LISA می‌تواند توجه کامل متنی (full contextual attention) را با پیچیدگی خطی محاسبه کند. به عبارت دیگر، LISA می‌تواند وابستگی بین تمام آیتم‌های موجود در یک توالی را مدل‌سازی کند، در حالی که زمان محاسباتی آن به طور خطی با طول توالی افزایش می‌یابد. این یک بهبود چشمگیر نسبت به الگوریتم‌های خود-توجهی سنتی است که دارای پیچیدگی درجه دو هستند.

یافته‌های کلیدی این مقاله به شرح زیر است:

• عملکرد برتر نسبت به روش‌های پیشین: LISA در چهار مجموعه داده‌ی واقعی برای توصیه‌گری ترتیبی، عملکرد بهتری نسبت به روش‌های خود-توجهی کارآمد موجود از خود نشان داد.
• سرعت بالاتر: LISA تا 57 برابر سریع‌تر از الگوریتم خود-توجهی اصلی است. این افزایش سرعت به ویژه در برخورد با توالی‌های طولانی بسیار حائز اهمیت است.
• مصرف حافظه کمتر: LISA تا 78 برابر حافظه‌ی کمتری نسبت به الگوریتم خود-توجهی اصلی مصرف می‌کند. این امر امکان استفاده از LISA را در محیط‌هایی با منابع محدود فراهم می‌کند.
• عدم محدودیت در پوشش‌دهی علّی یا طول توالی: برخلاف برخی از روش‌های توجه کارآمد، LISA هیچ محدودیتی در پوشش‌دهی علّی (causal masking) یا طول توالی ندارد. این انعطاف‌پذیری، LISA را به یک گزینه مناسب برای طیف گسترده‌ای از کاربردها تبدیل می‌کند.

به عنوان مثال، در یک سیستم توصیه‌گر فیلم، LISA می‌تواند تاریخچه‌ی تماشای یک کاربر را تحلیل کرده و فیلم‌هایی را پیشنهاد دهد که با سلیقه‌ی او همخوانی داشته باشند. با توجه به سرعت و کارایی بالای LISA، این سیستم می‌تواند پیشنهادات را به صورت بلادرنگ (real-time) ارائه دهد، حتی اگر تاریخچه‌ی تماشای کاربر بسیار طولانی باشد.

دستاورد اصلی این مقاله، معرفی یک الگوریتم خود-توجهی کارآمد و قابل استفاده در مقیاس بزرگ است. LISA می‌تواند در طیف گسترده‌ای از کاربردها مورد استفاده قرار گیرد، از جمله:

• سیستم‌های توصیه‌گر: بهبود عملکرد و کارایی سیستم‌های توصیه‌گر در زمینه‌های مختلف مانند تجارت الکترونیک، رسانه‌های اجتماعی و سرگرمی.
• پردازش زبان طبیعی: مدل‌سازی توالی‌های متنی طولانی مانند اسناد و مقالات با کارایی بالا.
• تشخیص الگو: تشخیص الگوهای پیچیده در داده‌های ترتیبی مانند دنباله‌های DNA یا داده‌های سری زمانی.

علاوه بر این، LISA می‌تواند به عنوان یک بلوک ساختمانی (building block) در معماری‌های یادگیری عمیق پیچیده‌تر مورد استفاده قرار گیرد. با استفاده از LISA، می‌توان مدل‌هایی را ساخت که قادر به پردازش داده‌های ترتیبی بسیار طولانی با دقت و کارایی بالا باشند.

مقاله “خود-توجهی خطی‌زمان با هیستوگرام کدواژه برای توصیه‌گری کارآمد” یک گام مهم در جهت بهبود کارایی و اثربخشی الگوریتم‌های خود-توجهی در سیستم‌های توصیه‌گر است. روش LISA با استفاده از مفهوم هیستوگرام کدواژه، توانسته است پیچیدگی محاسباتی را به صورت خطی کاهش دهد، در حالی که همچنان قادر به حفظ دقت و اثربخشی الگوریتم خود-توجهی اصلی است. این دستاورد، امکان استفاده از الگوریتم‌های خود-توجهی را در مقیاس‌های بزرگ‌تر و در کاربردهایی که با توالی‌های طولانی از داده‌ها سروکار دارند، فراهم می‌کند. به نظر می‌رسد LISA پتانسیل بالایی برای ایجاد تحول در زمینه‌های مختلف از جمله سیستم‌های توصیه‌گر، پردازش زبان طبیعی و تشخیص الگو دارد.