در دنیای رو به رشد هوش مصنوعی و یادگیری ماشین، توانایی مدل‌ها در “به خاطر سپردن” و استفاده مؤثر از الگوهای پیچیده، نقش حیاتی در دستیابی به عملکرد برتر ایفا می‌کند. اخیراً، پیشرفت‌های چشمگیر در پردازش زبان طبیعی (NLP)، به‌ویژه در مدل‌های زبانی بزرگ (LLM)، نشان داده‌اند که قابلیت حافظه‌ی قوی، یکی از عوامل کلیدی موفقیت این مدل‌هاست. این موفقیت، الهام‌بخش محققان حوزه رتبه‌بندی (Ranking) شده است تا مکانیزم حافظه‌ی مستقلی را به مدل‌های پیش‌بینی نرخ کلیک (CTR) اضافه کنند تا بازنمایی ویژگی‌های متقاطع (Cross Features) را به طور مؤثرتری یاد بگیرند و به خاطر بسپارند. مقاله حاضر با عنوان “MemoNet: Memorizing All Cross Features’ Representations Efficiently via Multi-Hash Codebook Network for CTR Prediction” توسط Pengtao Zhang و Junlin Zhang، پاسخی خلاقانه به این نیاز ارائه می‌دهد.

پیش‌بینی نرخ کلیک (CTR)، یکی از وظایف اساسی در سیستم‌های توصیه‌گر، تبلیغات آنلاین و موتورهای جستجو است. هدف اصلی در این حوزه، پیش‌بینی احتمال کلیک کاربر بر روی یک آیتم (مانند تبلیغ یا محصول) است. در این مدل‌ها، تعاملات پیچیده بین ویژگی‌های مختلف (مانند ویژگی‌های کاربر، ویژگی‌های آیتم و ویژگی‌های زمینه) که به آن‌ها “ویژگی‌های متقاطع” گفته می‌شود، نقش بسیار مهمی در دقت پیش‌بینی ایفا می‌کنند. با این حال، نمایش و یادگیری کارآمد این ویژگی‌های متقاطع، همواره یک چالش بزرگ بوده است. مدل‌های سنتی اغلب در ثبت و به خاطر سپردن تمام الگوهای ظریف و نادر موجود در داده‌های متقاطع با مشکل مواجه می‌شوند. مقاله MemoNet با الهام از موفقیت LLMها در NLP، یک رویکرد جدید برای حل این چالش ارائه می‌دهد. اهمیت این مقاله در معرفی یک مکانیزم حافظه کارآمد است که قادر به یادگیری و ذخیره‌سازی بازنمایی‌های غنی از ویژگی‌های متقاطع است، و این امر منجر به بهبود قابل توجهی در عملکرد مدل‌های CTR می‌شود.

این مقاله توسط Pengtao Zhang و Junlin Zhang نوشته شده است. نویسندگان در حوزه بازیابی اطلاعات (Information Retrieval)، هوش مصنوعی (Artificial Intelligence) و یادگیری ماشین (Machine Learning) فعالیت دارند. زمینه تحقیقاتی این مقاله، بهبود مدل‌های یادگیری ماشین برای وظایف پیش‌بینی نرخ کلیک است، با تمرکز ویژه بر چگونگی یادگیری و استفاده مؤثر از ویژگی‌های متقاطع که برای دقت در این دامنه حیاتی هستند.

چکیده مقاله بیان می‌کند که یافته‌های جدید در پردازش زبان طبیعی (NLP) نشان می‌دهند که قابلیت حافظه‌ی قوی، سهم زیادی در موفقیت مدل‌های زبانی بزرگ (LLM) دارد. این موضوع، نویسندگان را ترغیب کرده است تا یک مکانیزم حافظه مستقل را به مدل‌های رتبه‌بندی CTR معرفی کنند تا بازنمایی ویژگی‌های متقاطع را یاد گرفته و به خاطر بسپارند. در این مقاله، شبکه چند-هش کتاب‌کد (Multi-Hash Codebook NETwork یا HCNet) به عنوان مکانیزم حافظه برای یادگیری و به خاطر سپاری کارآمد بازنمایی‌های ویژگی‌های متقاطع در وظایف CTR پیشنهاد شده است. HCNet از یک کتاب‌کد چند-هش به عنوان محل اصلی حافظه استفاده می‌کند و کل فرآیند حافظه‌سپاری شامل سه فاز است: آدرس‌دهی چند-هش، بازیابی حافظه و کوچک‌سازی ویژگی (Feature Shrinking). همچنین، یک مدل CTR جدید به نام MemoNet معرفی شده که HCNet را با یک ستون فقرات شبکه‌ی عصبی عمیق (DNN) ترکیب می‌کند. نتایج آزمایش‌های گسترده بر روی سه مجموعه داده عمومی و تست آنلاین نشان می‌دهد که MemoNet عملکرد برتری نسبت به رویکردهای پیشرفته دارد. علاوه بر این، MemoNet قانون مقیاس‌پذیری (Scaling Law) مدل‌های زبان بزرگ در NLP را نشان می‌دهد، به این معنی که می‌توان با افزایش اندازه کتاب‌کد در HCNet، به طور پایدار از افزایش عملکرد بهره‌مند شد. کار حاضر، اهمیت و امکان‌پذیری یادگیری و به خاطر سپاری بازنمایی‌های ویژگی‌های متقاطع را نشان می‌دهد و مسیری امیدوارکننده برای تحقیقات آینده باز می‌کند.

قلب نوآوری در مقاله MemoNet، مکانیزم حافظه پیشنهادی آن، یعنی شبکه کتاب‌کد چند-هش (HCNet) است. این مکانیزم به گونه‌ای طراحی شده است که به طور کارآمد بازنمایی‌های ویژگی‌های متقاطع را یاد گرفته و ذخیره کند. فرآیند حافظه‌سپاری در HCNet به سه مرحله کلیدی تقسیم می‌شود:

• آدرس‌دهی چند-هش (Multi-Hash Addressing): در این مرحله، ورودی‌های ویژگی (که معمولاً ترکیبی از ویژگی‌های مختلف هستند) از طریق چندین تابع هش، به مجموعه‌ای از “کدها” یا “موقعیت‌ها” در کتاب‌کد حافظه نگاشت می‌شوند. استفاده از توابع هش متعدد، به پراکنده شدن اطلاعات و کاهش برخورد (Collision) کمک کرده و امکان دسترسی به چندین مکان حافظه برای یک ورودی خاص را فراهم می‌آورد. این مکانیسم، شبیه به نحوه سازماندهی اطلاعات در حافظه‌های مختلف در مغز انسان است که امکان بازیابی سریع و دقیق را فراهم می‌کند.
• بازیابی حافظه (Memory Restoring): پس از تعیین موقعیت‌های حافظه از طریق آدرس‌دهی، بازنمایی‌های ذخیره شده در آن موقعیت‌ها بازیابی می‌شوند. این بازنمایی‌ها، که حاصل یادگیری‌های قبلی هستند، اطلاعات مربوط به ویژگی‌های متقاطع خاص را در خود جای داده‌اند. این مرحله اطمینان حاصل می‌کند که اطلاعات مرتبط با ورودی جدید، به صورت مؤثر در دسترس قرار می‌گیرد.
• کوچک‌سازی ویژگی (Feature Shrinking): این مرحله به منظور فشرده‌سازی و بهینه‌سازی بازنمایی‌های بازیابی شده انجام می‌شود. هدف این است که اطلاعات مهم حفظ شده و ابعاد بازنمایی‌ها کاهش یابد تا از نظر محاسباتی کارآمدتر باشند و از پیچیدگی بیش از حد مدل جلوگیری شود. این امر به ویژه در مواردی که تعداد زیادی ویژگی متقاطع وجود دارد، اهمیت پیدا می‌کند.

مدل MemoNet، این HCNet را با یک ساختار مبتنی بر شبکه‌ی عصبی عمیق (DNN) ترکیب می‌کند. DNN وظیفه پردازش اولیه ویژگی‌ها و تولید بازنمایی‌های اولیه را بر عهده دارد، در حالی که HCNet به عنوان یک لایه یا مکانیزم حافظه خارجی عمل کرده و بازنمایی‌های متقاطع را به طور مؤثرتری مدیریت می‌کند. این ترکیب، امکان بهره‌گیری از قدرت یادگیری عمیق را در کنار قابلیت حافظه قدرتمند HCNet فراهم می‌آورد.

مفهوم کتاب‌کد (Codebook): کتاب‌کد را می‌توان به عنوان یک مجموعه از “واژگان” یا “مفاهیم” آموخته شده در نظر گرفت. هر ورودی ویژگی متقاطع، با استفاده از توابع هش، به برخی از این واژگان نگاشت می‌شود. سپس، بازنمایی‌های مرتبط با این واژگان برای پیش‌بینی استفاده می‌شوند. این روش، امکان یادگیری الگوهای تکراری و مهم را در داده‌های متقاطع فراهم می‌کند، بدون اینکه نیاز به ذخیره صریح تمام ترکیبات ممکن باشد.

نتایج این تحقیق، شواهد محکمی مبنی بر کارایی و برتری رویکرد MemoNet ارائه می‌دهد:

• عملکرد برتر: آزمایش‌های گسترده بر روی سه مجموعه داده عمومی شناخته شده در حوزه CTR و همچنین تست‌های عملی در محیط آنلاین، نشان داده است که MemoNet به طور قابل توجهی بهتر از رویکردهای پیشرفته فعلی عمل می‌کند. این بهبود در معیارهای کلیدی مانند AUC (Area Under the ROC Curve) و LogLoss قابل مشاهده است.
• قانون مقیاس‌پذیری LLM: یکی از یافته‌های بسیار جالب، مشاهده‌ی “قانون مقیاس‌پذیری” مشابه با مدل‌های زبانی بزرگ در NLP است. این بدان معناست که با افزایش اندازه کتاب‌کد در HCNet (یعنی افزایش تعداد واژگان یا مفاهیم آموخته شده)، عملکرد مدل به طور مداوم بهبود می‌یابد. این پدیده نشان‌دهنده ظرفیت بالای MemoNet برای یادگیری و تسلط بر الگوهای پیچیده‌تر است.
• اهمیت حافظه برای ویژگی‌های متقاطع: این تحقیق به طور مؤثری اهمیت و امکان‌پذیری یادگیری و به خاطر سپردن بازنمایی‌های ویژگی‌های متقاطع را نشان می‌دهد. این امر، دریچه جدیدی را به سوی تحقیقات آینده در این حوزه باز می‌کند.
• کارایی حافظه: HCNet با استفاده از ساختار کتاب‌کد و توابع هش، امکان مدیریت کارآمد حجم عظیمی از اطلاعات مربوط به ویژگی‌های متقاطع را فراهم می‌کند، که این خود گامی مهم در جهت مقابله با مشکل انفجار ترکیبی ویژگی‌ها (Feature Explosion) است.

دستاورد اصلی این مقاله، ارائه یک چارچوب نوین برای مدل‌سازی ویژگی‌های متقاطع در وظایف CTR است که منجر به:

• افزایش دقت پیش‌بینی: با یادگیری و به خاطر سپردن بهتر الگوهای پیچیده، مدل‌های مبتنی بر MemoNet می‌توانند با دقت بیشتری نرخ کلیک را پیش‌بینی کنند. این امر مستقیماً بر اثربخشی سیستم‌های تبلیغاتی، موتورهای جستجو و پلتفرم‌های توصیه‌گر تأثیر می‌گذارد.
• بهبود تجربه کاربری: در سیستم‌های توصیه‌گر، پیش‌بینی دقیق‌تر علاقه‌مندی کاربر منجر به ارائه پیشنهادهای مرتبط‌تر و مفیدتر می‌شود که تجربه کاربری را بهبود می‌بخشد.
• کارایی در حجم داده‌های بزرگ: طراحی HCNet امکان مقیاس‌پذیری به حجم عظیمی از داده‌ها را فراهم می‌کند، که برای کاربردهای واقعی در مقیاس صنعتی ضروری است.
• قابلیت تفسیرپذیری (به صورت بالقوه): اگرچه تمرکز اصلی بر عملکرد است، ساختار کتاب‌کد می‌تواند در آینده به عنوان ابزاری برای درک بهتر الگوهای آموخته شده در داده‌های متقاطع مورد استفاده قرار گیرد.

مثال کاربردی: در یک پلتفرم تجارت الکترونیک، زمانی که کاربر در حال جستجو برای “کفش ورزشی مردانه سایز ۴۳” است، ترکیبی از ویژگی‌های “نوع محصول (کفش ورزشی)”، “جنسیت (مردانه)” و “سایز (۴۳)” یک ویژگی متقاطع را تشکیل می‌دهد. HCNet می‌تواند بازنمایی این ترکیب خاص را در کتاب‌کد خود ذخیره کند. اگر این ترکیب در گذشته منجر به کلیک شده باشد، MemoNet این اطلاعات را بازیابی کرده و احتمال کلیک کاربر فعلی بر روی محصولات مرتبط را افزایش می‌دهد. به طور مشابه، اگر ترکیب “رنگ قرمز” و “نوع محصول: پیراهن” در فصل تابستان، نرخ کلیک بالایی داشته باشد، MemoNet این الگو را آموخته و در پیش‌بینی‌های خود لحاظ خواهد کرد.

مقاله MemoNet گامی مهم در جهت درک و استفاده از قدرت حافظه در مدل‌های یادگیری ماشین، به ویژه در حوزه پیش‌بینی نرخ کلیک است. با معرفی شبکه کتاب‌کد چند-هش (HCNet)، نویسندگان یک راه حل کارآمد و مقیاس‌پذیر برای یادگیری و به خاطر سپردن بازنمایی‌های پیچیده ویژگی‌های متقاطع ارائه داده‌اند. این رویکرد، نه تنها منجر به بهبود قابل توجهی در عملکرد مدل‌های CTR می‌شود، بلکه با نمایش قانون مقیاس‌پذیری، پتانسیل بالایی برای پیشرفت‌های آینده را نیز آشکار می‌سازد. کار حاضر، اهمیت یادگیری صریح و حافظه‌سپاری تعاملات بین ویژگی‌ها را برجسته کرده و مسیری روشن را برای تحقیقات آتی در جهت توسعه مدل‌های هوشمندتر و کارآمدتر هموار می‌سازد.