در دنیای امروز، حجم عظیمی از داده‌ها به صورت روزانه تولید می‌شود. این حجم وسیع داده، فرصت‌ها و چالش‌های بسیاری را در حوزه‌های مختلف، به ویژه یادگیری ماشین و هوش مصنوعی، ایجاد کرده است. یکی از کاربردهای مهم یادگیری ماشین، پیش‌بینی نرخ کلیک (CTR) است. این پیش‌بینی برای تعیین احتمال کلیک کاربر بر روی یک آیتم پیشنهادی (مانند تبلیغات یا محصولات پیشنهادی) استفاده می‌شود. با توجه به اهمیت و کاربرد گسترده پیش‌بینی CTR، تسریع فرآیند آموزش مدل‌های پیش‌بینی به منظور به‌روز نگه داشتن مدل و کاهش هزینه‌های آموزشی، از اهمیت بالایی برخوردار است.

مقاله “CowClip: کاهش زمان آموزش مدل پیش‌بینی CTR از ۱۲ ساعت به ۱۰ دقیقه روی یک GPU” به بررسی و ارائه راهکاری برای تسریع فرآیند آموزش مدل‌های پیش‌بینی CTR می‌پردازد. اهمیت این مقاله از آنجا ناشی می‌شود که در عصر حاضر، حجم داده‌های مورد نیاز برای آموزش این مدل‌ها به طور پیوسته در حال افزایش است و آموزش این مدل‌ها با استفاده از روش‌های سنتی، زمان بسیار زیادی را به خود اختصاص می‌دهد. این امر باعث می‌شود که به‌روزرسانی مدل‌ها با تاخیر انجام شود و در نتیجه، کارایی و دقت آن‌ها کاهش یابد. مقاله حاضر با ارائه یک روش نوین، به طور چشمگیری زمان آموزش مدل‌ها را کاهش می‌دهد و امکان به‌روزرسانی سریع‌تر و کارآمدتر آن‌ها را فراهم می‌سازد.

این مقاله توسط تیمی از محققان برجسته در حوزه یادگیری ماشین و بازیابی اطلاعات به نگارش درآمده است. اسامی نویسندگان عبارتند از: زانگ‌وی ژنگ، پنگتای شو، شوان زو، دا تانگ، ژن لی، چنگوانگ شی، پنگ وو، لقی زو، یی‌جی ژو، مینگ چن، شیانگژو دینگ، فوزائو شوئه، زی‌هنگ کین، یولونگ چنگ و یانگ یو. این محققان با سابقه درخشان در زمینه یادگیری ماشین و شبکه‌های عصبی، به خوبی به چالش‌های موجود در آموزش مدل‌های پیش‌بینی CTR آگاه هستند و با ارائه راهکار “CowClip”، گامی مهم در جهت رفع این چالش‌ها برداشته‌اند.

زمینه تحقیق این مقاله، یادگیری ماشین و به‌طور خاص، پیش‌بینی نرخ کلیک (CTR) است. پیش‌بینی CTR یکی از مسائل مهم در حوزه بازیابی اطلاعات و تبلیغات آنلاین است. هدف از این پیش‌بینی، تعیین احتمال کلیک کاربر بر روی یک آیتم پیشنهادی است. این پیش‌بینی در زمینه‌های مختلفی مانند رتبه‌بندی نتایج جستجو، نمایش تبلیغات هدفمند و پیشنهاد محصولات مرتبط به کاربران کاربرد دارد.

مقاله “CowClip” با هدف کاهش زمان آموزش مدل‌های پیش‌بینی CTR ارائه شده است. نویسندگان در این مقاله نشان می‌دهند که روش‌های مقیاس‌بندی (scaling) مرسوم، در آموزش شبکه‌های عصبی پیش‌بینی CTR با مشکل مواجه می‌شوند. آن‌ها با تحلیل نظری، نشان می‌دهند که تفاوت در فراوانی شناسه‌ها (IDs) باعث ایجاد مشکل در مقیاس‌بندی ابرپارامترها (hyperparameters) هنگام تغییر اندازه دسته‌ای (batch size) می‌شود. برای حل این مشکل، آن‌ها روش “برش ستونی تطبیقی” (Adaptive Column-wise Clipping) یا به اختصار CowClip را توسعه داده‌اند. این روش، یک قانون مقیاس‌بندی آسان و موثر برای embeddingها فراهم می‌کند که نرخ یادگیری را ثابت نگه می‌دارد و تلفات L2 را مقیاس‌بندی می‌کند. نتایج آزمایش‌های گسترده بر روی چهار شبکه پیش‌بینی CTR و دو مجموعه داده واقعی نشان می‌دهد که روش CowClip می‌تواند اندازه دسته‌ای را تا ۱۲۸ برابر اندازه اصلی افزایش دهد، بدون اینکه دقت مدل کاهش یابد. به طور خاص، در آموزش مدل DeepFM برای پیش‌بینی CTR بر روی مجموعه داده Criteo، روش CowClip اندازه دسته‌ای را از 1K به 128K افزایش داده و بیش از 0.1٪ بهبود در AUC (Area Under the Curve) ایجاد کرده است و زمان آموزش را از 12 ساعت به 10 دقیقه بر روی یک GPU واحد V100 کاهش داده است.

به طور خلاصه، مقاله حاضر به بررسی چالش‌های آموزش مدل‌های پیش‌بینی CTR با استفاده از اندازه‌های دسته‌ای بزرگ می‌پردازد و راهکار CowClip را برای حل این چالش‌ها ارائه می‌دهد. این راهکار با مقیاس‌بندی تطبیقی embeddingها، امکان استفاده از اندازه‌های دسته‌ای بزرگ را بدون کاهش دقت مدل فراهم می‌کند و در نتیجه، زمان آموزش را به طور چشمگیری کاهش می‌دهد.

روش‌شناسی تحقیق در این مقاله شامل مراحل زیر است:

• تحلیل نظری: نویسندگان ابتدا با انجام تحلیل نظری، نشان می‌دهند که چرا روش‌های مقیاس‌بندی مرسوم در آموزش شبکه‌های عصبی پیش‌بینی CTR با مشکل مواجه می‌شوند. آن‌ها با بررسی اثر تفاوت در فراوانی شناسه‌ها (IDs) بر روی مقیاس‌بندی ابرپارامترها، علت این مشکل را شناسایی می‌کنند.
• توسعه روش CowClip: بر اساس تحلیل نظری، نویسندگان روش CowClip را توسعه می‌دهند. این روش با مقیاس‌بندی تطبیقی embeddingها، امکان استفاده از اندازه‌های دسته‌ای بزرگ را بدون کاهش دقت مدل فراهم می‌کند.
• انجام آزمایش‌های گسترده: نویسندگان برای ارزیابی کارایی روش CowClip، آزمایش‌های گسترده‌ای را بر روی چهار شبکه پیش‌بینی CTR (DeepFM، DCN، xDeepFM و AutoInt) و دو مجموعه داده واقعی (Criteo و Avazu) انجام می‌دهند.
• مقایسه با روش‌های دیگر: نتایج حاصل از آزمایش‌ها با نتایج حاصل از روش‌های دیگر مقایسه می‌شود تا نشان داده شود که روش CowClip عملکرد بهتری دارد.

به طور کلی، روش‌شناسی تحقیق در این مقاله مبتنی بر ترکیبی از تحلیل نظری، توسعه روش نوین و انجام آزمایش‌های تجربی گسترده است. این روش‌شناسی به نویسندگان کمک کرده است تا به نتایج قابل توجهی در زمینه تسریع فرآیند آموزش مدل‌های پیش‌بینی CTR دست یابند.

یافته‌های کلیدی مقاله “CowClip” عبارتند از:

• روش‌های مقیاس‌بندی مرسوم در آموزش شبکه‌های عصبی پیش‌بینی CTR با مشکل مواجه می‌شوند.
• تفاوت در فراوانی شناسه‌ها (IDs) باعث ایجاد مشکل در مقیاس‌بندی ابرپارامترها هنگام تغییر اندازه دسته‌ای می‌شود.
• روش CowClip با مقیاس‌بندی تطبیقی embeddingها، امکان استفاده از اندازه‌های دسته‌ای بزرگ را بدون کاهش دقت مدل فراهم می‌کند.
• روش CowClip می‌تواند زمان آموزش مدل‌های پیش‌بینی CTR را به طور چشمگیری کاهش دهد. برای مثال، در آموزش مدل DeepFM بر روی مجموعه داده Criteo، روش CowClip زمان آموزش را از 12 ساعت به 10 دقیقه کاهش داده است.
• روش CowClip عملکرد بهتری نسبت به روش‌های دیگر در زمینه تسریع فرآیند آموزش مدل‌های پیش‌بینی CTR دارد.

این یافته‌ها نشان می‌دهند که روش CowClip یک راهکار موثر برای حل چالش‌های موجود در آموزش مدل‌های پیش‌بینی CTR با استفاده از اندازه‌های دسته‌ای بزرگ است.

به عنوان مثال، استفاده از CowClip در مدل DeepFM بر روی مجموعه داده Criteo، منجر به بهبود 0.1% در AUC شده است. این بهبود در دقت، در کنار کاهش چشمگیر زمان آموزش، نشان‌دهنده کارایی بالای این روش است.

کاربردهای روش CowClip در زمینه‌های مختلفی قابل تصور است، از جمله:

• بهبود عملکرد سیستم‌های پیشنهادگر: با استفاده از روش CowClip، می‌توان مدل‌های پیش‌بینی CTR را سریع‌تر و کارآمدتر آموزش داد و در نتیجه، عملکرد سیستم‌های پیشنهادگر را بهبود بخشید.
• افزایش درآمد تبلیغاتی: با بهبود دقت پیش‌بینی CTR، می‌توان تبلیغات هدفمندتری را به کاربران نمایش داد و در نتیجه، درآمد تبلیغاتی را افزایش داد.
• کاهش هزینه‌های آموزشی: با کاهش زمان آموزش مدل‌ها، می‌توان هزینه‌های مربوط به سخت‌افزار و نیروی انسانی را کاهش داد.

دستاورد اصلی این مقاله، ارائه یک روش نوین برای تسریع فرآیند آموزش مدل‌های پیش‌بینی CTR است. این روش با مقیاس‌بندی تطبیقی embeddingها، امکان استفاده از اندازه‌های دسته‌ای بزرگ را بدون کاهش دقت مدل فراهم می‌کند و در نتیجه، زمان آموزش را به طور چشمگیری کاهش می‌دهد. این دستاورد می‌تواند تاثیر بسزایی در بهبود عملکرد سیستم‌های پیشنهادگر، افزایش درآمد تبلیغاتی و کاهش هزینه‌های آموزشی داشته باشد.

مقاله “CowClip: کاهش زمان آموزش مدل پیش‌بینی CTR از ۱۲ ساعت به ۱۰ دقیقه روی یک GPU” با ارائه یک روش نوین برای تسریع فرآیند آموزش مدل‌های پیش‌بینی CTR، گامی مهم در جهت رفع چالش‌های موجود در این زمینه برداشته است. روش CowClip با مقیاس‌بندی تطبیقی embeddingها، امکان استفاده از اندازه‌های دسته‌ای بزرگ را بدون کاهش دقت مدل فراهم می‌کند و در نتیجه، زمان آموزش را به طور چشمگیری کاهش می‌دهد. این دستاورد می‌تواند تاثیر بسزایی در بهبود عملکرد سیستم‌های پیشنهادگر، افزایش درآمد تبلیغاتی و کاهش هزینه‌های آموزشی داشته باشد. با توجه به حجم روزافزون داده‌ها و اهمیت پیش‌بینی CTR در زمینه‌های مختلف، انتظار می‌رود که روش CowClip در آینده با استقبال گسترده‌تری روبرو شود و به عنوان یک ابزار کارآمد در آموزش مدل‌های پیش‌بینی CTR مورد استفاده قرار گیرد. دسترسی به کد این پروژه از طریق گیت‌هاب امکان‌پذیر است.