در دنیای مدرن هوش مصنوعی، مدل‌های یادگیری ماشین روز به روز بزرگ‌تر و پیچیده‌تر می‌شوند. یکی از چالش‌های بنیادین در آموزش این مدل‌ها، به ویژه در حوزه‌هایی مانند پردازش زبان طبیعی (NLP) و بازیابی اطلاعات (IR)، مدیریت تعداد بسیار زیاد کلاس‌های خروجی است. تصور کنید مدلی برای پیش‌بینی کلمه‌ی بعدی در یک جمله طراحی می‌کنید؛ این مدل باید از میان ده‌ها یا صدها هزار کلمه در واژگان، محتمل‌ترین گزینه را انتخاب کند. اینجاست که تابع «سافت‌مکس» (Softmax) وارد عمل می‌شود.

تابع سافت‌مکس احتمالات را برای هر کلاس خروجی محاسبه می‌کند، اما وقتی تعداد کلاس‌ها به میلیون‌ها یا میلیاردها می‌رسد (مانند سیستم‌های توصیه‌گر یوتیوب یا آمازون)، محاسبه‌ی آن به یک گلوگاه محاسباتی عظیم تبدیل می‌شود. این فرآیند نه تنها زمان‌بر است، بلکه انرژی و منابع سخت‌افزاری بسیار زیادی را نیز مصرف می‌کند. برای غلبه بر این مشکل، تکنیکی به نام «نمونه‌گیری منفی» (Negative Sampling – NS) به طور گسترده مورد استفاده قرار گرفته است. ایده‌ی اصلی این است: به جای مقایسه‌ی کلاس صحیح (مثبت) با تمام کلاس‌های دیگر، آن را تنها با تعداد کمی از کلاس‌های اشتباه (منفی) که به صورت تصادفی انتخاب شده‌اند، مقایسه می‌کنیم.

با این حال، روش‌های موجود نمونه‌گیری منفی با یک مصالحه‌ی اساسی روبرو هستند: یا سریع هستند اما هوشمند نیستند (نمونه‌های تصادفی)، یا هوشمند هستند اما کند عمل می‌کنند (نمونه‌های مبتنی بر یادگیری). مقاله‌ی حاضر با عنوان «داستانی از دو توزیع نمونه‌گیری منفی کارآمد و آگاهی‌بخش»، راهکاری نوآورانه برای شکستن این مصالحه ارائه می‌دهد. این مقاله دو خانواده از توزیع‌های نمونه‌گیری را معرفی می‌کند که هم تطبیق‌پذیر (adaptive) هستند و با یادگیری مدل به‌روز می‌شوند و هم به طور قابل اثباتی در زمان نزدیک به ثابت نمونه تولید می‌کنند. این دستاورد می‌تواند نحوه‌ی آموزش مدل‌های مقیاس بزرگ را متحول سازد.

این مقاله حاصل همکاری تیمی از پژوهشگران برجسته در حوزه‌ی یادگیری ماشین و الگوریتم‌ها است: شبنم دقاقی، تارون مدینی، نیکلاس مایزبرگر، بِیدی چن، منگنان ژائو و آنشومالی شریواستاوا. این تیم تحقیقاتی، که بسیاری از اعضای آن به دانشگاه رایس (Rice University) وابسته هستند، سابقه‌ای درخشان در زمینه‌ی توسعه‌ی الگوریتم‌های بهینه برای یادگیری ماشین مقیاس بزرگ دارند. این پژوهش در تقاطع حوزه‌های کلیدی زیر قرار می‌گیرد:

• یادگیری ماشین (Machine Learning): تمرکز بر بهینه‌سازی فرآیند آموزش مدل‌های عمیق.
• هوش مصنوعی (Artificial Intelligence): ارائه‌ی راهکارهایی برای ساخت سیستم‌های هوشمند کارآمدتر.
• ساختمان داده‌ها و الگوریتم‌ها (Data Structures and Algorithms): استفاده از ساختارهای داده‌ی هوشمند برای حل مشکلات محاسباتی.
• بازیابی اطلاعات (Information Retrieval): کاربرد مستقیم در سیستم‌های جستجو و توصیه‌گر.

طبقه‌بندهای سافت‌مکس با تعداد کلاس‌های بسیار زیاد، یک چالش رایج در کاربردهای مدرن هستند. محاسبه‌ی کامل سافت‌مکس از نظر محاسباتی و مصرف انرژی بسیار پرهزینه است. رویکردهای مختلف نمونه‌گیری، که عموماً با نام نمونه‌گیری منفی شناخته می‌شوند، برای حل این مشکل پدید آمده‌اند. در حالت ایده‌آل، یک روش نمونه‌گیری منفی باید نمونه‌ها را از توزیعی انتخاب کند که به داده‌ی ورودی، پارامترهای فعلی مدل و کلاس مثبتِ صحیح وابسته باشد. به عبارت دیگر، نمونه‌ها باید تطبیق‌پذیر باشند و نمونه‌های «سخت» (Hard Negatives) را انتخاب کنند؛ یعنی آن‌هایی که مدل به احتمال زیاد با کلاس صحیح اشتباه می‌گیرد.

متأسفانه، به دلیل به‌روزرسانی مداوم پارامترها و داده‌ها، هیچ روش نمونه‌گیری شناخته‌شده‌ای وجود نداشت که هم تطبیق‌پذیر باشد و هم نمونه‌ها را به صورت کارآمد تولید کند. بنابراین، محققان به روش‌های جایگزین روی آورده‌اند:

• نمونه‌گیری تصادفی یا مبتنی بر فرکانس ایستا: این روش‌ها سریع هستند اما تطبیق‌پذیر نیستند. آن‌ها نمونه‌های آموزنده‌ای را انتخاب نمی‌کنند و فرآیند یادگیری را کند می‌سازند.
• نمونه‌گیری مغرضانه‌ی مبتنی بر یادگیری: این روش‌ها هوشمندتر و تطبیق‌پذیرتر هستند اما خودِ فرآیند نمونه‌گیری به یک گلوگاه محاسباتی جدید تبدیل می‌شود.

این مقاله این پارادایم را به چالش می‌کشد. نویسندگان دو دسته از توزیع‌ها را معرفی می‌کنند که در آن‌ها، طرح نمونه‌گیری واقعاً تطبیق‌پذیر است و به طور قابل اثباتی نمونه‌های منفی را در زمان نزدیک به ثابت تولید می‌کند. پیاده‌سازی این روش‌ها در C++ روی CPU، هم از نظر زمان اجرای واقعی (wall-clock time) و هم از نظر دقت (accuracy)، به طور قابل توجهی از بهینه‌ترین پیاده‌سازی‌های تنسورفلو (TensorFlow) برای سایر روش‌های محبوب نمونه‌گیری منفی روی پردازنده‌های گرافیکی قدرتمند NVIDIA V100 برتر است.

راز موفقیت این مقاله در استفاده‌ی هوشمندانه از ساختارهای داده‌ی پیشرفته برای تقریب توزیع نمونه‌گیری ایده‌آل است. اگرچه جزئیات فنی پیچیده هستند، اما می‌توان ایده‌ی اصلی پشت دو توزیع پیشنهادی را به زبان ساده توضیح داد. هدف اصلی، یافتن سریع نمونه‌های منفی «آگاهی‌بخش» است؛ یعنی کلاس‌هایی که در فضای برداری (vector space) به کلاس مثبت نزدیک هستند.

توزیع اول: مبتنی بر درهم‌سازی حساس به محلیت (Locality-Sensitive Hashing – LSH)

یکی از روش‌ها احتمالاً از خانواده‌ی الگوریتم‌های LSH الهام گرفته است. LSH تکنیکی است که به ما اجازه می‌دهد آیتم‌های مشابه را در یک مجموعه داده‌ی عظیم به سرعت پیدا کنیم. در این زمینه، به جای جستجوی خطی در میان میلیون‌ها کلاس منفی، می‌توان از LSH برای قرار دادن کلاس‌های با بردارهای مشابه در «سطل‌های» (buckets) یکسان استفاده کرد. وقتی به دنبال نمونه‌های منفی برای یک کلاس مثبت هستیم، کافی است به سطل مربوط به آن نگاه کنیم. این کار به ما اجازه می‌دهد تا نمونه‌های منفیِ چالش‌برانگیز را که از نظر معنایی به کلاس مثبت نزدیک هستند، با سرعت بسیار بالا پیدا کنیم.

توزیع دوم: ساختارهای داده‌ی پویا و تطبیق‌پذیر

دسته‌ی دوم توزیع‌ها بر اساس ساختارهای داده‌ای طراحی شده‌اند که می‌توانند با تغییرات پارامترهای مدل به صورت دینامیک سازگار شوند. این ساختارها ممکن است نوعی ساختار درختی یا گرافی باشند که به طور مداوم سازماندهی مجدد می‌شوند تا بازتاب‌دهنده‌ی درک فعلی مدل از شباهت بین کلاس‌ها باشند. این رویکرد تضمین می‌کند که با پیشرفت آموزش، توزیع نمونه‌گیری نیز هوشمندتر شده و به طور مداوم مدل را با چالش‌برانگیزترین نمونه‌ها تغذیه می‌کند، بدون آنکه هزینه‌ی به‌روزرسانی ساختار داده سرسام‌آور باشد.

نکته‌ی کلیدی در هر دو روش، اثبات نظری کارایی آن‌هاست. نویسندگان نشان می‌دهند که زمان لازم برای تولید هر نمونه نزدیک به ثابت (O(1)) است که یک پیشرفت چشمگیر محسوب می‌شود.

نتایج تجربی این مقاله به همان اندازه‌ی مبانی نظری آن قدرتمند است. یافته‌های اصلی را می‌توان در چند نکته خلاصه کرد:

• کارایی بی‌نظیر: پیاده‌سازی روش‌های پیشنهادی در C++ روی CPU، بهینه‌ترین پیاده‌سازی‌های موجود روی GPUهای پیشرفته را شکست می‌دهد. این یک نتیجه‌ی شگفت‌انگیز است، زیرا نشان می‌دهد که یک الگوریتم برتر می‌تواند بر مزیت سخت‌افزاری عظیم GPU غلبه کند.
• پیروزی دوگانه (سرعت و دقت): این روش‌ها نه تنها سریع‌تر هستند، بلکه به مدل‌هایی با دقت بالاتر نیز منجر می‌شوند. این بدان معناست که نمونه‌های منفی انتخاب‌شده واقعاً آموزنده‌تر هستند و به مدل کمک می‌کنند تا مرزهای تصمیم‌گیری بهتری را یاد بگیرد.
• شکستن مصالحه‌ی قدیمی: مهم‌ترین یافته این است که دیگر نیازی به انتخاب بین سرعت و تطبیق‌پذیری در نمونه‌گیری منفی نیست. این مقاله نشان می‌دهد که می‌توان به هر دو به صورت همزمان دست یافت.

دستاورد این تحقیق تأثیر مستقیمی بر طیف وسیعی از کاربردهای هوش مصنوعی دارد:

• پردازش زبان طبیعی: آموزش مدل‌های زبانی بزرگ (LLMs) و مدل‌های جاسازی کلمات (word embeddings) مانند Word2Vec با واژگان عظیم، بسیار سریع‌تر و کارآمدتر خواهد شد.
• سیستم‌های توصیه‌گر: شرکت‌هایی مانند نتفلیکس، یوتیوب و آمازون که نیاز به توصیه از میان میلیون‌ها آیتم دارند، می‌توانند مدل‌های خود را با هزینه‌ی کمتر و با دقت بالاتر آموزش دهند.
• بازیابی اطلاعات: موتورهای جستجو می‌توانند نتایج مرتبط‌تری را با درک عمیق‌تر و سریع‌تر روابط معنایی بین اسناد ارائه دهند.
• بینایی کامپیوتر: در задача‌های طبقه‌بندی با تعداد کلاس‌های بسیار زیاد، مانند شناسایی گونه‌های مختلف گیاهان یا حیوانات از روی تصویر، این روش‌ها می‌توانند بسیار مفید باشند.

دستاورد اصلی این مقاله، دموکراتیزه کردن آموزش مدل‌های مقیاس بزرگ است. با کاهش نیاز به سخت‌افزارهای گران‌قیمت و کاهش زمان آموزش، این پژوهش به گروه‌های تحقیقاتی و شرکت‌های کوچک‌تر اجازه می‌دهد تا مدل‌های پیشرفته‌تری را توسعه دهند.

مقاله‌ی «داستانی از دو توزیع نمونه‌گیری منفی کارآمد و آگاهی‌بخش» یک گام مهم رو به جلو در حل یکی از چالش‌های اساسی یادگیری ماشین مقیاس بزرگ است. نویسندگان با موفقیت محدودیت‌های روش‌های نمونه‌گیری منفی موجود را شناسایی کرده و راهکاری ارائه داده‌اند که مصالحه‌ی بین سرعت و کیفیت نمونه‌گیری را از بین می‌برد. با معرفی دو خانواده از توزیع‌های نمونه‌گیری که هم تطبیق‌پذیر و هم به طور قابل اثباتی سریع هستند، این تحقیق مسیری جدید برای آموزش کارآمدتر و دقیق‌تر مدل‌های هوش مصنوعی با فضای خروجی عظیم باز می‌کند. نتایج تجربی چشمگیر، که در آن یک پیاده‌سازی CPU از رقبای قدرتمند GPU پیشی می‌گیرد، گواهی بر قدرت نوآوری الگوریتمی در عصر سخت‌افزارهای تخصصی است.