ترانسفورمرها (Transformers) انقلابی در پردازش زبان طبیعی (NLP) ایجاد کرده‌اند و به دلیل توانایی‌شان در درک روابط پیچیده بین کلمات در توالی‌های طولانی، به ستون فقرات بسیاری از سیستم‌های هوش مصنوعی پیشرفته تبدیل شده‌اند. هسته اصلی آن‌ها، مکانیسم خود-توجهی (Self-Attention) است که به مدل اجازه می‌دهد تا اهمیت نسبی بخش‌های مختلف یک دنباله ورودی را وزن‌دهی کند.

با این حال، خود-توجهی یک چالش اساسی دارد: پیچیدگی محاسباتی آن به صورت درجه دوم (quadratic) با طول دنباله ورودی مقیاس‌بندی می‌شود. این امر آموزش مدل‌ها را بر روی دنباله‌های بسیار طولانی (مانند اسناد کامل یا توالی‌های ژنومیک) پرهزینه و دشوار می‌سازد.

مقاله حاضر، “شما فقط (تقریباً) یک بار نمونه می‌گیرید: خود-توجهی با هزینه خطی از طریق نمونه‌برداری برنولی” (You Only Sample (Almost) Once: Linear Cost Self-Attention Via Bernoulli Sampling) یک پیشرفت قابل توجه در این زمینه ارائه می‌دهد. این تحقیق راهکاری نوآورانه برای کاهش پیچیدگی درجه دوم خود-توجهی به پیچیدگی خطی مطرح می‌کند. نویسندگان نشان می‌دهند که با استفاده از یک مکانیسم توجه مبتنی بر نمونه‌برداری برنولی (Bernoulli Sampling) و هشینگ حساس به مکان (Locality Sensitive Hashing – LSH)، می‌توان این چالش را مرتفع ساخت. این دستاورد نه تنها کارایی محاسباتی را به طور چشمگیری بهبود می‌بخشد، بلکه افق‌های جدیدی را برای کاربرد ترانسفورمرها در پردازش دنباله‌های بسیار طولانی می‌گشاید و به توسعه مدل‌های هوش مصنوعی مقیاس‌پذیرتر کمک می‌کند. این مقاله در زمینه هوش مصنوعی کارآمد (Efficient AI) از اهمیت ویژه‌ای برخوردار است.

این مقاله توسط گروهی از محققان برجسته شامل ژانپنگ زنگ (Zhanpeng Zeng)، یون‌یانگ شیونگ (Yunyang Xiong)، ساتیا ان. راوی (Sathya N. Ravi)، شایلش آچاریا (Shailesh Acharya)، گلن فانگ (Glenn Fung) و ویکاس سینگ (Vikas Singh) نگاشته شده است. این تیم تحقیقاتی متخصص در یادگیری ماشین و بهینه‌سازی الگوریتم‌هاست.

زمینه اصلی این تحقیق، یادگیری ماشین و به طور خاص، پردازش زبان طبیعی است که به چالش‌های بنیادی در طراحی و مقیاس‌پذیری مدل‌های ترانسفورمر می‌پردازد. این کار در راستای تلاش‌های گسترده‌تر جامعه علمی برای ساخت مدل‌های ترانسفورمر کارآمدتر قرار می‌گیرد، با تمرکز بر کاهش پیچیدگی محاسباتی و حافظه مورد نیاز. مقاله به دسته‌بندی‌های “یادگیری ماشین” (Machine Learning) و “محاسبات و زبان” (Computation and Language) تعلق دارد.

مقاله “شما فقط (تقریباً) یک بار نمونه می‌گیرید” به مشکل اساسی هزینه درجه دوم مکانیسم خود-توجهی در مدل‌های ترانسفورمر می‌پردازد که مانع پردازش دنباله‌های طولانی می‌شود. نویسندگان راهکاری ارائه می‌دهند که با استفاده از مکانیسم توجه مبتنی بر نمونه‌برداری برنولی (Bernoulli sampling attention)، ریشه‌گرفته از هشینگ حساس به مکان (LSH)، این پیچیدگی را به خطی کاهش می‌دهد. ایده اصلی این است که خود-توجهی را مجموعی از توکن‌های منفرد مرتبط با متغیرهای تصادفی برنولی ببینیم که می‌توانند اصولاً با یک هش واحد نمونه‌برداری شوند.

برای پیاده‌سازی کارآمد، اصلاحات خاصی در LSH برای معماری‌های GPU پیشنهاد شده است.

ارزیابی الگوریتم بر روی دو مجموعه داده معیار مهم انجام شده است:

• **GLUE benchmark:** برای دنباله‌های استاندارد (512 توکن)، عملکرد مطلوبی را نسبت به یک ترانسفورمر استاندارد از پیش آموزش‌دیده نشان می‌دهد.
• **Long Range Arena (LRA) benchmark:** برای دنباله‌های طولانی، نتایجی سازگار با خود-توجهی softmax استاندارد ارائه می‌دهد، اما با افزایش سرعت قابل توجه و صرفه‌جویی چشمگیر در حافظه، و اغلب از سایر روش‌های کارآمد خود-توجهی نیز بهتر عمل می‌کند.

کد این پژوهش به صورت عمومی در گیت‌هاب (https://github.com/mlpen/YOSO) در دسترس است. این مقاله گام مهمی در جهت کارآمدتر کردن مدل‌های ترانسفورمر برای پردازش داده‌های با طول زیاد است.

برای درک چگونگی دستیابی به خود-توجهی با هزینه خطی، لازم است ابتدا به اصول مکانیسم خود-توجهی و سپس به نوآوری‌های این مقاله در استفاده از نمونه‌برداری برنولی و LSH بپردازیم.

۱. چالش خود-توجهی درجه دوم:

مکانیسم خود-توجهی با محاسبه سه بردار Query، Key و Value برای هر توکن، اهمیت نسبی سایر توکن‌ها را تعیین می‌کند. ماتریس توجه با ضرب Query در Key’s transpose و اعمال softmax و سپس ضرب در Value به دست می‌آید. این عملیات شامل تولید یک ماتریس شباهت از ابعاد (طول دنباله * طول دنباله) است که منجر به پیچیدگی درجه دوم (O(L^2)) از نظر حافظه و زمان محاسبات می‌شود.

۲. کاهش پیچیدگی با نمونه‌برداری برنولی و LSH:

نویسندگان برای دور زدن این مشکل، با نمونه‌برداری هوشمندانه، تخمینی دقیق از ماتریس توجه را پیشنهاد می‌کنند، که به معنی عدم نیاز به محاسبه تمام تعاملات جفتی است. این رویکرد بر دو مفهوم کلیدی استوار است:

• **نمونه‌برداری برنولی (Bernoulli Sampling):** هر توکن ورودی با یک متغیر تصادفی برنولی مرتبط است که تعیین می‌کند آیا توکن در فرآیند توجه‌دهی در یک دور خاص گنجانده شود یا خیر. این کار تعداد محاسبات را کاهش می‌دهد.
• **هشینگ حساس به مکان (Locality Sensitive Hashing – LSH):** LSH توکن‌های مشابه (بر اساس بردار Query یا Key) را به یک “سطل هش” مشترک نگاشت می‌کند. با این کار، جستجوی “همسایگان” برای هر Query به جای کل دنباله، به توکن‌های درون همان سطل هش محدود می‌شود.
  • **اصلاحات LSH برای GPU:** مقاله اصلاحات خاصی در LSH ارائه می‌دهد که برای بهره‌برداری از قابلیت‌های پردازش موازی GPUها طراحی شده‌اند. این شامل تکنیک‌هایی برای مدیریت کارآمد سطل‌های هش و عملیات موازی برای حصول سرعت بالا است.

۳. اصل “شما فقط (تقریباً) یک بار نمونه می‌گیرید”:

این اصل به هسته نوآوری مقاله اشاره دارد. نویسندگان با در نظر گرفتن خود-توجهی به عنوان مجموعی از مشارکت‌های منفرد توکن‌ها، از خواص نمونه‌برداری برنولی استفاده می‌کنند. LSH در اینجا نقش کلیدی را ایفا می‌کند: هر Query و Key به چندین سطل هش نگاشت می‌شوند. برای هر Query، فقط Keyهایی که حداقل به یکی از سطل‌های هش مشترک نگاشت شده‌اند، به عنوان نامزد برای توجه‌دهی در نظر گرفته می‌شوند. این “نمونه‌برداری” از Keyهای مرتبط با یک Query خاص به جای جستجوی کل فضای، پیچیدگی را به شدت کاهش می‌دهد و به یک رویکرد “تقریباً یک بار نمونه‌برداری” منجر می‌شود. در عمل، ممکن است از تعداد ثابتی از هش‌ها برای تخمین دقیق‌تر استفاده شود.

۴. ارزیابی:

روش بر روی دو معیار ارزیابی شد:

• **GLUE benchmark:** برای ارزیابی عملکرد بر روی طول دنباله‌های استاندارد (تا 512 توکن).
• **Long Range Arena (LRA) benchmark:** به طور خاص برای ارزیابی توانایی مدل‌ها در پردازش دنباله‌های بسیار طولانی (اغلب هزاران توکن) طراحی شده است و شامل وظایفی است که وابستگی‌های بلندمدت را آزمایش می‌کنند.

با ترکیب این روش‌شناسی، مقاله راهکاری مستحکم و کارآمد برای غلبه بر موانع مقیاس‌پذیری ترانسفورمرها ارائه می‌دهد.

تحقیق حاضر به نتایج و یافته‌های مهمی دست یافته است که اثربخشی و کارایی رویکرد پیشنهادی برای خود-توجهی خطی را نشان می‌دهد.

مهمترین یافته‌ها عبارتند از:

• **کاهش چشمگیر پیچیدگی محاسباتی:** اصلی‌ترین دستاورد، کاهش پیچیدگی زمانی و حافظه از درجه دوم (O(L^2)) به خطی (O(L)) نسبت به طول دنباله است، که پردازش دنباله‌های بسیار طولانی را ممکن می‌سازد.
• **عملکرد رقابتی بر روی GLUE benchmark:** در ارزیابی بر روی GLUE benchmark (دنباله‌های استاندارد 512 توکن)، روش پیشنهادی عملکرد مطلوبی را نسبت به یک ترانسفورمر استاندارد از پیش آموزش‌دیده نشان داد، که حاکی از حفظ دقت در کنار کارایی است.
• **عملکرد پایدار و کارآمد بر روی Long Range Arena (LRA) benchmark:**
  • **سازگاری با خود-توجهی Softmax:** بر روی LRA (دنباله‌های طولانی)، روش “YOSO” نتایج سازگار با خود-توجهی softmax استاندارد ارائه می‌دهد.
  • **افزایش سرعت و صرفه‌جویی در حافظه:** این سازگاری با افزایش سرعت قابل توجه و صرفه‌جویی چشمگیر در حافظه همراه است، که به معنای کاهش زمان آموزش و هزینه‌های محاسباتی است.
  • **پیشی گرفتن از سایر روش‌های کارآمد:** در بسیاری از موارد، روش پیشنهادی از سایر روش‌های کارآمد خود-توجهی نیز عملکرد بهتری نشان می‌دهد، که جایگاه آن را به عنوان یک راه‌حل پیشرفته تثبیت می‌کند.
• **معماری مناسب GPU:** اصلاحات خاص LSH برای استقرار بر روی GPUها، کارایی عملی روش را تضمین می‌کند.

این یافته‌ها به روشنی نشان می‌دهند که رویکرد نمونه‌برداری برنولی مبتنی بر LSH نه تنها از نظر تئوری کارآمد است، بلکه در عمل نیز توانایی ارائه عملکرد بالا را دارد.

کاربردها و دستاوردهای روش “شما فقط (تقریباً) یک بار نمونه می‌گیرید” پیامدهای عملی گسترده‌ای در حوزه‌های مختلف هوش مصنوعی دارد.

مهمترین کاربردها و دستاوردها عبارتند از:

• **پردازش دنباله‌های فوق‌العاده طولانی:** با کاهش پیچیدگی خود-توجهی به خطی، اکنون می‌توان مدل‌های ترانسفورمر را بر روی دنباله‌های ورودی با هزاران و حتی ده‌ها هزار توکن آموزش داد. این قابلیت درهای جدیدی را به روی کاربردهای زیر می‌گشاید:
  • **خلاصه‌سازی اسناد طولانی:** مقالات علمی، گزارش‌های مالی و اسناد حقوقی.
  • **تحلیل کد منبع بزرگ:** فهم و استخراج الگوها از پایگاه‌های کد پیچیده.
  • **پردازش ژنومیک:** تحلیل توالی‌های DNA و پروتئین.
  • **سیستم‌های پرسش و پاسخ بر روی مجموعه‌های بزرگ دانش.**
• **کاهش هزینه‌های آموزش و استنتاج:** کاهش زمان آموزش مدل‌ها به معنای صرفه‌جویی در منابع محاسباتی و انرژی است. این امر برای شرکت‌ها و مراکز تحقیقاتی بسیار حیاتی است و به کاهش ردپای کربن هوش مصنوعی نیز کمک می‌کند. همچنین دسترسی به فناوری‌های پیشرفته را گسترش می‌دهد.
• **توسعه مدل‌های هوش مصنوعی قدرتمندتر و مقیاس‌پذیرتر:** این روش به طراحان مدل اجازه می‌دهد تا ترانسفورمرها را برای حل مشکلات پیچیده‌تر با نیاز به درک زمینه گسترده‌تر، تطبیق دهند.
• **رقابت‌پذیری با سایر روش‌های کارآمد:** با عملکرد بهتر از بسیاری از روش‌های کارآمد موجود، YOSO یک استاندارد جدید برای کارایی و دقت تعیین می‌کند.
• **پشتیبانی از معماری‌های سخت‌افزاری مدرن (GPU):** بهینه‌سازی برای GPUها کارایی عملی روش را در محیط‌های تولیدی تضمین می‌کند.

این مقاله گامی مهم در جهت تحقق پتانسیل کامل ترانسفورمرها برای پردازش حجم عظیمی از داده‌های توالی با حفظ کارایی و دقت است.

مقاله “شما فقط (تقریباً) یک بار نمونه می‌گیرید: خود-توجهی با هزینه خطی از طریق نمونه‌برداری برنولی” یک پیشرفت بنیادین و عملی در زمینه مدل‌های ترانسفورمر ارائه می‌دهد. این تحقیق با موفقیت به یکی از بزرگترین چالش‌های معماری ترانسفورمر، یعنی پیچیدگی درجه دوم مکانیسم خود-توجهی، پاسخ داده است.

نویسندگان با معرفی یک رویکرد مبتنی بر نمونه‌برداری برنولی و هشینگ حساس به مکان (LSH)، توانسته‌اند این پیچیدگی را به خطی کاهش دهند. این نوآوری با اصلاحات خاص LSH برای استقرار بر روی GPUها، به یک راه‌حل کاملاً عملی تبدیل شده است. نتایج ارزیابی بر روی GLUE و LRA benchmark، عملکرد رقابتی در دنباله‌های استاندارد و بهبودهای قابل توجه در سرعت و مصرف حافظه برای دنباله‌های طولانی را نشان می‌دهد.

این پژوهش پیامدهای عمیقی برای آینده یادگیری ماشین دارد. با امکان پردازش دنباله‌های بسیار طولانی با کارایی بالا، درهای جدیدی به روی کاربردهایی که قبلاً غیرقابل تصور بودند، باز می‌شود. همچنین، این رویکرد به کاهش هزینه‌های عملیاتی و افزایش دسترسی به مدل‌های پیشرفته هوش مصنوعی کمک می‌کند.

در نهایت، این مقاله الهام‌بخش تحقیقات آتی در زمینه ساخت مدل‌های هوش مصنوعی کارآمدتر، مقیاس‌پذیرتر و پایدارتر خواهد بود.