معماری‌های مبتنی بر ترنسفورمر (Transformer) از زمان معرفی، به سرعت به مدل‌های غالب در حوزه‌های پردازش زبان طبیعی (NLP) و بینایی کامپیوتر (Computer Vision) تبدیل شده‌اند. قلب تپنده‌ی این معماری‌ها، مکانیزم «خود-توجهی» (Self-Attention) است که به مدل اجازه می‌دهد تا روابط میان تمام اجزای یک توالی ورودی را به صورت همزمان بسنجد. با این حال، این قدرت با هزینه‌ای گزاف همراه است: پیچیدگی محاسباتی و حافظه‌ی مورد نیاز مکانیزم خود-توجهی با توان دوم طول توالی ورودی ($O(n^2)$) افزایش می‌یابد. این محدودیت ذاتی، استفاده از ترنسفورمرها را برای کاربردهایی که نیازمند پردازش توالی‌های بسیار طولانی هستند (مانند تصاویر با وضوح بالا، اسناد متنی بلند یا سیگنال‌های صوتی طولانی) به یک چالش جدی تبدیل کرده است.

مقاله “DCT-Former: خود-توجهی کارآمد مبتنی بر تبدیل کسینوسی گسسته” راهکاری نوآورانه و هوشمندانه برای غلبه بر این چالش ارائه می‌دهد. این مقاله با الهام از اصول فشرده‌سازی داده‌ها در پردازش سیگنال، روشی را برای تقریب مکانیزم خود-توجهی پیشنهاد می‌کند که ضمن حفظ عملکرد، به طور چشمگیری هزینه‌های محاسباتی و حافظه را کاهش می‌دهد. اهمیت این پژوهش در گشودن دریچه‌ای نو به سوی استفاده از ترنسفورمرها در محیط‌های با منابع محدود، مانند پلتفرم‌های تعبیه‌شده (Embedded Systems) و کاربردهای بلادرنگ (Real-time) نهفته است.

این مقاله حاصل همکاری تیمی از پژوهشگران برجسته به نام‌های کارملو اسکریبانو (Carmelo Scribano)، جورجیا فرانچینی (Giorgia Franchini)، مارکو پراتو (Marco Prato) و مارکو برتونیا (Marko Bertogna) است. این پژوهش در مرز مشترک دو حوزه کلیدی علوم کامپیوتر، یعنی یادگیری ماشین و پردازش سیگنال، قرار می‌گیرد.

نوآوری اصلی مقاله در پیوند زدن یک مفهوم کلاسیک از پردازش سیگنال، یعنی «تبدیل کسینوسی گسسته» (Discrete Cosine Transform – DCT)، با یکی از پیشرفته‌ترین معماری‌های یادگیری عمیق، یعنی ترنسفورمر، است. این رویکرد بین رشته‌ای نشان می‌دهد که چگونه می‌توان از اصول تثبیت‌شده در یک حوزه برای حل مشکلات نوین در حوزه‌ای دیگر بهره برد.

همانطور که در چکیده مقاله اشاره شده است، محدودیت اصلی معماری‌های ترنسفورمر، پیچیدگی درجه دوم مکانیزم توجه است. این امر کاربرد آن‌ها را در پردازش توالی‌های بلند محدود می‌کند. پژوهشگران با الهام از الگوریتم‌های فشرده‌سازی با اتلاف (Lossy Compression) مانند JPEG، یک تقریب کارآمد برای ماژول توجه ارائه می‌دهند. الگوریتم JPEG با استفاده از DCT، اطلاعات یک تصویر را به مولفه‌های فرکانسی تبدیل کرده و با حذف فرکانس‌های بالا که تاثیر کمتری بر درک بصری دارند، تصویر را فشرده می‌سازد.

مقاله DCT-Former نیز از همین منطق پیروی می‌کند. این مدل فرض می‌کند که بخش عمده‌ای از اطلاعات مهم در ماتریس توجه در فرکانس‌های پایین متمرکز شده است. بنابراین، با تبدیل بردارها به حوزه فرکانس و تمرکز بر مهم‌ترین مولفه‌ها، می‌توان محاسبات را با پیچیدگی بسیار کمتری انجام داد. نتایج آزمایش‌های گسترده نشان می‌دهد که این روش نه تنها حافظه کمتری مصرف می‌کند و زمان استنتاج (Inference Time) را به شدت کاهش می‌دهد، بلکه عملکردی مشابه با مدل‌های استاندارد ارائه می‌دهد. این ویژگی‌ها، DCT-Former را به گزینه‌ای ایده‌آل برای کاربردهای بلادرنگ در پلتفرم‌های تعبیه‌شده تبدیل می‌کند.

برای درک بهتر نوآوری DCT-Former، ابتدا باید نگاهی گذرا به مکانیزم خود-توجهی استاندارد داشته باشیم. در این مکانیزم، برای هر عنصر در توالی ورودی، سه بردار پرس‌وجو (Query)، کلید (Key) و مقدار (Value) تولید می‌شود. سپس با محاسبه ضرب داخلی بین تمام بردارهای پرس‌وجو و کلید، یک ماتریس توجه به ابعاد $n times n$ ساخته می‌شود. این ماتریس، که گلوگاه محاسباتی است، میزان اهمیت هر عنصر را برای سایر عناصر مشخص می‌کند.

روش DCT-Former این فرآیند را به شکل زیر بهینه می‌کند:

• عدم محاسبه ماتریس کامل توجه: به جای محاسبه مستقیم ماتریس $QK^T$، این روش از یک مسیر جایگزین هوشمندانه استفاده می‌کند.
• ورود به حوزه فرکانس: بردارهای پرس‌وجو (Q) و کلید (K) با استفاده از تبدیل کسینوسی گسسته (DCT) به حوزه فرکانس منتقل می‌شوند. DCT یک سیگنال را به مجموعی از توابع کسینوسی با فرکانس‌های مختلف تجزیه می‌کند. این تبدیل در فشرده‌سازی داده‌ها بسیار کارآمد است، زیرا انرژی سیگنال را در تعداد کمی از ضرایب فرکانسی پایین متمرکز می‌کند.
• فشرده‌سازی و تقریب: با الهام از JPEG، مدل DCT-Former تنها k ضریب اول (مربوط به فرکانس‌های پایین) از نمایش DCT بردارها را نگه می‌دارد، جایی که $k$ بسیار کوچکتر از $n$ است. این کار به معنای نادیده گرفتن جزئیات پرفرکانس و کم‌اهمیت در ماتریس توجه است.
• محاسبات در فضای فشرده: عملیات توجه در این فضای فرکانسی فشرده انجام می‌شود. این امر پیچیدگی محاسبات را از $O(n^2d)$ به چیزی نزدیک به $O(nkd)$ کاهش می‌دهد، که یک بهبود چشمگیر برای مقادیر بزرگ $n$ است.

در واقع، DCT-Former مکانیزم توجه را به یک فیلتر پایین‌گذر (Low-pass Filter) تبدیل می‌کند که تنها بر روی مهم‌ترین و کلی‌ترین روابط بین عناصر توالی تمرکز کرده و از جزئیات پیچیده و پرهزینه صرف‌نظر می‌کند.

آزمایش‌های انجام‌شده در مقاله، موفقیت چشمگیر رویکرد DCT-Former را در سه جنبه اصلی تایید می‌کند:

• کاهش چشمگیر مصرف حافظه: با عدم نیاز به ساخت و ذخیره‌سازی ماتریس توجه $n times n$، این مدل به طور قابل توجهی حافظه کمتری نسبت به ترنسفورمرهای استاندارد مصرف می‌کند. این ویژگی برای اجرا روی دستگاه‌هایی با حافظه محدود حیاتی است.
• کاهش شدید زمان استنتاج: پیچیدگی محاسباتی خطی‌شده (نزدیک به $O(n)$) منجر به افزایش سرعت قابل ملاحظه‌ای در زمان پردازش می‌شود. این امر DCT-Former را برای کاربردهایی که نیازمند پاسخ‌دهی سریع و بلادرنگ هستند، مانند تحلیل ویدئو یا دستیارهای صوتی، بسیار مناسب می‌سازد.
• حفظ عملکرد و دقت: نکته کلیدی این است که این بهینه‌سازی‌ها با افت عملکرد همراه نیستند. مقاله نشان می‌دهد که DCT-Former در بسیاری از وظایف، دقتی قابل رقابت و مشابه با مدل‌های پیچیده‌تر و پرهزینه‌تر ارائه می‌دهد. این تعادل میان کارایی و دقت، بزرگترین دستاورد این پژوهش است.

دستاوردهای DCT-Former فراتر از یک بهبود تئوریک است و می‌تواند تاثیر مستقیمی بر کاربردهای عملی هوش مصنوعی داشته باشد:

• هوش مصنوعی روی لبه (Edge AI): امکان اجرای مدل‌های قدرتمند ترنسفورمر بر روی دستگاه‌های لبه مانند تلفن‌های هوشمند، پهپادها، دوربین‌های مداربسته هوشمند و سنسورهای اینترنت اشیاء (IoT) فراهم می‌شود.
• پردازش تصاویر با وضوح بالا: تحلیل تصاویر پزشکی، ماهواره‌ای یا ویدئوهای 4K که در حالت عادی به دلیل طولانی بودن توالی ورودی (پیکسل‌ها یا پچ‌ها) چالش‌برانگیز هستند، با این روش عملی‌تر می‌شود.
• تحلیل اسناد بلند در NLP: پردازش و خلاصه‌سازی کتاب‌ها، مقالات حقوقی طولانی یا گزارش‌های مالی جامع که پیش از این به دلیل محدودیت طول ورودی ترنسفورمرها دشوار بود، تسهیل می‌گردد.
• تحلیل داده‌های سری زمانی و ژنومیک: این روش برای تحلیل توالی‌های بلند ژنتیکی یا پیش‌بینی روندهای مالی و صنعتی بر اساس داده‌های تاریخی طولانی‌مدت بسیار کارآمد خواهد بود.

مهم‌ترین دستاورد این مقاله، ارائه یک چارچوب جدید برای طراحی ترنسفورمرهای کارآمد است. این پژوهش نشان می‌دهد که می‌توان با الهام از اصول بنیادی حوزه‌های دیگر، به راه‌حل‌های خلاقانه‌ای برای چالش‌های فعلی یادگیری عمیق دست یافت.

مقاله DCT-Former با معرفی یک رویکرد نوآورانه مبتنی بر تبدیل کسینوسی گسسته، راهکاری قدرتمند برای مقابله با چالش مقیاس‌پذیری در معماری‌های ترنسفورمر ارائه می‌دهد. این مدل با موفقیت توانسته است تعادلی ایده‌آل میان کارایی محاسباتی و دقت عملکرد برقرار کند و خود را به عنوان یک جایگزین سبک، سریع و کارآمد برای ترنسفورمرهای استاندارد معرفی نماید.

این پژوهش نه تنها یک مدل خاص، بلکه یک ایده و مسیر تحقیقاتی جدید را پایه‌گذاری می‌کند: استفاده از ابزارهای کلاسیک پردازش سیگنال برای بهینه‌سازی شبکه‌های عصبی مدرن. با در دسترس قرار گرفتن پیاده‌سازی این مدل برای عموم، انتظار می‌رود که شاهد ظهور خانواده جدیدی از مدل‌های یادگیری عمیق با ردپای حافظه کاهش‌یافته باشیم که قادر به حل مسائلی با مقیاس بزرگتر و در محیط‌های با محدودیت منابع بیشتر خواهند بود.