در دنیای امروز که هوش مصنوعی و به خصوص یادگیری عمیق به سرعت در حال پیشرفت است، مدل‌های پیچیده ترانسفورمر (Transformer) به عنوان ستاره‌های درخشان در حوزه‌های مختلف ظهور کرده‌اند. این مدل‌ها که ابتدا در پردازش زبان طبیعی (NLP) غوغا کردند، اکنون با معرفی ترانسفورمرهای بینایی (Vision Transformers – ViTs)، کاربردهای خود را به طور چشمگیری به وظایف بینایی کامپیوتری گسترش داده‌اند. از تشخیص اشیاء گرفته تا طبقه‌بندی تصاویر و تقسیم‌بندی معنایی، ViTها نتایج خیره‌کننده‌ای را به ارمغان آورده‌اند که در بسیاری موارد از شبکه‌های عصبی پیچشی (CNNs) نیز فراتر رفته‌اند.

با این حال، قدرت بی‌حد و حصر این مدل‌ها بدون چالش نیست. ViTها به دلیل اندازه بسیار بزرگ و پیچیدگی محاسباتی بالا، اغلب برای استقرار بر روی دستگاه‌های لبه‌ای (Edge Devices) که منابع محدودی دارند، نامناسب هستند. این محدودیت، مانع بزرگی بر سر راه کاربردهای بلادرنگ و فراگیر هوش مصنوعی می‌شود. مقاله “VAQF: چارچوب خودکار طراحی مشترک نرم‌افزار-سخت‌افزار برای ترانسفورمر بینایی کم‌بیت” دقیقاً به همین چالش می‌پردازد و راه حلی نوآورانه ارائه می‌دهد.

هدف اصلی این تحقیق، توسعه یک چارچوب جامع و خودکار است که امکان استقرار کارآمد ViTهای کوانتیزه شده (Quantized ViTs) را بر روی پلتفرم‌های سخت‌افزاری قابل برنامه‌ریزی مانند FPGAها (Field-Programmable Gate Arrays) فراهم آورد. این مقاله نه تنها یک پیشرفت فنی مهم محسوب می‌شود، بلکه پلی است بین دنیای پیچیده الگوریتم‌های یادگیری عمیق و الزامات سخت‌گیرانه پیاده‌سازی سخت‌افزاری، به ویژه در کاربردهایی که نیازمند اجرای بلادرنگ و مصرف انرژی پایین هستند.

این پژوهش توسط تیمی از محققان برجسته شامل Mengshu Sun, Haoyu Ma, Guoliang Kang, Yifan Jiang, Tianlong Chen, Xiaolong Ma, Zhangyang Wang و Yanzhi Wang انجام شده است. این نویسندگان که اغلب در دانشگاه‌ها و موسسات تحقیقاتی پیشرو در زمینه هوش مصنوعی، معماری کامپیوتر و سخت‌افزارهای شتاب‌دهنده فعالیت دارند، تخصص‌های متنوعی را گرد هم آورده‌اند تا به این مشکل چندوجهی بپردازند. زمینه اصلی تحقیق آن‌ها شامل حوزه‌های زیر است:

• یادگیری ماشین و یادگیری عمیق: توسعه و بهینه‌سازی مدل‌های پیشرفته هوش مصنوعی.
• بینایی کامپیوتری و تشخیص الگو: تمرکز بر روی کاربردهای ViT در تجزیه و تحلیل تصاویر و ویدئوها.
• معماری‌های سخت‌افزاری و شتاب‌دهنده‌های هوش مصنوعی: طراحی و پیاده‌سازی مدارهای مجتمع با کاربرد خاص (ASICs) و FPGAها برای سرعت بخشیدن به محاسبات یادگیری عمیق.
• طراحی مشترک نرم‌افزار-سخت‌افزار (Software-Hardware Co-Design): بهینه‌سازی همزمان الگوریتم‌ها و پلتفرم‌های سخت‌افزاری برای دستیابی به بهترین عملکرد.
• کوانتیزاسیون (Quantization) مدل‌های یادگیری عمیق: کاهش دقت محاسبات (مثلاً از ۳۲ بیت ممیز شناور به ۸ بیت یا کمتر) برای کاهش اندازه مدل، مصرف حافظه و پیچیدگی محاسباتی.

این زمینه تحقیقاتی در خط مقدم تلاش‌ها برای ساخت سیستم‌های هوش مصنوعی کارآمدتر، پایدارتر و قابل دسترس‌تر قرار دارد که می‌تواند در گستره وسیعی از کاربردها، از اتومبیل‌های خودران و پهپادها گرفته تا دستگاه‌های اینترنت اشیاء (IoT)، مورد استفاده قرار گیرد.

معماری‌های ترانسفورمر با مکانیزم توجه (Attention Mechanism) به موفقیت‌های چشمگیری در پردازش زبان طبیعی دست یافته‌اند و اخیراً ترانسفورمرهای بینایی (ViTs) کاربرد خود را به وظایف مختلف بینایی گسترش داده‌اند. با این حال، ViTها با وجود عملکرد بالا، از اندازه بزرگ مدل و پیچیدگی محاسباتی بالا رنج می‌برند که استقرار آن‌ها را بر روی دستگاه‌های لبه‌ای با مشکل مواجه می‌کند.

برای دستیابی به توان عملیاتی بالا در سخت‌افزار و در عین حال حفظ دقت مدل، این مقاله چارچوبی به نام VAQF (Vision Transformer Automatic Quantization Framework) را پیشنهاد می‌کند. VAQF یک چارچوب کاملاً خودکار است که شتاب‌دهنده‌های استنتاج را بر روی پلتفرم‌های FPGA برای ViTهای کوانتیزه شده با وزن‌های باینری و فعال‌سازی‌های با دقت پایین (Low-Precision Activations) می‌سازد.

ویژگی منحصر به فرد VAQF این است که با دریافت ساختار مدل و نرخ فریم (Frame Rate) مورد نظر، به طور خودکار دقت کوانتیزاسیون مورد نیاز برای فعال‌سازی‌ها و همچنین تنظیمات پارامتر بهینه شتاب‌دهنده را که الزامات سخت‌افزاری را برآورده می‌کند، خروجی می‌دهد. این رویکرد دوگانه، یعنی بهینه‌سازی همزمان نرم‌افزار (استراتژی کوانتیزاسیون) و سخت‌افزار (پیاده‌سازی شتاب‌دهنده)، هسته اصلی نوآوری VAQF را تشکیل می‌دهد.

پیاده‌سازی‌ها با استفاده از Vivado High-Level Synthesis (HLS) بر روی برد FPGA Xilinx ZCU102 توسعه یافته‌اند. نتایج ارزیابی با مدل DeiT-base نشان می‌دهد که:

• یک نیاز نرخ فریم ۲۴ فریم بر ثانیه (FPS) با کوانتیزاسیون فعال‌سازی ۸ بیتی برآورده می‌شود.
• هدف ۳۰ FPS با کوانتیزاسیون فعال‌سازی ۶ بیتی محقق می‌گردد.

این اولین بار است که کوانتیزاسیون در شتاب‌دهی ViT بر روی FPGAها با کمک یک چارچوب کاملاً خودکار ادغام شده است تا استراتژی کوانتیزاسیون را در سمت نرم‌افزار و پیاده‌سازی‌های شتاب‌دهنده را در سمت سخت‌افزار، با توجه به نرخ فریم هدف، هدایت کند. هزینه زمان کامپایل در مقایسه با آموزش کوانتیزاسیون بسیار ناچیز است و شتاب‌دهنده‌های تولید شده قابلیت دستیابی به اجرای بلادرنگ را برای مدل‌های پیشرفته ViT بر روی FPGAها نشان می‌دهند.

چارچوب VAQF یک رویکرد سیستماتیک و خودکار را برای حل چالش استقرار ViTهای پیچیده بر روی سخت‌افزارهای محدود منابع ارائه می‌دهد. روش‌شناسی این تحقیق بر پایه طراحی مشترک نرم‌افزار-سخت‌افزار و کوانتیزاسیون بنا شده است. مراحل کلیدی روش‌شناسی به شرح زیر است:

• کوانتیزاسیون مدل (Model Quantization)

  اولین گام حیاتی، کوانتیزاسیون مدل ViT است. این به معنای کاهش دقت عددی وزن‌ها و فعال‌سازی‌ها در شبکه عصبی است. VAQF از استراتژی وزن‌های باینری (Binary Weights) و فعال‌سازی‌های با دقت پایین (Low-Precision Activations) استفاده می‌کند. وزن‌های باینری به طور چشمگیری نیازهای حافظه و محاسبات ضرب را کاهش می‌دهند، زیرا ضرب در اعداد باینری به سادگی به جمع یا تفریق تبدیل می‌شود. دقت فعال‌سازی‌ها اما می‌تواند متغیر باشد (مثلاً ۶ یا ۸ بیت) و این دقت توسط خود چارچوب VAQF به صورت پویا و بر اساس نیازهای عملکردی تعیین می‌شود. کوانتیزاسیون باعث کاهش حجم مدل، افزایش سرعت استنتاج و کاهش مصرف انرژی می‌شود، اما در عین حال می‌تواند به دقت مدل آسیب برساند. از این رو، یافتن تعادل مناسب بین دقت و کارایی ضروری است.

• طراحی شتاب‌دهنده سخت‌افزاری بر روی FPGA (FPGA Hardware Accelerator Design)

  VAQF برای پیاده‌سازی شتاب‌دهنده‌ها از FPGAها استفاده می‌کند. FPGAها به دلیل انعطاف‌پذیری و قابلیت برنامه‌ریزی مجدد، پلتفرم‌های ایده‌آلی برای شتاب‌دهنده‌های یادگیری عمیق هستند که نیاز به تغییرات معماری مداوم دارند. این چارچوب از Vivado High-Level Synthesis (HLS) استفاده می‌کند. HLS ابزاری است که به مهندسان اجازه می‌دهد تا کد C/C++/SystemC را مستقیماً به منطق سخت‌افزاری (RTL) برای FPGAها تبدیل کنند. این رویکرد به طور قابل توجهی زمان طراحی و توسعه سخت‌افزار را در مقایسه با روش‌های سنتی طراحی RTL کوتاه می‌کند. VAQF پارامترهای مختلف شتاب‌دهنده را از جمله:

  • سطح موازی‌سازی (Parallelism Degree): تعیین تعداد واحدهای پردازشی که همزمان کار می‌کنند.
  • معماری حافظه داخلی (On-chip Memory Architecture): بهینه‌سازی استفاده از حافظه‌های سریع FPGA.
  • پایپ‌لاینینگ (Pipelining): افزایش توان عملیاتی با تقسیم وظایف به مراحل کوچکتر و اجرای همزمان آنها.

  به گونه‌ای تنظیم می‌کند که بهترین عملکرد را با توجه به محدودیت‌های FPGA و نرخ فریم هدف ارائه دهد.

• چارچوب طراحی مشترک خودکار (Automatic Co-Design Framework)

  نقطه قوت اصلی VAQF در خودکار بودن و یکپارچگی آن است. به جای اینکه طراحان مجبور باشند به صورت دستی دقت کوانتیزاسیون را انتخاب کرده و سپس شتاب‌دهنده سخت‌افزاری را برای آن دقت طراحی کنند، VAQF این فرآیند را به صورت خودکار انجام می‌دهد. این چارچوب به عنوان ورودی، ساختار مدل ViT و نرخ فریم هدف (Target Frame Rate) مورد نظر را دریافت می‌کند. سپس، با استفاده از یک الگوریتم بهینه‌سازی داخلی، به طور هوشمندانه:

  • دقت بهینه برای فعال‌سازی‌های مدل را تعیین می‌کند.
  • پارامترهای بهینه برای شتاب‌دهنده سخت‌افزاری را تولید می‌کند.

  این فرآیند به گونه‌ای انجام می‌شود که هم الزامات سخت‌افزاری (مثل منابع موجود در FPGA) و هم اهداف عملکردی (مثل نرخ فریم) برآورده شوند. این بازخورد چرخشی بین نرم‌افزار و سخت‌افزار، کلید دستیابی به تعادل بین کارایی و دقت است.

• پلتفرم ارزیابی (Evaluation Platform)

  برای اعتبارسنجی رویکرد پیشنهادی، پیاده‌سازی‌ها بر روی برد Xilinx ZCU102 FPGA انجام شده‌اند. این برد یک پلتفرم قدرتمند برای توسعه سیستم‌های تعبیه‌شده (Embedded Systems) با قابلیت‌های پردازش بالا است. مدل مورد استفاده برای ارزیابی، DeiT-base (Data-efficient Image Transformers) بوده است که یک مدل ViT استاندارد و شناخته‌شده در حوزه بینایی کامپیوتر است. استفاده از یک مدل پایه و یک پلتفرم سخت‌افزاری واقعی، نتایج را قابل اعتماد و قابل مقایسه می‌سازد.

نتایج ارزیابی چارچوب VAQF بر روی مدل DeiT-base و برد Xilinx ZCU102 FPGA، دستاوردهای مهم و قابل توجهی را به همراه داشته است که قابلیت این چارچوب را در دستیابی به اجرای بلادرنگ برای مدل‌های ViT در سخت‌افزارهای لبه‌ای تأیید می‌کند. این یافته‌ها عبارتند از:

• دستیابی به نرخ فریم ۲۴ FPS با کوانتیزاسیون ۸ بیتی: یکی از اهداف اصلی در کاربردهای بینایی کامپیوتری بلادرنگ، نرخ فریم حداقل ۲۴ فریم بر ثانیه است تا تجربه بصری روان و بدون تأخیر فراهم شود. VAQF با استفاده از کوانتیزاسیون ۸ بیتی برای فعال‌سازی‌های مدل DeiT-base، موفق به برآورده کردن این نیاز شده است. این نتیجه نشان می‌دهد که می‌توان بدون افت قابل توجه در دقت مدل (که معمولاً با کوانتیزاسیون ۸ بیتی حفظ می‌شود)، عملکرد سخت‌افزاری مناسبی را به دست آورد.

• افزایش عملکرد به ۳۰ FPS با کوانتیزاسیون ۶ بیتی: برای کاربردهایی با نیازهای عملکردی بالاتر، VAQF نشان داده است که با کاهش دقت کوانتیزاسیون فعال‌سازی‌ها به ۶ بیت، می‌توان به نرخ فریم ۳۰ FPS دست یافت. این افزایش در نرخ فریم به قیمت کاهش جزئی در دقت مدل صورت می‌گیرد، اما برای بسیاری از سناریوهای کاربردی، توازن بین عملکرد و دقت کاملاً مطلوب است. این انعطاف‌پذیری در انتخاب سطح کوانتیزاسیون بر اساس نرخ فریم هدف، یکی از مزایای کلیدی VAQF است.

• کاهش چشمگیر زمان کامپایل: در مقایسه با روش‌های سنتی که نیاز به آموزش مجدد (fine-tuning) یا آموزش آگاه از کوانتیزاسیون (Quantization-Aware Training – QAT) برای هر سطح کوانتیزاسیون دارند، VAQF هزینه زمان کامپایل بسیار ناچیزی را تحمیل می‌کند. این به دلیل ماهیت خودکار چارچوب و تمرکز آن بر روی بهینه‌سازی پس از آموزش (Post-Training Quantization) و طراحی سخت‌افزار است، که نیاز به چرخه‌های طولانی آموزش مدل را از بین می‌برد. این ویژگی توسعه و استقرار سریع‌تر را ممکن می‌سازد.

• قابلیت اجرای بلادرنگ برای مدل‌های ViT پیشرفته: این تحقیق به وضوح نشان می‌دهد که شتاب‌دهنده‌های تولید شده توسط VAQF قادر به اجرای بلادرنگ (Real-Time Execution) برای مدل‌های پیشرفته ViT بر روی FPGAها هستند. این دستاورد یک گام بزرگ رو به جلو برای استقرار ViTها در دستگاه‌های لبه‌ای محسوب می‌شود که پیش از این به دلیل محدودیت‌های منابع، غیرقابل تصور بود.

• اولین چارچوب کاملاً خودکار در نوع خود: این مقاله ادعا می‌کند که VAQF اولین چارچوب کاملاً خودکار است که کوانتیزاسیون را در شتاب‌دهی ViT بر روی FPGAها ادغام می‌کند و استراتژی کوانتیزاسیون در سمت نرم‌افزار و پیاده‌سازی‌های شتاب‌دهنده در سمت سخت‌افزار را با توجه به نرخ فریم هدف هدایت می‌کند. این نوآوری یک شکاف مهم را در تحقیقات موجود پر می‌کند و مسیری را برای توسعه ابزارهای طراحی هوش مصنوعی کارآمدتر باز می‌کند.

دستاوردهای حاصل از چارچوب VAQF پیامدهای گسترده‌ای برای حوزه‌های مختلف هوش مصنوعی و کاربردهای عملی آن دارد. این چارچوب نه تنها یک پیشرفت فنی است، بلکه توانمندسازی قابل توجهی را برای توسعه‌دهندگان و محققان به ارمغان می‌آورد:

• استقرار ViTها بر روی دستگاه‌های لبه‌ای (Edge AI Deployment)

  مهم‌ترین دستاورد، امکان استقرار مدل‌های ViT پیشرفته بر روی دستگاه‌های لبه‌ای با منابع محدود است. پیش از این، ViTها عمدتاً به سرورهای قدرتمند یا GPUهای گران‌قیمت محدود می‌شدند. VAQF این محدودیت را با ارائه شتاب‌دهنده‌های کارآمد مبتنی بر FPGA از بین می‌برد. این امر طیف وسیعی از کاربردها را باز می‌کند، از جمله:

  • خودروهای خودران و سیستم‌های کمک راننده پیشرفته (ADAS): پردازش بلادرنگ اطلاعات بصری برای تشخیص اشیاء، عابر پیاده و خطوط جاده.
  • پهپادها و رباتیک: ناوبری خودکار، شناسایی هدف و بازرسی بصری در محیط‌های مختلف.
  • دوربین‌های هوشمند و سیستم‌های نظارتی: تجزیه و تحلیل ویدئویی بلادرنگ برای تشخیص ناهنجاری‌ها و شناسایی چهره/اشیاء.
  • دستگاه‌های پزشکی پوشیدنی: پردازش تصاویر پزشکی برای تشخیص بیماری‌ها.

• اجرای بلادرنگ وظایف بینایی (Real-Time Vision Tasks)

  با دستیابی به نرخ فریم بالا (۲۴ تا ۳۰ FPS)، VAQF امکان اجرای بلادرنگ وظایف پیچیده بینایی مانند طبقه‌بندی تصویر، تشخیص شیء و تقسیم‌بندی معنایی را فراهم می‌کند. این برای کاربردهایی که نیاز به پاسخگویی فوری دارند، مانند سیستم‌های امنیتی یا دستگاه‌های مصرف‌کننده، حیاتی است.

• کاهش زمان و هزینه توسعه (Reduced Development Time and Cost)

  ماهیت خودکار چارچوب VAQF به طور قابل توجهی زمان و تلاش مورد نیاز برای طراحی شتاب‌دهنده‌های سخت‌افزاری را کاهش می‌دهد. بدون VAQF، مهندسان باید به صورت دستی دقت کوانتیزاسیون را تنظیم کرده و سپس سخت‌افزار را برای آن بهینه کنند، که یک فرآیند تکراری و زمان‌بر است. این خودکارسازی به شرکت‌ها اجازه می‌دهد تا محصولات مبتنی بر هوش مصنوعی را با سرعت و هزینه کمتری به بازار عرضه کنند.

• بهینه‌سازی مصرف انرژی (Energy Efficiency)

  کوانتیزاسیون و استفاده از FPGAها (که به طور کلی نسبت به GPUها در کاربردهای استنتاج کارآمدتر هستند)، منجر به کاهش قابل توجه مصرف انرژی می‌شود. این امر برای دستگاه‌های لبه‌ای که اغلب با باتری کار می‌کنند یا محدودیت‌های حرارتی دارند، بسیار حیاتی است و به عمر طولانی‌تر باتری و کاهش نیاز به خنک‌سازی منجر می‌شود.

• پیشبرد طراحی مشترک نرم‌افزار-سخت‌افزار (Advancing Software-Hardware Co-Design)

  این تحقیق نمونه‌ای عالی از چگونگی ادغام عمیق طراحی نرم‌افزار (الگوریتم‌های کوانتیزاسیون) و طراحی سخت‌افزار (معماری شتاب‌دهنده) برای دستیابی به عملکرد بهینه است. VAQF مسیر را برای توسعه ابزارهای طراحی هوشمندتر و خودکارتر در آینده هموار می‌کند که می‌توانند به طور خودکار بهترین تعادل را بین محدودیت‌ها و اهداف عملکردی پیدا کنند.

در مجموع، مقاله “VAQF: چارچوب خودکار طراحی مشترک نرم‌افزار-سخت‌افزار برای ترانسفورمر بینایی کم‌بیت” یک پیشرفت مهم و تأثیرگذار در حوزه شتاب‌دهی مدل‌های یادگیری عمیق، به ویژه ترانسفورمرهای بینایی، بر روی سخت‌افزارهای قابل برنامه‌ریزی (FPGA) ارائه می‌دهد. این تحقیق به صورت موفقیت‌آمیزی به یکی از چالش‌های اساسی در استقرار هوش مصنوعی در دستگاه‌های لبه‌ای، یعنی پیچیدگی بالای محاسباتی و اندازه بزرگ مدل‌های ViT، پرداخته است.

چارچوب VAQF با ارائه یک رویکرد کاملاً خودکار برای طراحی مشترک نرم‌افزار و سخت‌افزار، امکان استقرار کارآمد ViTهای کوانتیزه شده را فراهم می‌کند. نوآوری اصلی در قابلیت VAQF برای تعیین خودکار دقت کوانتیزاسیون فعال‌سازی‌ها و بهینه‌سازی پارامترهای شتاب‌دهنده سخت‌افزاری، بر اساس نرخ فریم هدف، نهفته است. این ویژگی نیاز به تنظیمات دستی پیچیده و زمان‌بر را از بین می‌برد و چرخه‌های توسعه را به شدت تسریع می‌بخشد.

یافته‌های کلیدی، از جمله دستیابی به نرخ ۲۴ FPS با کوانتیزاسیون ۸ بیتی و ۳۰ FPS با کوانتیزاسیون ۶ بیتی بر روی مدل DeiT-base با استفاده از FPGA Xilinx ZCU102، به وضوح کارایی و اثربخشی VAQF را در ارائه عملکرد بلادرنگ تأیید می‌کنند. این دستاوردها نه تنها محدودیت‌های قبلی را برای استقرار ViTها در کاربردهای لبه‌ای از میان برمی‌دارد، بلکه مصرف انرژی را نیز به میزان قابل توجهی کاهش می‌دهد.

در نهایت، VAQF نه تنها یک راه حل عملی برای مشکل خاص شتاب‌دهی ViT ارائه می‌دهد، بلکه به عنوان الگویی برای طراحی مشترک آینده نرم‌افزار-سخت‌افزار در هوش مصنوعی عمل می‌کند. این تحقیق راه را برای توسعه نسل بعدی ابزارهای هوشمند باز می‌کند که می‌توانند به طور خودکار بهترین تعادل بین عملکرد، مصرف انرژی و دقت را در سیستم‌های هوش مصنوعی پیچیده برقرار کنند و بدین ترتیب، کاربردهای هوش مصنوعی را در محیط‌های متنوع‌تر و با کارایی بالاتری ممکن سازند.