در دنیای پرشتاب فناوری، تلفن‌های هوشمند و دستگاه‌های لبه (Edge Devices) به مراکز پردازشی قدرتمندی تبدیل شده‌اند که قادر به اجرای پیچیده‌ترین الگوریتم‌های یادگیری ماشین هستند. این تحول، نیازمند راهکارهای نوآورانه‌ای برای بهینه‌سازی معماری‌های شبکه‌های عصبی به منظور دستیابی به بالاترین کارایی در محدودیت‌های سخت‌افزاری این دستگاه‌ها است. مقاله حاضر با عنوان “Searching for Efficient Neural Architectures for On-Device ML on Edge TPUs” که توسط تیمی از پژوهشگران برجسته ارائه شده، گامی مهم در این راستا برداشته و به دنبال کشف معماری‌های عصبی بهینه برای اجرا بر روی پردازنده‌های تنسور (TPU) تعبیه‌شده در دستگاه‌های لبه است. اهمیت این پژوهش در توانمندسازی دستگاه‌های هوشمند برای اجرای وظایف سنگین یادگیری ماشین بدون نیاز به اتصال دائم به سرورهای ابری و با مصرف انرژی کمتر نهفته است.

این مقاله حاصل تلاش مشترک پژوهشگرانی چون Berkin Akin, Suyog Gupta, Yun Long, Anton Spiridonov, Zhuo Wang, Marie White, Hao Xu, Ping Zhou, و Yanqi Zhou است. زمینه کلی این تحقیق در تقاطع حوزه‌های پردازش توزیع‌شده، موازی و خوشه‌ای (Distributed, Parallel, and Cluster Computing)، بینایی ماشین و تشخیص الگو (Computer Vision and Pattern Recognition) و یادگیری ماشین (Machine Learning) قرار می‌گیرد. تمرکز اصلی پژوهشگران بر روی چالش‌های عملی و فنی پیاده‌سازی الگوریتم‌های یادگیری ماشین روی سخت‌افزارهای تخصصی مانند Edge TPUها است. این پردازنده‌ها که برای تسریع عملیات مرتبط با شبکه‌های عصبی طراحی شده‌اند، پتانسیل بالایی برای ارتقای قابلیت‌های هوشمند در دستگاه‌های همراه و سیستم‌های تعبیه‌شده دارند.

شتاب‌دهنده‌های یادگیری ماشین روی دستگاه (On-device ML accelerators) به بخشی استاندارد در سیستم‌های مدرن تلفن همراه (SoC) تبدیل شده‌اند. جستجوی معماری عصبی (NAS) راهکاری قدرتمند برای بهره‌برداری کارآمد از توان پردازشی بالای این شتاب‌دهنده‌هاست. با این حال، چارچوب‌های NAS موجود با محدودیت‌های عملی متعددی در مقیاس‌بندی برای وظایف چندگانه و پلتفرم‌های هدف متفاوت روبرو هستند. این پژوهش با رویکردی دووجهی به این چالش می‌پردازد:

• زیرساخت توانمندساز NAS: این زیرساخت، ارزیابی هزینه مدل، طراحی فضای جستجو و الگوریتم NAS را از یکدیگر جدا می‌سازد تا امکان هدف‌گیری سریع وظایف مختلف یادگیری ماشین روی دستگاه فراهم شود.
• فضاهای جستجوی خلاقانه: فضاهای جستجو با استفاده از انواع بلوک‌های معکوس (Inverted Bottleneck – IBN) مبتنی بر کانولوشن گروهی (Group Convolution) طراحی شده‌اند که انعطاف‌پذیری قابل توجهی در تعادل کیفیت و عملکرد بر روی شتاب‌دهنده‌های یادگیری ماشین ارائه می‌دهند. این رویکرد، مدل‌های IBN مبتنی بر کانولوشن کامل و عمقی (Depthwise Convolution) موجود را تکمیل می‌کند.

با استفاده از این رویکرد، پژوهشگران توانسته‌اند معماری‌های عصبی نوینی را برای پلتفرم پیشرفته موبایل Google Tensor SoC طراحی کنند. این معماری‌ها، مرز کارایی-کیفیت (Pareto Frontier) را برای وظایف مختلف بینایی ماشین (مانند طبقه‌بندی، تشخیص و تقسیم‌بندی تصاویر) و همچنین پردازش زبان طبیعی (NLP) بهبود می‌بخشند.

روش‌شناسی پژوهش حاضر بر دو پایه اصلی استوار است که به طور هم‌افزا عمل می‌کنند:

زیرساخت نوآورانه برای جستجوی معماری عصبی (NAS-enabling Infrastructure)

یکی از موانع کلیدی در اجرای NAS بر روی سخت‌افزارهای متنوع، وابستگی شدید چارچوب‌های سنتی به پلتفرم و وظیفه خاص است. تیم پژوهشی با طراحی یک زیرساخت ماژولار، این مشکل را حل کرده است:

• جداسازی ارزیابی هزینه مدل (Model Cost Evaluation Decoupling): به جای اینکه هزینه اجرای یک معماری (مانند تاخیر یا مصرف انرژی) به طور مستقیم در طول فرآیند جستجو محاسبه شود، این پژوهش یک مکانیزم ارزیابی هزینه مستقل ایجاد کرده است. این امکان به سرعت و سهولت، امکان تغییر یا به‌روزرسانی معیارهای هزینه برای سخت‌افزارهای مختلف (مانند CPU، GPU، یا Edge TPU) را فراهم می‌آورد.
• طراحی فضای جستجو (Search Space Design): فضای جستجو مجموعه‌ای از بلوک‌های ساختمانی و ترکیب‌های ممکن برای ساخت شبکه‌های عصبی است. در این تحقیق، فضای جستجو به گونه‌ای طراحی شده که بتواند معماری‌های متنوعی را پوشش دهد و در عین حال، امکان کنترل دقیق بر روی پیچیدگی و عملکرد مدل را فراهم کند.
• الگوریتم NAS (NAS Algorithm): بخش جستجوی معماری، مستقل از نحوه ارزیابی هزینه یا تعریف فضای جستجو عمل می‌کند. این جداسازی، امکان استفاده از الگوریتم‌های NAS پیشرفته و سفارشی‌سازی آن‌ها را برای وظایف و سخت‌افزارهای جدید فراهم می‌سازد.

این زیرساخت، فرآیند NAS را به طور چشمگیری تسریع کرده و امکان تطبیق‌پذیری آن را با طیف وسیعی از وظایف یادگیری ماشین و پلتفرم‌های هدف افزایش می‌دهد.

فضاهای جستجوی مبتنی بر بلوک‌های معکوس با کانولوشن گروهی

هسته‌ی اصلی نوآوری در این پژوهش، معرفی انواع جدیدی از بلوک‌های سازنده شبکه عصبی است. بلوک‌های معکوس (IBN) که در معماری‌هایی مانند MobileNet و EfficientNet استفاده شده‌اند، برای کارایی در دستگاه‌های همراه شناخته شده‌اند:

• بلوک‌های مبتنی بر کانولوشن گروهی (Group Convolution based IBNs): این بلوک‌ها از کانولوشن گروهی استفاده می‌کنند که راهی برای کاهش تعداد پارامترها و محاسبات نسبت به کانولوشن کامل است، در حالی که انعطاف‌پذیری بیشتری نسبت به کانولوشن عمقی (Depthwise Convolution) ارائه می‌دهد. کانولوشن گروهی، کانال‌های ورودی را به گروه‌هایی تقسیم کرده و کانولوشن را به طور مستقل بر روی هر گروه اعمال می‌کند. این امر به مدل اجازه می‌دهد تا ویژگی‌های متنوع‌تری را بیاموزد.
• انعطاف‌پذیری کیفیت/عملکرد: با تنظیم پارامترهایی مانند تعداد گروه‌ها در کانولوشن گروهی، می‌توان به تعادلی دقیق بین دقت مدل (کیفیت) و سرعت اجرای آن (عملکرد) دست یافت. این قابلیت برای بهینه‌سازی بر روی Edge TPUها که دارای محدودیت‌های مشخصی در توان پردازشی و حافظه هستند، بسیار حیاتی است.
• تکمیل مدل‌های موجود: این رویکرد، فضای جستجو را برای معماری‌هایی که پیش از این تنها از کانولوشن کامل یا عمقی استفاده می‌کردند، غنی‌تر می‌سازد و امکان کشف ساختارهای جدید و بهینه‌تر را فراهم می‌آورد.

ترکیب این دو بخش – زیرساخت منعطف NAS و بلوک‌های سازنده نوین – به پژوهشگران اجازه می‌دهد تا به سرعت معماری‌های عصبی کارآمد را برای وظایف و دستگاه‌های خاص کشف کنند.

نتایج حاصل از این پژوهش، نشان‌دهنده پیشرفت‌های قابل توجهی در زمینه بهینه‌سازی مدل‌های یادگیری ماشین برای دستگاه‌های لبه است:

• بهبود مرز کارایی-کیفیت (Pareto Frontier Improvement): مهمترین دستاورد، کشف معماری‌های عصبی جدیدی است که به طور همزمان، هم دقت (کیفیت) و هم سرعت اجرا (عملکرد) را در مقایسه با مدل‌های پیشین بهبود می‌بخشند. این به معنای توانایی اجرای مدل‌های پیچیده‌تر با دقت بالاتر در زمان کمتر و با مصرف منابع کمتر است.
• عملکرد بر روی Google Tensor SoC: پژوهشگران با موفقیت، معماری‌های بهینه را بر روی پلتفرم پیشرفته Google Tensor SoC که در بسیاری از دستگاه‌های اندرویدی مدرن یافت می‌شود، پیاده‌سازی و ارزیابی کرده‌اند. این نشان‌دهنده قابلیت تعمیم‌پذیری نتایج به سخت‌افزارهای واقعی است.
• کارایی در وظایف متنوع: معماری‌های کشف‌شده، برای طیف گسترده‌ای از وظایف کاربردی موفق عمل کرده‌اند، از جمله:
  • بینایی ماشین:
  • طبقه‌بندی تصویر (Image Classification): تشخیص دقیق اشیاء و دسته‌بندی تصاویر.
  • تشخیص اشیاء (Object Detection): شناسایی و موقعیت‌یابی چندین شیء در یک تصویر.
  • تقسیم‌بندی تصویر (Image Segmentation): تعیین مرزهای دقیق اشیاء یا نواحی در تصویر در سطح پیکسل.
  • پردازش زبان طبیعی (Natural Language Processing – NLP):
  • وظایف مرتبط با متن: مانند تحلیل احساسات، خلاصه‌سازی متن، یا ترجمه ماشینی.
• کارایی کانولوشن گروهی: نتایج نشان می‌دهند که استفاده از کانولوشن گروهی در بلوک‌های معکوس، یک استراتژی مؤثر برای دستیابی به تعادل مطلوب بین پارامترها، محاسبات و دقت مدل در محیط‌های محدود منابع است.
• سرعت و مقیاس‌پذیری NAS: زیرساخت NAS توسعه‌یافته، امکان جستجوی سریع و مقیاس‌پذیر را فراهم می‌آورد و راه را برای کشف معماری‌های بیشتر در آینده هموار می‌سازد.

یافته‌های این پژوهش، پیامدهای عملی گسترده‌ای برای توسعه‌دهندگان و کاربران دستگاه‌های موبایل و لبه دارد:

کاربردهای مستقیم:

• تلفن‌های هوشمند نسل بعد: امکان اجرای ویژگی‌های پیشرفته هوش مصنوعی مانند پردازش تصویر با کیفیت بالا، تشخیص چهره دقیق، واقعیت افزوده (AR) و دستیارهای صوتی هوشمندتر، مستقیماً بر روی گوشی بدون اتکا به اینترنت.
• دستگاه‌های پوشیدنی (Wearables): بهبود قابلیت‌های دستگاه‌های پوشیدنی برای تحلیل داده‌های زیستی، ردیابی فعالیت‌ها و ارائه بازخورد لحظه‌ای با دقت و سرعت بالاتر.
• خودروهای خودران و رباتیک: افزایش توانایی سیستم‌های تعبیه‌شده در وسایل نقلیه و ربات‌ها برای درک محیط اطراف، تصمیم‌گیری سریع و اجرای وظایف پیچیده بینایی ماشین و پردازش داده‌های سنسورها.
• دستگاه‌های اینترنت اشیاء (IoT): فعال‌سازی دستگاه‌های IoT برای انجام پردازش‌های اولیه و تحلیل داده‌ها به صورت محلی، کاهش تاخیر، افزایش حریم خصوصی و کاهش بار روی شبکه‌ها.

دستاوردهای علمی و فنی:

• پیشبرد حوزه NAS: ارائه یک چارچوب NAS انعطاف‌پذیر و کارآمد که می‌تواند به عنوان پایه‌ای برای تحقیقات آتی در این زمینه مورد استفاده قرار گیرد.
• معماری‌های نوین ML: معرفی بلوک‌های سازنده نوین برای شبکه‌های عصبی که انعطاف‌پذیری و قابلیت بهینه‌سازی را افزایش می‌دهند.
• بهینه‌سازی سخت‌افزار-نرم‌افزار: درک عمیق‌تر از نحوه تعامل معماری‌های نرم‌افزاری با معماری‌های سخت‌افزاری تخصصی مانند Edge TPUها و چگونگی دستیابی به بهترین عملکرد.
• استانداردسازی و کاهش هزینه توسعه: با خودکارسازی و تسریع فرآیند یافتن معماری‌های بهینه، هزینه و زمان لازم برای توسعه محصولات مبتنی بر هوش مصنوعی کاهش می‌یابد.

مقاله “جستجوی معماری‌های عصبی کارآمد برای یادگیری ماشین روی دستگاه در Edge TPUها” نشان می‌دهد که با استفاده از رویکردهای نوآورانه در جستجوی معماری عصبی و طراحی بلوک‌های سازنده شبکه، می‌توان به طور قابل توجهی عملکرد مدل‌های یادگیری ماشین را بر روی سخت‌افزارهای محدود مانند Edge TPUها بهبود بخشید. زیرساخت دووجهی این پژوهش، که شامل یک چارچوب NAS منعطف و فضاهای جستجوی خلاقانه مبتنی بر کانولوشن گروهی است، این امکان را فراهم می‌آورد تا معماری‌های عصبی بهینه شده برای وظایف متنوع بینایی ماشین و پردازش زبان طبیعی، بر روی پلتفرم‌های پیشرفته موبایل مانند Google Tensor SoC کشف شوند.

یافته‌های کلیدی این تحقیق، منجر به بهبود مرز کارایی-کیفیت شده و قابلیت‌های هوش مصنوعی را در دستگاه‌های لبه ارتقا می‌دهد، که این خود راه را برای نسل جدیدی از دستگاه‌های هوشمندتر، سریع‌تر و کارآمدتر هموار می‌سازد. این پژوهش نه تنها پیشرفت مهمی در زمینه بهینه‌سازی مدل برای سخت‌افزارهای تخصصی محسوب می‌شود، بلکه با ارائه ابزار و روش‌شناسی لازم، مسیر را برای تحقیقات و توسعه‌های آتی در این حوزه پراهمیت باز می‌گذارد.