مقاله حاضر به معرفی بنچمارک MLPerf Mobile Inference می‌پردازد، اولین استاندارد صنعتی و متن‌باز برای ارزیابی عملکرد و دقت دستگاه‌های موبایل در زمینه یادگیری ماشین (ML). این بنچمارک امکان مقایسه و ارزیابی چیپ‌های هوش مصنوعی (AI) و پشته‌های نرم‌افزاری مختلف در دستگاه‌های موبایل را فراهم می‌کند. در دنیای امروز، که هوش مصنوعی به‌طور فزاینده‌ای در دستگاه‌های موبایل و زندگی روزمره ما نفوذ کرده است، وجود یک استاندارد معتبر و شفاف برای سنجش عملکرد این دستگاه‌ها از اهمیت بالایی برخوردار است. این بنچمارک با بهره‌گیری از دانش و تخصص پیشروترین شرکت‌های تولیدکننده سیستم-روی-چیپ (SoC) موبایل، ارائه‌دهندگان چارچوب‌های یادگیری ماشین و تولیدکنندگان مدل، مجموعه‌ای جامع از مدل‌ها، مجموعه‌داده‌های استاندارد، معیارهای کیفیت و قوانین اجرایی را ارائه می‌دهد.

این مقاله حاصل تلاش گروهی از محققان و متخصصان برجسته در زمینه یادگیری ماشین و سخت‌افزار موبایل است. از جمله نویسندگان اصلی می‌توان به Vijay Janapa Reddi، David Kanter، و Peter Mattson اشاره کرد. لیست کامل نویسندگان در ابتدای این متن آورده شده است. زمینه تحقیقاتی این گروه شامل موارد زیر است:

• ارزیابی عملکرد سیستم‌های یادگیری ماشین در دستگاه‌های موبایل
• توسعه بنچمارک‌های استاندارد برای سنجش عملکرد هوش مصنوعی
• بهینه‌سازی مدل‌های یادگیری ماشین برای دستگاه‌های با منابع محدود
• بررسی چالش‌های استقرار هوش مصنوعی در محیط‌های موبایل

چکیده مقاله بر معرفی بنچمارک MLPerf Mobile Inference به عنوان اولین استاندارد صنعتی برای ارزیابی عملکرد و دقت یادگیری ماشین در دستگاه‌های موبایل تمرکز دارد. این بنچمارک، امکان ارزیابی چیپ‌های هوش مصنوعی و پشته‌های نرم‌افزاری مختلف را فراهم می‌آورد و بر پایه دانش و تخصص پیشروترین شرکت‌ها در این حوزه طراحی شده است. بنچمارک شامل مجموعه‌ای از مدل‌ها است که با مجموعه‌داده‌های استاندارد، معیارهای کیفیت و قوانین اجرایی مشخص عمل می‌کنند. مقاله به شرح طراحی و پیاده‌سازی این بنچمارک تخصصی می‌پردازد. نسخه فعلی بنچمارک به صورت یک اپلیکیشن موبایل برای وظایف مختلف بینایی کامپیوتر و پردازش زبان طبیعی ارائه شده است. این بنچمارک از دستگاه‌هایی غیر از گوشی‌های هوشمند، مانند لپ‌تاپ‌ها و رایانه‌های شخصی موبایل نیز پشتیبانی می‌کند. نتایج بنچمارک از دو دوره اول، پیچیدگی بالای پشته سیستم ML موبایل را نشان می‌دهد و بر نیاز به شفافیت در تحلیل عملکرد ML موبایل تاکید می‌کند. نتایج همچنین نشان می‌دهد که پیشرفت‌های صورت گرفته در کل پشته ML عملکرد را بهبود می‌بخشد. در عرض شش ماه، توان عملیاتی آفلاین 3 برابر و تاخیر تا 12 برابر کاهش یافته است. ML یک زمینه در حال تحول با موارد استفاده، مدل‌ها، مجموعه‌داده‌ها و اهداف کیفیت در حال تغییر است. MLPerf Mobile به عنوان یک چارچوب انجمن متن‌باز برای هدایت تحقیقات و نوآوری برای هوش مصنوعی موبایل تکامل خواهد یافت.

روش‌شناسی تحقیق در این مقاله بر پایه طراحی و پیاده‌سازی یک بنچمارک استاندارد و قابل اعتماد استوار است. این فرایند شامل مراحل زیر بوده است:

• تعریف معیارها و اهداف: تعیین معیارهای کلیدی برای ارزیابی عملکرد سیستم‌های یادگیری ماشین در دستگاه‌های موبایل، مانند دقت، سرعت (تاخیر و توان عملیاتی)، مصرف انرژی و اندازه مدل.
• انتخاب مدل‌ها و مجموعه‌داده‌ها: انتخاب مدل‌های یادگیری ماشین مرتبط با کاربردهای رایج در دستگاه‌های موبایل، مانند طبقه‌بندی تصویر، تشخیص اشیاء، پردازش زبان طبیعی و ترجمه ماشینی. استفاده از مجموعه‌داده‌های استاندارد و معتبر برای اطمینان از قابلیت مقایسه نتایج. به عنوان مثال، برای طبقه‌بندی تصویر، مجموعه‌داده ImageNet و برای پردازش زبان طبیعی، مجموعه‌داده SQuAD می‌توانند مورد استفاده قرار گیرند.
• طراحی قوانین اجرایی: تعریف قوانین دقیق و مشخص برای اجرای بنچمارک، از جمله نحوه پیش‌پردازش داده‌ها، تنظیمات سخت‌افزاری و نرم‌افزاری، و جمع‌آوری داده‌های عملکرد.
• پیاده‌سازی و تست: پیاده‌سازی بنچمارک به صورت یک اپلیکیشن موبایل با قابلیت اجرا بر روی دستگاه‌های مختلف. انجام تست‌های گسترده برای اطمینان از صحت، قابلیت اطمینان و تکرارپذیری نتایج.
• تجزیه و تحلیل نتایج: تجزیه و تحلیل آماری نتایج بنچمارک برای شناسایی نقاط قوت و ضعف سیستم‌های مختلف و ارائه پیشنهادات برای بهبود عملکرد.

به عنوان مثال، بنچمارک ممکن است شامل اجرای یک مدل تشخیص شیء (Object Detection) مانند SSD MobileNet بر روی یک ویدئو باشد و سرعت پردازش (فریم در ثانیه) و دقت تشخیص اشیاء اندازه‌گیری شود. سپس، نتایج حاصل از دستگاه‌های مختلف با یکدیگر مقایسه می‌شوند.

نتایج حاصل از اجرای بنچمارک MLPerf Mobile Inference در دو دوره اول، نشان‌دهنده پیچیدگی بالای پشته سیستم یادگیری ماشین در دستگاه‌های موبایل است. این پیچیدگی شامل عوامل متعددی مانند سخت‌افزار (چیپ‌های هوش مصنوعی)، نرم‌افزار (چارچوب‌های یادگیری ماشین، درایورها، و APIها) و بهینه‌سازی‌های خاص دستگاه است. برخی از یافته‌های کلیدی عبارتند از:

• تنوع عملکرد: عملکرد سیستم‌های مختلف یادگیری ماشین در دستگاه‌های موبایل به طور قابل توجهی متفاوت است. این تفاوت‌ها ناشی از معماری‌های مختلف چیپ‌های هوش مصنوعی، بهینه‌سازی‌های نرم‌افزاری و تنظیمات دستگاه است.
• نیاز به شفافیت: به دلیل پیچیدگی بالای سیستم، تحلیل عملکرد یادگیری ماشین در دستگاه‌های موبایل دشوار است و نیاز به شفافیت بیشتری در مورد مشخصات سخت‌افزاری و نرم‌افزاری دارد.
• پیشرفت‌های چشمگیر: پیشرفت‌های صورت گرفته در کل پشته یادگیری ماشین، منجر به بهبود قابل توجه عملکرد شده است. در عرض شش ماه، توان عملیاتی آفلاین تا 3 برابر و تاخیر تا 12 برابر کاهش یافته است.
• بهینه‌سازی‌های خاص دستگاه: بهینه‌سازی‌های خاص دستگاه می‌توانند تاثیر قابل توجهی بر عملکرد داشته باشند. تولیدکنندگان دستگاه‌ها می‌توانند با بهینه‌سازی نرم‌افزار و سخت‌افزار خود، عملکرد یادگیری ماشین را بهبود بخشند.

به عنوان مثال، نتایج نشان می‌دهد که یک دستگاه مجهز به یک چیپ هوش مصنوعی جدید، می‌تواند در یک وظیفه طبقه‌بندی تصویر، عملکردی بسیار بهتر از دستگاه‌های قدیمی‌تر داشته باشد. این بهبود عملکرد می‌تواند ناشی از معماری بهینه‌شده چیپ، استفاده از حافظه سریع‌تر و بهینه‌سازی‌های نرم‌افزاری باشد.

بنچمارک MLPerf Mobile Inference کاربردها و دستاوردهای متعددی دارد. این بنچمارک:

• ارائه یک استاندارد برای ارزیابی عملکرد: این بنچمارک یک استاندارد صنعتی برای ارزیابی عملکرد سیستم‌های یادگیری ماشین در دستگاه‌های موبایل ارائه می‌دهد. این استاندارد به تولیدکنندگان دستگاه‌ها، توسعه‌دهندگان نرم‌افزار و کاربران کمک می‌کند تا عملکرد دستگاه‌های مختلف را با یکدیگر مقایسه کنند و بهترین گزینه را انتخاب کنند.
• هدایت تحقیقات و نوآوری: این بنچمارک به عنوان یک چارچوب متن‌باز، تحقیقات و نوآوری در زمینه هوش مصنوعی موبایل را هدایت می‌کند. محققان و توسعه‌دهندگان می‌توانند از این بنچمارک برای ارزیابی ایده‌های جدید، بهینه‌سازی الگوریتم‌ها و توسعه سخت‌افزار جدید استفاده کنند.
• تشویق رقابت: این بنچمارک رقابت بین تولیدکنندگان دستگاه‌ها و ارائه‌دهندگان نرم‌افزار را تشویق می‌کند. با ارائه یک معیار شفاف و قابل اعتماد، این بنچمارک به شرکت‌ها انگیزه می‌دهد تا عملکرد سیستم‌های خود را بهبود بخشند.
• بهبود تجربه کاربری: با بهبود عملکرد سیستم‌های یادگیری ماشین، این بنچمارک به بهبود تجربه کاربری در دستگاه‌های موبایل کمک می‌کند. برنامه‌های کاربردی مبتنی بر هوش مصنوعی می‌توانند سریع‌تر، دقیق‌تر و کارآمدتر شوند.

به عنوان مثال، استفاده از این بنچمارک می‌تواند به تولیدکنندگان گوشی‌های هوشمند کمک کند تا چیپ‌های هوش مصنوعی بهتری را انتخاب کنند و عملکرد برنامه‌های کاربردی مبتنی بر هوش مصنوعی مانند دوربین‌ها، دستیارهای صوتی و برنامه‌های ترجمه ماشینی را بهبود بخشند.

بنچمارک MLPerf Mobile Inference گامی مهم در جهت استانداردسازی و ارزیابی عملکرد یادگیری ماشین در دستگاه‌های موبایل است. این بنچمارک با ارائه یک معیار شفاف، قابل اعتماد و متن‌باز، به هدایت تحقیقات، تشویق رقابت و بهبود تجربه کاربری کمک می‌کند. با توجه به تحولات سریع در زمینه هوش مصنوعی، MLPerf Mobile به طور مداوم در حال تکامل و بهبود است تا با نیازهای جدید سازگار شود و به عنوان یک منبع ارزشمند برای محققان، توسعه‌دهندگان و تولیدکنندگان در این حوزه عمل کند. این بنچمارک یک ابزار ضروری برای درک و بهینه‌سازی عملکرد سیستم‌های هوش مصنوعی در دستگاه‌های موبایل و پیشبرد این فناوری در آینده است.