نویسندگان: پتروس واواروتسوس، یوانیس اوروتزوگلو، دموستنیس ماسوروس، دیمیتریوس سودریس

حوزه تخصصی: یادگیری ماشین، رایانش توزیع‌شده، موازی و خوشه‌ای

این مقاله به بررسی یکی از چالش‌برانگیزترین مسائل در دنیای محاسبات مدرن می‌پردازد: چگونه می‌توان به طور خودکار بهترین سخت‌افزار را برای اجرای یک قطعه کد خاص انتخاب کرد؟ در عصری که با ناهمگونی شدید دستگاه‌ها روبرو هستیم، این پرسش اهمیتی حیاتی یافته است.

ما در دورانی زندگی می‌کنیم که چشم‌انداز سخت‌افزار محاسباتی به سرعت در حال تغییر است. علاوه بر پردازنده‌های مرکزی (CPU) سنتی با معماری‌های گوناگون، شتاب‌دهنده‌هایی مانند پردازنده‌های گرافیکی (GPU) و آرایه‌های گیت قابل برنامه‌ریزی (FPGA) نیز به طور گسترده‌ای در دسترس قرار گرفته‌اند. این تنوع، گرچه قدرت محاسباتی عظیمی را فراهم می‌کند، اما چالشی بزرگ به نام «انتخاب دستگاه بهینه» را نیز به وجود آورده است.

تصمیم‌گیری در مورد اینکه یک برنامه یا هسته (Kernel) خاص بر روی CPU سریع‌تر اجرا می‌شود یا GPU، به دلیل رابطه پیچیده و غیرشهودی بین کد منبع و مشخصات سخت‌افزاری، بسیار دشوار است. رویکردهای سنتی اغلب به آزمون و خطای زمان‌بر متکی هستند؛ یعنی اجرای کد بر روی تمام دستگاه‌های موجود و اندازه‌گیری عملکرد، که فرایندی ناکارآمد و پرهزینه است.

این مقاله در چنین فضایی اهمیت خود را نشان می‌دهد. پژوهشگران با الهام از پیشرفت‌های چشمگیر در حوزه یادگیری ماشین (ML) و پردازش زبان طبیعی (NLP)، راهکاری نوآورانه برای حل این مسئله ارائه می‌دهند. ایده اصلی این است که با کد منبع نرم‌افزار مانند یک زبان طبیعی رفتار کنیم و با استفاده از مدل‌های هوشمند، ویژگی‌های محاسباتی آن را استخراج کرده و بهترین دستگاه را برای اجرای آن پیش‌بینی نماییم. این رویکرد می‌تواند فرایند بهینه‌سازی را به طور کامل خودکار کرده و به صرفه‌جویی قابل توجهی در زمان و منابع محاسباتی منجر شود.

نویسندگان این مقاله، پتروس واواروتسوس، یوانیس اوروتزوگلو، دموستنیس ماسوروس و دیمیتریوس سودریس، متخصصانی هستند که در تقاطع دو حوزه کلیدی علوم کامپیوتر فعالیت می‌کنند: یادگیری ماشین و رایانش با عملکرد بالا (HPC). این تخصص دوگانه به آن‌ها اجازه داده است تا از تکنیک‌های پیشرفته هوش مصنوعی برای حل یکی از مشکلات بنیادی در محاسبات موازی و توزیع‌شده بهره ببرند.

این پژوهش در ادامه و به عنوان نسخه تکامل‌یافته‌ای از کار تأثیرگذار پیشین توسط Cummins و همکارانش با نام Deeptune ارائه شده است. Deeptune یکی از اولین تلاش‌های موفق برای استفاده از شبکه‌های عصبی عمیق جهت تحلیل کد منبع OpenCL و پیش‌بینی عملکرد آن بود. مقاله حاضر با شناسایی محدودیت‌های کلیدی Deeptune، گامی فراتر نهاده و راهکارهایی برای بهبود دقت و کارایی آن پیشنهاد می‌کند.

هدف اصلی این مقاله، بهبود روش‌های خودکار برای انتخاب دستگاه بهینه (CPU یا GPU) جهت اجرای هسته‌های نوشته‌شده با استاندارد OpenCL است. OpenCL یک چارچوب برنامه‌نویسی برای نوشتن کدهایی است که می‌توانند بر روی پلتفرم‌های ناهمگن اجرا شوند.

محققان کار خود را با تحلیل دقیق مدل Deeptune آغاز می‌کنند و سه محدودیت عمده در آن شناسایی می‌کنند. این محدودیت‌ها احتمالاً به درک سطحی مدل از ساختار کد و ناتوانی آن در استخراج اطلاعات متنی (Contextual) عمیق مربوط می‌شوند. برای غلبه بر این کاستی‌ها، آن‌ها چهار مدل مختلف شبکه عصبی عمیق (DNN) را طراحی و پیاده‌سازی می‌کنند. هر یک از این مدل‌ها به گونه‌ای طراحی شده‌اند که درک غنی‌تری از بافتار و ویژگی‌های محاسباتی کد منبع داشته باشند.

در نهایت، نتایج آزمایش‌ها نشان می‌دهد که روش پیشنهادی آن‌ها عملکردی بهتر از Deeptune دارد و موفق به کسب بهبودی تا سقف ۴٪ در دقت پیش‌بینی شده است. این دستاورد، نشان‌دهنده پتانسیل بالای استفاده از معماری‌های پیشرفته‌تر NLP برای وظایف بهینه‌سازی کامپایلر و سیستم‌های زمان اجرا (Runtime) است.

ستون فقرات این پژوهش، شناسایی نقاط ضعف مدل پایه (Deeptune) و ارائه راه‌حل‌های هدفمند برای رفع آن‌هاست.

• تحلیل مدل پایه (Deeptune): مدل Deeptune احتمالاً از یک رویکرد نسبتاً ساده برای تبدیل کد به بردار عددی استفاده می‌کرده است. برای مثال، ممکن است کد را به صورت دنباله‌ای از توکن‌ها (کلمات کلیدی، متغیرها و عملگرها) در نظر گرفته و با استفاده از شبکه‌هایی مانند LSTM، یک بازنمایی از آن ساخته باشد.
• شناسایی محدودیت‌ها: نویسندگان سه ضعف اصلی را در این رویکرد شناسایی کردند:
  1. فقدان اطلاعات متنی غنی: مدل‌های ساده ممکن است روابط معنایی و ساختاری بلندمدت در کد را نادیده بگیرند. برای مثال، درک اینکه یک حلقه تودرتو به حافظه سراسری دسترسی مکرر دارد، برای پیش‌بینی عملکرد حیاتی است.
  2. توکن‌سازی (Tokenization) ناکافی: روش‌های استاندارد توکن‌سازی زبان طبیعی ممکن است ویژگی‌های منحصربه‌فرد کد منبع، مانند مقادیر عددی یا ساختارهای نحوی خاص را به خوبی ثبت نکنند.
  3. استخراج ویژگی سطحی: معماری Deeptune ممکن است در استخراج ویژگی‌های پیچیده‌ای که الگوی محاسباتی کد (Compute-bound vs. Memory-bound) را مشخص می‌کنند، ناتوان بوده باشد.
• ارائه چهار مدل DNN جدید: برای مقابله با این مشکلات، چهار معماری جدید پیشنهاد شد. اگرچه جزئیات دقیق مدل‌ها در چکیده نیامده است، می‌توان حدس زد که این مدل‌ها شامل موارد زیر بوده‌اند:
  • مدل‌هایی با مکانیزم توجه (Attention Mechanism) که به شبکه اجازه می‌دهد بر روی بخش‌های مهم‌تر کد تمرکز کند.
  • استفاده از معماری‌های پیشرفته‌تر مانند ترنسفورمرها (Transformers) یا LSTMهای دوطرفه (Bidirectional LSTMs) برای درک بهتر بافتار کد.
  • تکنیک‌های جاسازی (Embedding) پیچیده‌تر که ویژگی‌های معنایی توکن‌های کد را بهتر ثبت می‌کنند.
  • مدل‌های هیبریدی که علاوه بر تحلیل متن کد، از ویژگی‌های استخراج‌شده از تحلیل استاتیک گراف برنامه نیز بهره می‌برند.

این مدل‌ها بر روی مجموعه‌داده‌ای بزرگ از هسته‌های OpenCL آموزش دیده و عملکرد آن‌ها در پیش‌بینی سریع‌ترین دستگاه (CPU یا GPU) با مدل Deeptune مقایسه شد.

مهم‌ترین یافته این تحقیق، اثبات برتری مدل‌های پیشنهادی بر رویکرد پیشین است. نتایج تجربی، بهبود دقت پیش‌بینی تا ۴ درصد را نشان می‌دهند. شاید این عدد در نگاه اول کوچک به نظر برسد، اما در دنیای بهینه‌سازی سیستم‌ها و رایانش با عملکرد بالا، چنین بهبودی بسیار ارزشمند و تأثیرگذار است. این افزایش دقت به معنای موارد زیر است:

• کاهش تصمیمات اشتباه: سیستم با احتمال کمتری دستگاه کندتر را برای اجرای یک وظیفه انتخاب می‌کند، که مستقیماً به کاهش زمان اجرا منجر می‌شود.
• صرفه‌جویی در انرژی: اجرای بهینه برنامه‌ها به معنای استفاده کارآمدتر از منابع سخت‌افزاری و در نتیجه، مصرف انرژی کمتر در مراکز داده است.
• تأیید فرضیه تحقیق: این یافته تأیید می‌کند که ارائه اطلاعات متنی و ساختاری غنی‌تر از کد منبع به مدل‌های یادگیری عمیق، به طور مستقیم به پیش‌بینی‌های دقیق‌تر در مورد عملکرد نرم‌افزار منجر می‌شود.

این مقاله به طور مؤثری نشان می‌دهد که درک عمیق‌تر از «زبان برنامه‌نویسی» توسط مدل‌های هوش مصنوعی، کلید دستیابی به نسل بعدی ابزارهای بهینه‌سازی خودکار است.

این پژوهش صرفاً یک پیشرفت نظری نیست، بلکه کاربردهای عملی گسترده‌ای دارد و دستاوردهای مهمی را به ارمغان می‌آورد.

کاربردهای عملی:

• کامپایلرهای هوشمند: این تکنولوژی می‌تواند مستقیماً در کامپایلرها (مانند LLVM/Clang) ادغام شود. در این صورت، کامپایلر می‌تواند در زمان کامپایل یا حتی در زمان اجرا (JIT Compilation) به طور خودکار تصمیم بگیرد که هر بخش از کد بر روی کدام واحد پردازشی اجرا شود.
• سیستم‌های مدیریت منابع در مراکز داده: در محیط‌های ابری که مجموعه‌ای ناهمگن از سرورها با CPUها و GPUهای مختلف وجود دارد، یک زمان‌بند (Scheduler) هوشمند مجهز به این مدل می‌تواند وظایف را به بهینه‌ترین شکل ممکن بین منابع توزیع کند.
• توسعه نرم‌افزار برای HPC: برنامه‌نویسان و دانشمندانی که شبیه‌سازی‌های پیچیده علمی را اجرا می‌کنند، دیگر نیازی به صرف زمان برای بهینه‌سازی دستی کد خود برای سخت‌افزارهای مختلف نخواهند داشت و می‌توانند بر روی الگوریتم اصلی تمرکز کنند.

دستاوردها:

• ارتقای سطح دانش در بهینه‌سازی خودکار: این مقاله مرزهای دانش در زمینه استفاده از هوش مصنوعی برای بهینه‌سازی کد را جابجا می‌کند.
• کاهش نیاز به تخصص انسانی: فرایند پیچیده و تخصصی نگاشت دستگاه را از دوش توسعه‌دهندگان برمی‌دارد و آن را به یک سیستم خودکار و هوشمند واگذار می‌کند.
• اثبات کارایی NLP برای تحلیل کد: این تحقیق بار دیگر نشان می‌دهد که تکنیک‌های پردازش زبان طبیعی، ابزارهایی بسیار قدرتمند برای درک و تحلیل کد منبع هستند.

مقاله «بهره‌وری حداکثری از بهینه‌سازی نگاشت دستگاه مبتنی بر NLP برای هسته‌های OpenCL» پاسخی هوشمندانه به یکی از چالش‌های اساسی عصر محاسبات ناهمگن ارائه می‌دهد. نویسندگان با شناسایی دقیق محدودیت‌های روش‌های موجود و ارائه مدل‌های شبکه عصبی عمیق که قادر به درک عمیق‌تری از بافتار کد هستند، موفق شدند دقت پیش‌بینی دستگاه بهینه را به طور قابل توجهی افزایش دهند.

این پژوهش راه را برای آینده‌ای هموار می‌کند که در آن سیستم‌های نرم‌افزاری به طور خودکار خود را با سخت‌افزار موجود تطبیق می‌دهند تا به حداکثر کارایی دست یابند. گام‌های بعدی در این مسیر می‌تواند شامل گسترش این رویکرد برای پشتیبانی از دستگاه‌های بیشتر مانند FPGAها، پوشش زبان‌های برنامه‌نویسی موازی دیگر مانند CUDA و SYCL، و توسعه معماری‌های هوش مصنوعی باشد که قادر به درک جنبه‌های حتی پیچیده‌تری از کد منبع هستند. در نهایت، این نوع تحقیقات نشان‌دهنده هم‌گرایی قدرتمند بین هوش مصنوعی و مهندسی سیستم‌های کامپیوتری است که آینده رایانش را شکل خواهد داد.