مقدمه و اهمیت

در عصر حاضر، هوش مصنوعی و یادگیری عمیق نقشی محوری در پیشرفت فناوری ایفا می‌کنند. هسته اصلی بسیاری از این پیشرفت‌ها، مدل‌های محاسباتی پیچیده، به‌ویژه برنامه‌های تنسور (Tensor Programs) هستند. این برنامه‌ها بلوک‌های سازنده اصلی شبکه‌های عصبی و الگوریتم‌های پردازش داده حجیم را تشکیل می‌دهند. با این حال، کارایی این برنامه‌ها به شدت به چگونگی اجرای آن‌ها بر روی سخت‌افزارهای متنوع، از پردازنده‌های مرکزی (CPU) گرفته تا پردازنده‌های گرافیکی (GPU) و شتاب‌دهنده‌های سفارشی، وابسته است. تنظیم (Tuning) این برنامه‌ها برای دستیابی به حداکثر کارایی، یک چالش اساسی در حوزه بهینه‌سازی عملکرد محسوب می‌شود. این چالش به دلیل ماهیت غیرمحدب (Non-convex) تابع هدف بهینه‌سازی، بسیار دشوار است و نیازمند روش‌های جستجوی هوشمندانه است.

در میان رویکردهای مبتنی بر جستجو، طراحی مدل هزینه (Cost Model) نقشی کلیدی ایفا می‌کند. مدل هزینه، تخمین‌زن زنده‌ای از میزان منابع (مانند زمان اجرا، مصرف حافظه) مورد نیاز برای اجرای یک برنامه تنسور با یک پیکربندی خاص (Schedule) است. مدل‌های هزینه کارآمد، فرآیند جستجو را به طور قابل توجهی تسریع می‌بخشند و از اتلاف زمان در بررسی پیکربندی‌های ناکارآمد جلوگیری می‌کنند. در حالی که مدل‌های هزینه مبتنی بر یادگیری عمیق، پیشرفت چشمگیری نسبت به روش‌های سنتی داشته‌اند، همچنان با محدودیت‌های قابل توجهی روبرو هستند که این مقاله به بررسی و ارائه راه‌حلی برای آن‌ها می‌پردازد.

نویسندگان و زمینه تحقیق

این مقاله توسط تیمی از پژوهشگران شامل Yi Zhai, Yu Zhang, Shuo Liu, Xiaomeng Chu, Jie Peng, Jianmin Ji, Yanyong Zhang ارائه شده است. حوزه تحقیق این مقاله در تلاقی دو زمینه حیاتی یادگیری ماشین (Machine Learning) و بهینه‌سازی عملکرد (Performance Optimization) قرار دارد. به طور خاص، تمرکز بر روی بهبود روش‌های تنظیم برنامه‌های تنسور با استفاده از تکنیک‌های پیشرفته یادگیری عمیق است.

دستاورد این پژوهش در چارچوب تحقیقات گسترده‌تر برای افزایش سرعت و کارایی محاسبات سنگین، به‌ویژه در زمینه‌هایی مانند بینایی ماشین، پردازش زبان طبیعی، و محاسبات علمی که به شدت به عملیات ماتریسی و تنسوری متکی هستند، جای می‌گیرد.

چکیده و خلاصه محتوا

چکیده این مقاله به طور موجز، مشکل اصلی، رویکرد پیشنهادی و نتایج کلیدی را بیان می‌کند. بهینه‌سازی برنامه تنسور به عنوان یک مشکل بهینه‌سازی غیرمحدب با تابع هدف پیچیده معرفی شده که روش‌های جستجو در حل آن مؤثرند. هسته اصلی این روش‌ها، مدل هزینه است. نویسندگان اذعان دارند که مدل‌های هزینه مبتنی بر یادگیری عمیق، با وجود کارایی بالا، همچنان با دو مشکل عمده مواجه هستند:

• وابستگی به دانش تخصصی سخت‌افزار: استخراج ویژگی (Feature Extraction) در این مدل‌ها به شدت به دانش عمیق در مورد معماری‌های سخت‌افزاری متکی است. این ویژگی‌ها اغلب ناکافی بوده و نیاز به تنظیمات مجزا برای CPU و GPU دارند.
• عدم قابلیت اطمینان بین سخت‌افزاری (Cross-Hardware Unavailability): یک مدل هزینه که بر روی یک پلتفرم سخت‌افزاری آموزش دیده است، معمولاً بر روی سخت‌افزار دیگر عملکرد ضعیفی از خود نشان می‌دهد.

برای غلبه بر این مشکلات، دو مدل جدید به نام‌های TLP و MTLTLP معرفی شده‌اند. ایده اصلی TLP این است که به جای استخراج ویژگی از خود برنامه تنسور، ویژگی‌ها از دستورالعمل‌های زمان‌بندی (Schedule Primitives) استخراج می‌شوند. این دستورالعمل‌ها به عنوان زبان‌های تنسور در نظر گرفته شده و فرآیند پیش‌بینی تأخیر (Latency Prediction) برنامه تنسور، به یک وظیفه پردازش زبان طبیعی (NLP) برای رگرسیون تبدیل می‌شود. مدل MTL-TLP با ترکیب یادگیری چند وظیفه‌ای (Multi-Task Learning) و TLP، مشکل عدم قابلیت اطمینان بین سخت‌افزاری را هدف قرار می‌دهد.

روش‌شناسی تحقیق

رویکرد اصلی مقاله بر پایه یادگیری عمیق و بازتعریف مسئله تنظیم برنامه تنسور استوار است.

1. TLP: پردازش زبان تنسور (Tensor Language Processing)

مفهوم کلیدی TLP، تغییر تمرکز از برنامه تنسور به دستورالعمل‌های زمان‌بندی است. این دستورالعمل‌ها، که نحوه اجرای عملیات تنسور را بر روی سخت‌افزار مشخص می‌کنند، مجموعه‌ای از پارامترها و ساختارها را توصیف می‌کنند. این ساختارها شباهت‌هایی به زبان‌های طبیعی دارند، از این رو نویسندگان این مسئله را به عنوان یک وظیفه پردازش زبان تنسور (Tensor Language Processing) تعریف کرده‌اند. در این چارچوب:

• هر دستورالعمل زمان‌بندی به عنوان یک “کلمه” یا “جمله” در زبان تنسور در نظر گرفته می‌شود.
• مدل یادگیری عمیق (احتمالاً یک شبکه عصبی بازگشتی یا مبتنی بر ترنسفورمر) برای پردازش این “جملات” و استخراج ویژگی‌های معنادار از آن‌ها آموزش داده می‌شود.
• این ویژگی‌ها سپس برای پیش‌بینی تأخیر برنامه تنسور استفاده می‌شوند (وظیفه رگرسیون).

این رویکرد مزایای متعددی دارد: اولاً، کاهش نیاز به دانش تخصصی بسیار عمیق در مورد جزئیات معماری سخت‌افزار، زیرا تمرکز بر روی دستورالعمل‌های انتزاعی‌تر زمان‌بندی است. ثانیاً، قابلیت تعمیم‌پذیری بهتر بین سخت‌افزارهای مختلف، زیرا بسیاری از اصول زمان‌بندی در معماری‌های مختلف مشترک هستند.

2. MTL-TLP: حل مشکل عدم قابلیت اطمینان بین سخت‌افزاری

عدم قابلیت اطمینان بین سخت‌افزاری یک چالش بزرگ در مدل‌های هزینه سنتی و حتی مدل‌های مبتنی بر یادگیری عمیق است. یک مدل که بر روی GPU آموزش دیده، ممکن است در CPU عملکرد ضعیفی داشته باشد. برای مقابله با این مسئله، نویسندگان از یادگیری چند وظیفه‌ای (Multi-Task Learning – MTL) بهره برده‌اند. در MTL-TLP:

• مدل یادگیری عمیق به گونه‌ای طراحی شده است که به طور همزمان چندین وظیفه مرتبط را یاد بگیرد. وظایف اصلی شامل پیش‌بینی تأخیر بر روی سخت‌افزارهای مختلف (مثلاً CPU و GPU) است.
• با آموزش همزمان بر روی داده‌های سخت‌افزارهای مختلف، مدل قادر به یادگیری الگوهای مشترک و همچنین تفاوت‌های ظریف بین آن‌ها می‌شود.
• این امر به مدل اجازه می‌دهد تا دانش کسب شده از یک سخت‌افزار را به سخت‌افزارهای دیگر منتقل کند و نیاز به مقادیر زیادی داده آموزشی برای هر سخت‌افزار را کاهش دهد.

ادغام این تکنیک‌ها در چارچوب Ansor (یک چارچوب معروف برای تنظیم خودکار کامپایلرها) انجام شده است. Ansor قابلیت‌هایی برای تعریف و جستجوی فضاهای زمان‌بندی بسیار بزرگ را فراهم می‌کند و TLP و MTL-TLP به عنوان مدل‌های هزینه درون این چارچوب ادغام شده‌اند.

یافته‌های کلیدی

آزمایش‌های گسترده‌ای بر روی CPU و GPU انجام شده است تا کارایی TLP و MTL-TLP نسبت به روش‌های پیشرفته (State-of-the-art) ارزیابی شود. نتایج حاصل از این آزمایش‌ها، نقاط قوت این رویکردهای جدید را به خوبی نشان می‌دهند:

• تسریع قابل توجه در زمان جستجو با TLP: TLP توانسته است به طور متوسط زمان جستجوی پیکربندی‌های بهینه را 9.1 برابر در بارهای کاری CPU و 3.0 برابر در بارهای کاری GPU نسبت به پیاده‌سازی‌های پیشرفته فعلی کاهش دهد. این نشان‌دهنده دقت بالای مدل هزینه TLP در هدایت فرآیند جستجو است.
• کارایی MTL-TLP با داده‌های کم: مدل MTL-TLP، با استفاده از تنها 7% از داده‌های سخت‌افزار هدف، توانسته است به نتایجی مشابه با مدل‌های سنتی دست یابد. این قابلیت، به‌ویژه برای سخت‌افزارهای جدید یا گران‌قیمت که جمع‌آوری داده‌های زیاد از آن‌ها دشوار است، بسیار ارزشمند است. MTL-TLP در این سناریو توانسته است به ترتیب 4.7 برابر و 2.9 برابر تسریع در زمان جستجو را در CPU و GPU حاصل کند.
• کاهش وابستگی به دانش تخصصی: رویکرد TLP که بر اساس استخراج ویژگی از دستورالعمل‌های زمان‌بندی است، به طور قابل توجهی نیاز به دانش تخصصی در مورد جزئیات معماری سخت‌افزار را کاهش می‌دهد. این امر، توسعه و نگهداری مدل‌های هزینه را آسان‌تر می‌کند.

کاربردها و دستاوردها

این تحقیق دارای کاربردهای عملی گسترده‌ای در حوزه محاسبات علمی، یادگیری عمیق، و سیستم‌های تعبیه‌شده است:

• تسریع در توسعه و استقرار مدل‌های هوش مصنوعی: با تنظیم بهینه برنامه‌های تنسور، می‌توان سرعت آموزش و اجرای مدل‌های یادگیری عمیق را به طور چشمگیری افزایش داد، که این امر به نوبه خود چرخه تحقیق و توسعه را کوتاه‌تر می‌کند.
• بهینه‌سازی عملکرد برای سخت‌افزارهای متنوع: TLP و MTL-TLP امکان دستیابی به عملکرد بالا را بر روی طیف وسیعی از سخت‌افزارها، از CPUهای متداول گرفته تا GPUهای قدرتمند و پردازنده‌های اختصاصی، فراهم می‌کنند. این قابلیت برای شرکت‌هایی که محصولات خود را بر روی پلتفرم‌های مختلف ارائه می‌دهند، حیاتی است.
• کاهش هزینه محاسباتی: با کاهش زمان اجرای برنامه‌ها، هزینه‌های مربوط به استفاده از منابع ابری یا مراکز داده نیز کاهش می‌یابد.
• امکان‌پذیر ساخت برنامه‌های پیچیده‌تر: با بهبود کارایی، می‌توان برنامه‌های تنسور پیچیده‌تر و بزرگ‌تری را اجرا کرد که پیش از این به دلیل محدودیت‌های عملکردی، امکان‌پذیر نبودند.
• کاربردی شدن یادگیری عمیق در محیط‌های محدود: قابلیت MTL-TLP برای کار با داده‌های کم، یادگیری عمیق را برای دستگاه‌های با منابع محاسباتی محدود یا دستگاه‌های اینترنت اشیاء (IoT) که امکان جمع‌آوری حجم انبوه داده را ندارند، تسهیل می‌کند.

نتیجه‌گیری

مقاله “TLP: A Deep Learning-based Cost Model for Tensor Program Tuning” گامی مهم در جهت بهبود خودکارسازی بهینه‌سازی عملکرد برنامه‌های تنسور برداشته است. نویسندگان با معرفی مفهوم “پردازش زبان تنسور” (TLP) و استفاده از یادگیری چند وظیفه‌ای (MTL-TLP)، توانسته‌اند بر دو چالش اساسی مدل‌های هزینه یادگیری عمیق غلبه کنند: وابستگی بیش از حد به دانش تخصصی سخت‌افزار و مشکل عدم قابلیت اطمینان بین سخت‌افزاری.

یافته‌های تجربی نشان می‌دهند که TLP به طور قابل توجهی زمان جستجو را کاهش می‌دهد و MTL-TLP، با تکیه بر انتقال دانش بین سخت‌افزاری، امکان دستیابی به عملکرد بالا را حتی با داده‌های آموزشی محدود فراهم می‌آورد. این پیشرفت‌ها پتانسیل بالایی برای تسریع تحقیقات در زمینه هوش مصنوعی، بهبود کارایی نرم‌افزارها بر روی سخت‌افزارهای متنوع، و کاهش هزینه‌های محاسباتی دارند. این مقاله راه را برای توسعه مدل‌های هزینه هوشمندتر و قابل تعمیم‌تر هموار می‌سازد و گامی مؤثر در جهت تحقق کارایی حداکثری در دنیای محاسبات مدرن محسوب می‌شود.