فلش‌کارت‌های آموزشی بهینه‌سازی سطح کامپایلر برای فریم‌ورک‌های یادگیری عمیق

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی سطح کامپایلر برای فریم‌ورک‌های یادگیری عمیق

موضوع کلی: معماری و سازماندهی کامپیوتر

موضوع میانی: بهینه‌سازی مدل‌های یادگیری عمیق

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر فریم‌ورک‌های یادگیری عمیق و نیاز به بهینه‌سازی کامپایلری
• 2. مفاهیم پایه کامپایلر: لکسینگ، پارسینگ، نمایش میانی (IR)
• 3. معماری گراف محاسباتی در فریم‌ورک‌ها (TensorFlow، PyTorch، ONNX)
• 4. تبدیل مدل‌های سطح بالا به گراف IR واحد
• 5. استنتاج شکل (Shape Inference) و تایپ‌چکینگ در IR
• 6. ساده‌سازی گراف: ثابت‌سازی (Constant Folding) و حذف کد مرده
• 7. ادغام عملگرها (Operator Fusion) برای کاهش حافظه و افزایش سرعت
• 8. تغییر چیدمان داده (Data Layout Transformation) برای بهینه‌سازی دسترسی حافظه
• 9. برنامه‌ریزی حافظه و تخصیص بافر (Memory Planning & Buffer Allocation)
• 10. کوانتیزیشن: مفاهیم، kvantization-aware training و post-training quantization
• 11. کالیبراسیون و تحلیل اثرات دقت در کوانتیزیشن
• 12. تولید کرنل (Kernel Generation) برای CPU، GPU، TPU و NPU
• 13. استفاده از Tensor Cores و واحدهای محاسبه تخصصی
• 14. برنامه‌ریزی حلقه‌ها: تایلینگ (Loop Tiling)، انباشت (Unrolling) و برداری‌سازی (Vectorization)
• 15. موازی‌سازی در سطح نخ، بلوک و دستگاه (Thread/Block/Device Parallelism)
• 16. مدیریت دقت ترکیبی (Mixed Precision) و مقیاس‌دهی پویا
• 17. بهینه‌سازی کنترل جریان (Control Flow Optimization) در گراف‌های پویا
• 18. تفاوت و تعامل اتودیف (Autodiff) با بهینه‌سازی‌های کامپایلری
• 19. پروفایلینگ و بنچمارکینگ مدل‌های بهینه‌شده
• 20. مدل‌سازی هزینه (Cost Model) برای جستجوی فضای بهینه‌سازی
• 21. خزانه‌های جستجو: AutoTVM، Ansor، AutoScheduler
• 22. بهینه‌سازی برای حافظه پنهان (Cache Blocking) و باند حافظه
• 23. استفاده از خلأ (Sparsity) و هرس (Pruning) در سطح کامپایلر
• 24. تقطیر دانش (Knowledge Distillation) و یکپارچه‌سازی با پایپ‌لاین کامپایل
• 25. پشتیبانی از شکل‌های پویا (Dynamic Shapes) و ابعاد نمادین
• 26. مدیریت عملگرهای سفارشی (Custom Operators) و کتابخانه‌های کرنل
• 27. ترجمه پیش‌ازاجرا (AOT) در برابر کامپایل در لحظه (JIT)
• 28. استقرار مدل: سریال‌سازی، فرمت‌های اجرایی (ONNX Runtime، TensorRT، TVM Runtime)
• 29. بخش‌بندی مدل برای اجرا چند دستگاهی (Model Partitioning)
• 30. بهینه‌سازی ارتباطات: All-Reduce، Pipeline Parallelism، Tensor Parallelism
• 31. پایپ‌لاین بهینه‌سازی (Optimization Pass Pipeline) و ترتیب پاس‌ها
• 32. معرفی MLIR:Dialects، Pass Infrastructure، و یکپارچه‌سازی با فریم‌ورک‌ها
• 33. کار با TVM: Relay IR، Target Definition، و AutoTVM
• 34. کار با XLA: HLO، fusión، و backend‌های سخت‌افزاری
• 35. کار با Glow: IR، Backend، و بهینه‌سازی‌های اختصاصی
• 36. استفاده از ONNX به عنوان فرمت میانجی برای کامپایلرها
• 37. تست و تأیید صحت (Verification) تبدیل‌های کامپایلری
• 38. دیباگ کردن پاس‌های کامپایلر و ابزارهای تحلیل IR
• 39. CI/CD برای توسعه کامپایلر یادگیری عمیق
• 40. معماری‌های سخت‌افزاری نوین: RISC-V Vector، AI Accelerators، Neuromorphic
• 41. پرتابلیت عملکرد (Performance Portability) در کامپایلرها
• 42. بهینه‌سازی برای استنتاج لبه (Edge Inference) و محدودیت‌های انرژی
• 43. مقدمه‌ای بر کامپایلرهای احتمالی (Probabilistic Compilers) و یادگیری تقویتی برای بهینه‌سازی
• 44. روندهای آینده: Compilation as a Service، Federated Compilation، و Quantum‑aware Compilation