فلش‌کارت‌های آموزشی بهینه‌سازی مدل‌های یادگیری عمیق برای سرعت

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی مدل‌های یادگیری عمیق برای سرعت

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مفاهیم پایه محاسبات سطح بالا و یادگیری عمیق
• 2. معماری کامپیوتر و تاثیر آن بر عملکرد مدل‌های یادگیری عمیق
• 3. آشنایی با GPU و نحوه عملکرد آن
• 4. معرفی CUDA و OpenCL
• 5. نصب و راه اندازی ابزارهای توسعه CUDA
• 6. اصول برنامه نویسی موازی و همزمان
• 7. تکنیک‌های پروفایلینگ کد برای شناسایی گلوگاه‌ها
• 8. بهینه سازی حافظه در GPU
• 9. انتقال داده بین CPU و GPU
• 10. مفهوم Kernel Fusion
• 11. استفاده از Tensor Cores در GPUهای NVIDIA
• 12. بهینه‌سازی ماتریس ضرب (Matrix Multiplication) در CUDA
• 13. پیاده‌سازی الگوریتم‌های Convolution بهینه شده
• 14. بهینه‌سازی لایه‌های Dense (Fully Connected) در شبکه‌های عصبی
• 15. بهینه سازی توابع Activation
• 16. بهینه سازی لایه‌های Pooling
• 17. بهینه سازی لایه‌های Normalization (Batch Normalization, Layer Normalization)
• 18. استفاده از الگوریتم‌های Quantization برای کاهش حجم مدل
• 19. Quantization Aware Training
• 20. Post-Training Quantization
• 21. Dynamic Quantization
• 22. Pruning برای کاهش تعداد پارامترهای مدل
• 23. Magnitude Pruning
• 24. Structured Pruning
• 25. Unstructured Pruning
• 26. Knowledge Distillation برای انتقال دانش از مدل بزرگ به مدل کوچک
• 27. معرفی معماری‌های Lightweight (MobileNet, EfficientNet)
• 28. AutoML و بهینه سازی معماری مدل
• 29. Network Architecture Search (NAS)
• 30. استفاده از ابزارهای پروفایلینگ در TensorFlow
• 31. استفاده از ابزارهای پروفایلینگ در PyTorch
• 32. بهینه سازی Data Pipeline در TensorFlow
• 33. بهینه سازی Data Pipeline در PyTorch
• 34. استفاده از tf.data و torch.utils.data بهینه
• 35. استفاده از AMP (Automatic Mixed Precision) برای سرعت بخشیدن به آموزش
• 36. استفاده از Gradient Accumulation برای افزایش Batch Size موثر
• 37. بهینه سازی Optimizerها (Adam, SGD)
• 38. استفاده از Learning Rate Scheduling
• 39. Early Stopping برای جلوگیری از Overfitting
• 40. Gradient Clipping برای جلوگیری از Exploding Gradients
• 41. Batch Size و تاثیر آن بر عملکرد و حافظه
• 42. معرفی Distributed Training
• 43. Data Parallelism
• 44. Model Parallelism
• 45. Tensor Parallelism
• 46. Pipeline Parallelism
• 47. استفاده از Horovod برای Distributed Training
• 48. استفاده از PyTorch DDP (Distributed Data Parallel)
• 49. استفاده از TensorFlow MirroredStrategy
• 50. بهینه سازی ارتباطات بین گره‌ها در Distributed Training
• 51. استفاده از InfiniBand و NVLink
• 52. معرفی NVIDIA Collective Communications Library (NCCL)
• 53. بهینه سازی Input/Output (I/O) برای داده های بزرگ
• 54. استفاده از فرمت‌های داده کارآمد (TFRecord, Parquet)
• 55. استفاده از caching برای کاهش زمان دسترسی به داده
• 56. استفاده از Remote Direct Memory Access (RDMA)
• 57. بهینه سازی برای استقرار مدل روی Edge Deviceها
• 58. TensorFlow Lite
• 59. PyTorch Mobile
• 60. ONNX Runtime
• 61. TVM (Apache TVM)
• 62. NVIDIA TensorRT
• 63. استفاده از FPGA برای شتاب دهی به مدل‌های یادگیری عمیق
• 64. معرفی معماری‌های سفارشی برای یادگیری عمیق
• 65. استفاده از ابزارهای Compilation برای بهینه سازی کد (XLA, JIT)
• 66. بررسی موردی: بهینه سازی یک مدل تصویربرداری پزشکی
• 67. بررسی موردی: بهینه سازی یک مدل پردازش زبان طبیعی
• 68. بررسی موردی: بهینه سازی یک مدل تشخیص اشیاء
• 69. بررسی موردی: بهینه سازی یک مدل Recommendation System
• 70. بهینه سازی برای inference در مقیاس بزرگ
• 71. معرفی سرویس‌های Cloud برای محاسبات سطح بالا (AWS, Azure, GCP)
• 72. استفاده از Kubernetes برای مدیریت منابع محاسباتی
• 73. استفاده از Docker برای ایجاد محیط‌های قابل تکرار
• 74. CI/CD برای یادگیری عمیق
• 75. اتوماسیون آموزش و ارزیابی مدل
• 76. استفاده از MLflow برای مدیریت چرخه حیات مدل
• 77. استفاده از TensorBoard برای visualiz نمودن معیارها
• 78. استفاده از Weights & Biases برای ردیابی آزمایش‌ها
• 79. بهینه سازی برای مصرف انرژی
• 80. Green AI
• 81. Measurement of Energy Consumption
• 82. Benchmarking برای ارزیابی عملکرد مدل
• 83. تکنیک‌های کاهش خطای محاسباتی (Numerical Stability)
• 84. حل مشکلات مربوط به vanishing gradients و exploding gradients
• 85. بهینه سازی برای شرایط کمبود حافظه (Out-of-Memory Errors)
• 86. Debugging و Troubleshooting در محاسبات سطح بالا
• 87. آشنایی با کامپایلرهای بهینه ساز (Compiler Optimization)
• 88. Vectorization و SIMD (Single Instruction, Multiple Data)
• 89. Loop Unrolling
• 90. Memory Alignment
• 91. استفاده از profilerهای سخت افزاری
• 92. معرفی نسل جدید سخت افزارها (AI Accelerators)
• 93. ارزیابی عملکرد مدل در سخت افزارهای مختلف
• 94. بهینه سازی Hybrid CPU-GPU
• 95. استفاده از تکنیک‌های Fused Multiply-Add (FMA)
• 96. Data layout optimization
• 97. Exploiting data sparsity
• 98. Graph optimization
• 99. Operator fusion
• 100. Code specialization