فلش‌کارت‌های آموزشی بهینه‌سازی زمان آموزش مدل‌های DL

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی زمان آموزش مدل‌های DL

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر یادگیری عمیق و کاربردهای آن
• 2. آشنایی با معماری‌های اصلی مدل‌های یادگیری عمیق (CNN, RNN, Transformer)
• 3. مقدمه‌ای بر محاسبات سطح بالا (HPC)
• 4. تاریخچه و اهمیت HPC در عصر داده
• 5. مفهوم "زمان آموزش" در یادگیری عمیق
• 6. چرا بهینه‌سازی زمان آموزش مدل‌های DL حیاتی است؟
• 7. معماری پردازنده‌های مرکزی (CPU) و نقش آن در DL
• 8. معماری واحدهای پردازش گرافیکی (GPU) و مزایای آن برای DL
• 9. اصول کارکرد حافظه و سلسله مراتب آن (DRAM, Cache)
• 10. معیارها و شاخص‌های عملکرد (Metrics & Benchmarking) در DL
• 11. بازنگری بر اصول پس‌انتشار (Backpropagation)
• 12. انواع الگوریتم‌های بهینه‌سازی (Gradient Descent, Adam, SGD)
• 13. توابع زیان (Loss Functions) رایج و انتخاب مناسب آنها
• 14. توابع فعال‌سازی (Activation Functions) و تأثیرشان بر آموزش
• 15. تکنیک‌های نرمال‌سازی دسته (Batch Normalization) و لایه (Layer Normalization)
• 16. تکنیک‌های منظم‌سازی (Regularization) برای جلوگیری از بیش‌برازش
• 17. آماده‌سازی داده‌ها: پیش‌پردازش و نرمال‌سازی
• 18. مفهوم گلوگاه‌های عملکردی (Performance Bottlenecks) در DL
• 19. شناسایی گلوگاه‌های مبتنی بر CPU
• 20. شناسایی گلوگاه‌های مبتنی بر GPU
• 21. شناسایی گلوگاه‌های مبتنی بر I/O و شبکه
• 22. ابزارهای پروفایلینگ NVIDIA Nsight Systems
• 23. استفاده از TensorBoard Profiler برای شناسایی مشکلات
• 24. ابزارهای پروفایلینگ PyTorch Profiler
• 25. بنچمارکینگ مدل‌ها و مقایسه عملکرد
• 26. درک عمیق‌تر از واحدهای CUDA Cores در GPU
• 27. آشنایی با Tensor Cores و نقش آنها در محاسبات ماتریسی
• 28. مفاهیم اولیه برنامه‌نویسی CUDA برای درک کارایی
• 29. مدیریت حافظه در GPU و بهینه‌سازی آن
• 30. معماری NUMA (Non-Uniform Memory Access) و چالش‌های آن
• 31. مقدمه‌ای بر واحدهای پردازش تانسوری (TPU) گوگل
• 32. سایر شتاب‌دهنده‌های سخت‌افزاری برای DL (FPGA, ASIC)
• 33. Pipelines داده کارآمد: اصول و طراحی
• 34. استفاده از PyTorch DataLoader برای بارگذاری موازی داده
• 35. استفاده از tf.data API در TensorFlow برای ورودی بهینه
• 36. بارگذاری داده‌های ناهم‌زمان (Asynchronous Data Loading)
• 37. تکنیک‌های افزونش داده (Data Augmentation) با کارایی بالا
• 38. ذخیره‌سازی داده‌ها: فرمت‌های بهینه و نقش حافظه‌های پرسرعت
• 39. استفاده از Memory-mapped files برای دسترسی سریع به داده
• 40. انواع داده‌های با دقت مخلوط (Mixed-precision data types) و کاربردشان
• 41. کاهش اندازه مدل (Model Compression): مقدمه
• 42. هرس کردن (Pruning) مدل‌ها: ساختار یافته و غیرساختار یافته
• 43. کوانتیزاسیون (Quantization) مدل‌ها: اصول و انواع
• 44. تقطیر دانش (Knowledge Distillation) برای مدل‌های کوچک‌تر
• 45. معماری‌های کارآمد (Efficient Architectures) مانند MobileNet, SqueezeNet
• 46. معرفی معماری‌های بهینه شده مانند EfficientNet و Vision Transformers
• 47. تنظیم ابرپارامترها (Hyperparameter Tuning) برای بهبود همگرایی
• 48. روش‌های جستجوی شبکه‌ای (Grid Search) و تصادفی (Random Search)
• 49. بهینه‌سازی بیزی (Bayesian Optimization) برای ابرپارامترها
• 50. جستجوی معماری عصبی (Neural Architecture Search - NAS)
• 51. آموزش با دقت مخلوط (Mixed Precision Training) در PyTorch
• 52. آموزش با دقت مخلوط (Mixed Precision Training) در TensorFlow
• 53. مفهوم FP16 و BF16 و مزایای آنها
• 54. XLA (Accelerated Linear Algebra) در TensorFlow و JAX
• 55. بهینه‌سازی کتابخانه‌های BLAS و cuBLAS
• 56. کامپایلرهای JIT (Just-In-Time) و نقش TorchScript
• 57. استفاده از حالت گراف (Graph Mode) در TensorFlow برای عملکرد
• 58. استراتژی‌های مدیریت حافظه در PyTorch و TensorFlow
• 59. مفهوم آموزش توزیع شده (Distributed Training)
• 60. موازی‌سازی داده (Data Parallelism): اصول و پیاده‌سازی
• 61. موازی‌سازی مدل (Model Parallelism): اصول و پیاده‌سازی
• 62. معرفی Horovod برای آموزش توزیع شده
• 63. PyTorch DistributedDataParallel (DDP)
• 64. استراتژی‌های توزیع شده در TensorFlow 2.x
• 65. پروتکل‌های ارتباطی: MPI و NCCL
• 66. بهینه‌سازی ارتباطات شبکه برای HPC DL
• 67. توپولوژی‌های شبکه و پهنای باند در خوشه‌ها
• 68. استراتژی‌های تجمیع گرادیان (Gradient Aggregation)
• 69. آموزش هم‌زمان (Synchronous) در مقابل ناهم‌زمان (Asynchronous)
• 70. چالش‌های آموزش توزیع شده و رفع آنها
• 71. انباشت گرادیان (Gradient Accumulation) برای بچ‌های بزرگتر
• 72. بازبینی گرادیان (Gradient Checkpointing) برای کاهش مصرف حافظه
• 73. اندازه‌گذاری دینامیک بچ (Dynamic Batch Sizing)
• 74. بهینه‌سازی شبکه‌های بازگشتی (RNNs) و LSTM ها
• 75. بهینه‌سازی معماری‌های Transformer
• 76. آموزش آگاه از کوانتیزاسیون (Quantization-Aware Training - QAT)
• 77. کوانتیزاسیون پس از آموزش (Post-Training Quantization)
• 78. ملاحظات استقرار مدل‌ها بر روی دستگاه‌های Edge/On-device
• 79. کانتینرسازی (Containerization) با Docker برای محیط‌های قابل تکرار
• 80. ارکستراسیون (Orchestration) با Kubernetes برای مدیریت خوشه‌ها
• 81. آشنایی با سرویس‌های HPC ابری (AWS EC2, Sagemaker)
• 82. پلتفرم هوش مصنوعی Google Cloud (GCP AI Platform)
• 83. سرویس‌های یادگیری ماشین Azure (Azure ML)
• 84. مدیریت منابع و زمان‌بندی (Resource Management & Scheduling) با Slurm
• 85. بهینه‌سازی هزینه‌ها در محیط‌های HPC ابری
• 86. نظارت بر پیشرفت آموزش و معیارهای عملکرد
• 87. ردیابی آزمایش‌ها (Experiment Tracking) با MLflow
• 88. استفاده از Weights & Biases برای مدیریت و تحلیل آزمایش‌ها
• 89. اطمینان از قابلیت تکرارپذیری (Reproducibility) در آموزش DL
• 90. دیباگ کردن مسائل عملکردی در DL مبتنی بر HPC
• 91. تشخیص و رفع مشکلات حافظه در GPU
• 92. تشخیص و رفع مشکلات ارتباطی در آموزش توزیع شده
• 93. مدیریت داده‌های بزرگ (Big Data Management) برای DL
• 94. ذخیره‌سازی ابری و سیستم‌های فایل توزیع شده
• 95. اصول امنیتی در محیط‌های HPC و DL
• 96. ملاحظات اخلاقی در مدل‌های بزرگ مقیاس DL
• 97. انتخاب فریم‌ورک مناسب (PyTorch vs TensorFlow) برای HPC
• 98. آینده بهینه‌سازی DL: سخت‌افزارهای جدید و الگوریتم‌های نوآورانه
• 99. مروری بر بهترین شیوه‌ها (Best Practices) در بهینه‌سازی DL
• 100. جمع‌بندی و مسیرهای یادگیری پیشرفته