فلش‌کارت‌های آموزشی کار با فریم‌ورک‌های پردازش موازی برای DL

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کار با فریم‌ورک‌های پردازش موازی برای DL

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه ای بر محاسبات سطح بالا (HPC) و یادگیری عمیق (DL)
• 2. معماری های موازی: SIMD, MIMD
• 3. آشنایی با مدل های برنامه نویسی موازی
• 4. مفاهیم Thread و Process
• 5. مروری بر حافظه اشتراکی و حافظه توزیع شده
• 6. آشنایی با MPI (Message Passing Interface)
• 7. نصب و پیکربندی MPI
• 8. نوشتن اولین برنامه MPI
• 9. ارتباط نقطه به نقطه در MPI
• 10. ارتباط جمعی در MPI
• 11. بهینه سازی ارتباطات MPI
• 12. آشنایی با OpenMP
• 13. نصب و پیکربندی OpenMP
• 14. نوشتن اولین برنامه OpenMP
• 15. مدیریت Threadها در OpenMP
• 16. بهینه سازی کد OpenMP
• 17. معرفی CUDA
• 18. نصب و پیکربندی CUDA Toolkit
• 19. معماری GPU و CUDA
• 20. نوشتن اولین Kernel CUDA
• 21. انتقال داده بین CPU و GPU
• 22. مدیریت حافظه در CUDA
• 23. همزمانی Threadها در CUDA
• 24. بهینه سازی کد CUDA
• 25. آشنایی با OpenCL
• 26. نصب و پیکربندی OpenCL
• 27. معماری OpenCL
• 28. نوشتن اولین Kernel OpenCL
• 29. مدیریت حافظه در OpenCL
• 30. بهینه سازی کد OpenCL
• 31. مروری بر فریم ورک های پردازش موازی برای DL
• 32. TensorFlow و محاسبات توزیع شده
• 33. Keras و محاسبات توزیع شده
• 34. PyTorch و محاسبات توزیع شده
• 35. آشنایی با Horovod
• 36. نصب و پیکربندی Horovod
• 37. استفاده از Horovod با TensorFlow
• 38. استفاده از Horovod با Keras
• 39. استفاده از Horovod با PyTorch
• 40. بهینه سازی Horovod
• 41. آشنایی با DeepSpeed
• 42. نصب و پیکربندی DeepSpeed
• 43. استفاده از DeepSpeed با PyTorch
• 44. آموزش مدل های بزرگ با DeepSpeed
• 45. بهینه سازی DeepSpeed
• 46. آشنایی با Ray
• 47. نصب و پیکربندی Ray
• 48. استفاده از Ray برای پردازش موازی
• 49. استفاده از Ray برای آموزش DL
• 50. بهینه سازی Ray
• 51. استراتژی های موازی سازی داده
• 52. استراتژی های موازی سازی مدل
• 53. موازی سازی خط لوله ای (Pipeline Parallelism)
• 54. موازی سازی تنسور (Tensor Parallelism)
• 55. انتخاب استراتژی مناسب موازی سازی
• 56. تأثیر اندازه Batch Size بر عملکرد
• 57. اهمیت Scaling Efficiency
• 58. اندازه گیری Scaling Efficiency
• 59. ابزارهای پروفایلینگ CPU و GPU
• 60. NVProf و Nsight Systems
• 61. TensorBoard و پروفایلینگ TensorFlow
• 62. PyTorch Profiler
• 63. بهینه سازی I/O برای DL
• 64. استفاده از TFRecords
• 65. استفاده از PyTorch DataLoaders
• 66. بهینه سازی Data Augmentation
• 67. فشرده سازی مدل ها (Model Compression)
• 68. Quantization
• 69. Pruning
• 70. Distillation
• 71. آموزش با Precision کاهش یافته (Mixed Precision Training)
• 72. استفاده از FP16 و BFloat16
• 73. گرادیان های پراکنده (Sparse Gradients)
• 74. همگام سازی گرادیان ها به صورت کارآمد
• 75. استفاده از آگرگیشن گرادیان ها
• 76. موازی سازی ناهمگن (Heterogeneous Parallelism)
• 77. استفاده از CPU و GPU به صورت همزمان
• 78. بهینه سازی برای معماری های خاص (مثل NVIDIA A100)
• 79. بهینه سازی برای معماری های خاص (مثل AMD Instinct)
• 80. پردازش زبان طبیعی (NLP) با HPC
• 81. آموزش مدل های Transformer بزرگ
• 82. بینایی ماشین (Computer Vision) با HPC
• 83. آموزش مدل های تشخیص شیء سنگین
• 84. یادگیری تقویتی (Reinforcement Learning) با HPC
• 85. موازی سازی محیط های شبیه سازی
• 86. شبیه سازی علمی با HPC و DL
• 87. استفاده از DL برای حل معادلات دیفرانسیل
• 88. مروری بر محاسبات کوانتومی و DL
• 89. آینده HPC و DL
• 90. کاربردهای HPC و DL در صنعت
• 91. پیاده سازی یک پروژه DL بزرگ با فریم ورک های موازی
• 92. عیب یابی و رفع خطا در کدهای موازی
• 93. امنیت در محاسبات توزیع شده
• 94. مقایسه فریم ورک های مختلف پردازش موازی
• 95. انتخاب فریم ورک مناسب برای پروژه
• 96. راهکارهای افزایش مقیاس پذیری (Scalability)
• 97. پردازش جریان داده (Stream Processing) با HPC و DL
• 98. استفاده از Apache Kafka و Apache Flink
• 99. مروری بر محاسبات Edge و DL
• 100. بهینه سازی مدل ها برای استقرار در Edge