فلش‌کارت‌های آموزشی کار با کتابخانه‌های موازی‌سازی DL (Horovod, PyTorch Distributed)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کار با کتابخانه‌های موازی‌سازی DL (Horovod, PyTorch Distributed)

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه ای بر محاسبات سطح بالا (HPC) و موازی سازی
• 2. معماری های موازی: SIMD، MIMD و انواع دیگر
• 3. آشنایی با مدل های برنامه نویسی موازی: اشتراک حافظه و توزیع حافظه
• 4. مقدمه ای بر کتابخانه های موازی سازی در یادگیری عمیق (DL)
• 5. بررسی اجمالی Horovod و PyTorch Distributed
• 6. نصب و راه اندازی Horovod
• 7. نصب و راه اندازی PyTorch Distributed
• 8. محیط های توسعه HPC و محاسبات ابری
• 9. مقدمه ای بر MPI (Message Passing Interface)
• 10. مفاهیم اولیه MPI: رنک، سایز، کامیونیکیتور
• 11. ارتباطات نقطه به نقطه در MPI: ارسال و دریافت
• 12. ارتباطات جمعی در MPI: Broadcast، Reduce، Gather
• 13. آشنایی با Horovod: معماری و نحوه عملکرد
• 14. استراتژی های موازی سازی داده در Horovod
• 15. ادغام Horovod با TensorFlow: مثال های عملی
• 16. ادغام Horovod با Keras: مثال های عملی
• 17. ادغام Horovod با PyTorch: مثال های عملی
• 18. بهینه سازی عملکرد Horovod: کاهش سربار ارتباطی
• 19. عیب یابی و رفع اشکال در Horovod
• 20. استفاده از Horovod با اسپارک (Spark)
• 21. آشنایی با PyTorch Distributed: معماری و نحوه عملکرد
• 22. استراتژی های موازی سازی داده در PyTorch Distributed
• 23. Distributed Data Parallel (DDP) در PyTorch
• 24. Data Parallel (DP) در PyTorch
• 25. Distributed Data Parallel Fully Sharded (FSDP) در PyTorch
• 26. استفاده از `torch.distributed.launch`
• 27. ارتباطات جمعی در PyTorch Distributed: `torch.distributed.all_gather`، `torch.distributed.reduce`
• 28. آشنایی با Gloo و NCCL در PyTorch Distributed
• 29. بهینه سازی عملکرد PyTorch Distributed: انتخاب Backend مناسب
• 30. عیب یابی و رفع اشکال در PyTorch Distributed
• 31. ادغام PyTorch Distributed با DataLoader
• 32. موازی سازی مدل (Model Parallelism) در PyTorch
• 33. Tensor Parallelism در PyTorch Distributed
• 34. Pipeline Parallelism در PyTorch Distributed
• 35. ترکیب Data Parallelism و Model Parallelism
• 36. معرفی Zero Redundancy Optimizer (ZeRO) در PyTorch
• 37. ZeRO-Offload برای GPU
• 38. ZeRO-Infinity برای CPU
• 39. مقایسه ZeRO stages مختلف
• 40. بهینه سازی عملکرد با استفاده از Apex (Mixed Precision Training)
• 41. تکنیک های پیشرفته در موازی سازی داده
• 42. Gradient Accumulation
• 43. Large Batch Training
• 44. استفاده از Horovod و PyTorch Distributed با CUDA
• 45. بهینه سازی عملکرد CUDA برای محاسبات DL موازی
• 46. پروفایلینگ و عیب یابی GPU با NVIDIA Nsight
• 47. استفاده از CUDA-Aware MPI
• 48. ادغام Horovod و PyTorch Distributed با SLURM (Workload Manager)
• 49. مدیریت منابع در HPC با SLURM
• 50. ارسال جاب های Horovod و PyTorch Distributed با SLURM
• 51. مانیتورینگ عملکرد جاب ها در SLURM
• 52. مقایسه Horovod و PyTorch Distributed: مزایا و معایب
• 53. انتخاب کتابخانه مناسب برای پروژه
• 54. بررسی الگوهای طراحی برای برنامه نویسی موازی DL
• 55. استفاده از Docker و Kubernetes برای استقرار برنامه های DL موازی
• 56. مدیریت کانتینرها با Docker
• 57. استقرار Horovod و PyTorch Distributed در Kubernetes
• 58. Scaling برنامه های DL موازی در Kubernetes
• 59. معرفی تکنیک های Quantization
• 60. Post-Training Quantization
• 61. Quantization-Aware Training
• 62. بررسی تأثیر Quantization بر عملکرد DL موازی
• 63. معرفی Pruning (هرس کردن مدل)
• 64. Unstructured Pruning
• 65. Structured Pruning
• 66. بررسی تأثیر Pruning بر عملکرد DL موازی
• 67. مقدمه ای بر Federated Learning
• 68. موازی سازی Federated Learning با Horovod و PyTorch Distributed
• 69. بررسی الگوریتم های Federated Averaging و Secure Aggregation
• 70. معرفی differential privacy در Federated Learning
• 71. ادغام Horovod و PyTorch Distributed با سیستم های توزیع شده داده (Data Lakes)
• 72. استفاده از Apache Arrow برای انتقال داده بهینه
• 73. بررسی روش های کاهش حجم داده در HPC
• 74. استفاده از کتابخانه های فشرده سازی داده
• 75. بررسی سخت افزارهای HPC: GPU، TPU، FPGA
• 76. آشنایی با معماری GPU های NVIDIA
• 77. استفاده از TPU های Google Cloud
• 78. برنامه نویسی FPGA برای محاسبات DL
• 79. بررسی benchmark های رایج در HPC برای DL
• 80. MLPerf Benchmark
• 81. GLUE Benchmark
• 82. آشنایی با ابزارهای پروفایلینگ عملکرد DL: TensorBoard
• 83. استفاده از ابزارهای مانیتورینگ سیستم: Grafana، Prometheus
• 84. بررسی امنیت در HPC برای DL
• 85. امنیت داده ها در محیط های توزیع شده
• 86. محافظت از مدل ها در برابر حملات
• 87. بررسی ریسک های امنیتی در Federated Learning
• 88. مقدمه ای بر محاسبات کوانتومی
• 89. ارتباط بین محاسبات کوانتومی و HPC
• 90. بررسی الگوریتم های کوانتومی برای DL
• 91. آشنایی با شبیه سازی کوانتومی در HPC
• 92. معرفی روش های جدید در موازی سازی DL
• 93. Asynchronous Training
• 94. Decentralized Optimization
• 95. بررسی آینده موازی سازی DL
• 96. معرفی ابزارهای جدید در اکوسیستم Horovod و PyTorch Distributed
• 97. بررسی مقالات تحقیقاتی جدید در زمینه موازی سازی DL
• 98. ساخت یک پروژه DL موازی کامل با Horovod
• 99. ساخت یک پروژه DL موازی کامل با PyTorch Distributed
• 100. بهینه سازی performance با استفاده از mixed precision training