فلش‌کارت‌های آموزشی الگوریتم‌های یادگیری ماشین توزیع شده

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره الگوریتم‌های یادگیری ماشین توزیع شده

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر محاسبات سطح بالا (HPC)
• 2. مقدمه‌ای بر یادگیری ماشین توزیع شده
• 3. چرا به الگوریتم‌های توزیع شده نیاز داریم؟
• 4. مروری بر مبانی یادگیری ماشین: یادگیری با نظارت
• 5. مروری بر مبانی یادگیری ماشین: یادگیری بدون نظارت
• 6. مروری بر مبانی شبکه‌های عصبی و یادگیری عمیق
• 7. مبانی محاسبات موازی و توزیع شده
• 8. مدل‌های برنامه‌نویسی موازی: حافظه مشترک و حافظه توزیع شده
• 9. معماری سیستم‌های HPC: خوشه‌ها، ابرکامپیوترها و گریدها
• 10. شبکه‌های اتصال داخلی (Interconnects) در HPC: InfiniBand و Ethernet
• 11. سیستم‌های فایل موازی و توزیع شده (Lustre, GPFS)
• 12. همزمانی (Concurrency) در مقابل موازی‌سازی (Parallelism)
• 13. قوانین مقیاس‌پذیری: قانون امدال و قانون گوستافسون
• 14. متریک‌های ارزیابی عملکرد در سیستم‌های توزیع شده
• 15. موازی‌سازی داده (Data Parallelism)
• 16. موازی‌سازی مدل (Model Parallelism)
• 17. موازی‌سازی خط لوله (Pipeline Parallelism)
• 18. موازی‌سازی ترکیبی (Hybrid Parallelism)
• 19. الگوهای ارتباطی: نقطه به نقطه (Point-to-Point)
• 20. الگوهای ارتباطی جمعی: Broadcast, Scatter, Gather
• 21. الگوهای ارتباطی جمعی: Reduce و All-Reduce
• 22. همگام‌سازی: روش‌های همگام (Synchronous)
• 23. همگام‌سازی: روش‌های ناهمگام (Asynchronous)
• 24. معماری سرور پارامتر (Parameter Server)
• 25. تحمل‌پذیری خطا (Fault Tolerance) در سیستم‌های توزیع شده
• 26. تقسیم‌بندی و توزیع مجموعه داده‌ها
• 27. پیش‌پردازش داده‌ها در مقیاس بزرگ
• 28. نزول گرادیان تصادفی توزیع شده (Distributed SGD)
• 29. استراتژی‌های همگام‌سازی گرادیان‌ها
• 30. چالش‌های همگرایی در آموزش ناهمگام
• 31. رگرسیون خطی و لجستیک توزیع شده
• 32. ماشین‌های بردار پشتیبان (SVM) توزیع شده
• 33. درخت‌های تصمیم و جنگل‌های تصادفی توزیع شده
• 34. الگوریتم‌های تقویت گرادیان (Gradient Boosting) توزیع شده
• 35. مقدمه‌ای بر آموزش توزیع شده شبکه‌های عصبی عمیق
• 36. پیاده‌سازی موازی‌سازی داده برای شبکه‌های عصبی
• 37. پیاده‌سازی موازی‌سازی مدل برای شبکه‌های عصبی
• 38. انباشت گرادیان (Gradient Accumulation)
• 39. کاهش دقت عددی و گرادیان‌های فشرده
• 40. آموزش شبکه‌های عصبی کانولوشنی (CNN) توزیع شده
• 41. آموزش شبکه‌های عصبی بازگشتی (RNN) توزیع شده
• 42. آموزش مدل‌های ترنسفورمر (Transformer) در مقیاس بزرگ
• 43. خوشه‌بندی K-Means توزیع شده
• 44. الگوریتم‌های کاهش ابعاد توزیع شده: PCA
• 45. تجزیه مقادیر منفرد (SVD) توزیع شده
• 46. الگوریتم‌های توزیع شده برای تحلیل گراف: PageRank
• 47. پردازش زبان طبیعی (NLP) در مقیاس بزرگ
• 48. یادگیری تقویتی توزیع شده
• 49. مقدمه‌ای بر رابط ارسال پیام (MPI)
• 50. ارتباطات نقطه به نقطه با MPI
• 51. ارتباطات جمعی با MPI
• 52. استفاده از MPI برای یادگیری ماشین: `mpi4py`
• 53. مقدمه‌ای بر Apache Spark
• 54. مجموعه داده‌های توزیع شده انعطاف‌پذیر (RDDs)
• 55. Spark MLlib: کتابخانه یادگیری ماشین توزیع شده
• 56. اجرای الگوریتم‌های یادگیری ماشین روی Spark
• 57. مقدمه‌ای بر Horovod
• 58. آموزش توزیع شده با Horovod و TensorFlow
• 59. آموزش توزیع شده با Horovod و PyTorch
• 60. استراتژی‌های توزیع در TensorFlow: `tf.distribute`
• 61. MirroredStrategy و MultiWorkerMirroredStrategy
• 62. ParameterServerStrategy در TensorFlow
• 63. بسته محاسبات توزیع شده PyTorch (torch.distributed)
• 64. استفاده از DistributedDataParallel (DDP) در PyTorch
• 65. استفاده از Remote Procedure Call (RPC) در PyTorch
• 66. مقدمه‌ای بر Ray و Dask برای محاسبات توزیع شده
• 67. مقایسه چارچوب‌های آموزش توزیع شده
• 68. استفاده از GPUها در محاسبات سطح بالا (CUDA و ROCm)
• 69. برنامه‌نویسی برای چندین GPU در یک گره (Node)
• 70. برنامه‌نویسی برای چندین گره چند-GPU
• 71. بهینه‌سازی ارتباطات بین GPUها: NCCL
• 72. زمان‌بندهای کار (Job Schedulers) در HPC: Slurm و PBS
• 73. کانتینرسازی در HPC: Singularity و Docker
• 74. پروفایل‌سنجی (Profiling) و تحلیل گلوگاه‌ها
• 75. شناسایی گلوگاه‌های ارتباطی
• 76. شناسایی گلوگاه‌های محاسباتی
• 77. شناسایی گلوگاه‌های ورودی/خروجی (I/O)
• 78. تکنیک‌های بهینه‌سازی ارتباطات: همپوشانی محاسبه و ارتباط
• 79. بهینه‌سازی بار کاری و توازن بار (Load Balancing)
• 80. مقیاس‌پذیری قوی (Strong Scaling) و ضعیف (Weak Scaling)
• 81. یادگیری فدرال (Federated Learning): مفاهیم پایه
• 82. چالش‌های حریم خصوصی و ارتباطات در یادگیری فدرال
• 83. آموزش مدل‌های زبان بزرگ (LLMs) در مقیاس وسیع
• 84. استراتژی‌های موازی‌سازی برای LLMها: ZeRO و FSDP
• 85. معماری ترکیب متخصصان (Mixture of Experts - MoE) توزیع شده
• 86. کوانتیزاسیون (Quantization) مدل‌ها در محیط توزیع شده
• 87. هرس (Pruning) مدل‌های توزیع شده
• 88. جستجوی معماری عصبی (NAS) توزیع شده
• 89. یادگیری ماشین خودکار (AutoML) در سیستم‌های HPC
• 90. اخلاق در یادگیری ماشین توزیع شده: سوگیری و عدالت
• 91. مصرف انرژی و محاسبات سبز (Green AI) در HPC
• 92. مطالعه موردی: آموزش ResNet-50 روی ImageNet به صورت توزیع شده
• 93. مطالعه موردی: آموزش مدل BERT از ابتدا
• 94. روندهای آینده در الگوریتم‌ها و سخت‌افزارهای توزیع شده
• 95. جمع‌بندی دوره و چشم‌انداز آینده
• 96. **بهینه‌سازی توزیع‌شده: روش‌های گرادیان نزولی و همگرایی**
• 97. **یادگیری فدرال (Federated Learning): الگوریتم‌ها و کاربردها**
• 98. **تحمل‌پذیری خطا و افزونگی در سیستم‌های توزیع‌شده**
• 99. **توزیع داده و مدل: استراتژی‌ها و trade-offs**
• 100. **ابزارهای ارزیابی و محک‌زنی برای الگوریتم‌های توزیع‌شده**