فلش‌کارت‌های آموزشی یادگیری توزیع شده و کاربردهای آن

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره یادگیری توزیع شده و کاربردهای آن

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر برنامه‌نویسی توزیع شده و محاسبات سطح بالا
• 2. مفاهیم اساسی همروندی و موازی‌سازی
• 3. انواع معماری سیستم‌های توزیع شده
• 4. ارتباطات بین فرآیندی: سوکت‌ها و Pipeها
• 5. مکانیسم‌های ارتباطی سطح بالا: RPC و RMI
• 6. سریال‌سازی داده‌ها برای ارتباطات توزیع شده
• 7. مفاهیم همگام‌سازی در سیستم‌های توزیع شده
• 8. قفل‌ها، سمافورها و مانیتورها
• 9. الگوریتم‌های اجماع توزیع شده: معرفی
• 10. Paxos: الگوریتم اجماع پکسوس
• 11. Raft: الگوریتم اجماع رفت
• 12. زمان در سیستم‌های توزیع شده: ساعت‌های منطقی
• 13. ساعت‌های برداری و کاربردهای آن
• 14. مدل‌های تحمل خطا در سیستم‌های توزیع شده
• 15. بررسی اجمالی سخت‌افزار HPC: خوشه‌ها و پردازنده‌ها
• 16. معماری حافظه در سیستم‌های موازی
• 17. مقدمه‌ای بر برنامه‌نویسی موازی با حافظه مشترک (OpenMP)
• 18. مقدمه‌ای بر برنامه‌نویسی موازی با حافظه توزیع شده (MPI)
• 19. اصول اولیه MPI: ارسال و دریافت پیام
• 20. معرفی GPU و CUDA برای محاسبات موازی
• 21. مروری بر اصول یادگیری ماشین
• 22. مدل‌های رگرسیون و طبقه‌بندی
• 23. معرفی شبکه‌های عصبی و یادگیری عمیق
• 24. توابع هزینه، گرادیان و بهینه‌سازی
• 25. الگوریتم‌های بهینه‌سازی: SGD، Adam، RMSprop
• 26. ارزیابی مدل‌های یادگیری ماشین
• 27. چالش‌های یادگیری ماشین با داده‌های حجیم
• 28. چالش‌های آموزش مدل‌های بزرگ
• 29. مفهوم Overfitting و Underfitting در مقیاس بزرگ
• 30. چرا به یادگیری توزیع شده نیاز داریم؟
• 31. مزایای یادگیری توزیع شده
• 32. چالش‌های پیاده‌سازی یادگیری توزیع شده
• 33. پهنای باند و تاخیر شبکه به عنوان مانع
• 34. عدم یکپارچگی داده‌ها در محیط توزیع شده
• 35. تحمل خطا و بازیابی در یادگیری توزیع شده
• 36. موازی‌سازی داده‌ها (Data Parallelism): اصول
• 37. موازی‌سازی مدل (Model Parallelism): اصول
• 38. موازی‌سازی ترکیبی: Data و Model Parallelism
• 39. معماری Parameter Server: معرفی
• 40. نقش سرور پارامتر و کارگران
• 41. به‌روزرسانی پارامترها: همگام (Synchronous)
• 42. به‌روزرسانی پارامترها: ناهمگام (Asynchronous)
• 43. تفاوت‌ها و مزایای به‌روزرسانی همگام و ناهمگام
• 44. گرادیان‌های stale و راه‌حل‌های آن
• 45. تکنیک‌های کاهش ارتباطات: فشرده‌سازی گرادیان
• 46. تکنیک‌های کاهش ارتباطات: Sparsification
• 47. جمع‌آوری گرادیان‌ها و All-Reduce
• 48. استراتژی‌های تقسیم‌بندی داده‌ها
• 49. انتخاب بهینه اندازه بچ (Batch Size) در محیط توزیع شده
• 50. بهینه‌سازی نرخ یادگیری در آموزش توزیع شده
• 51. نقطه بررسی (Checkpointing) و بازیابی
• 52. تشخیص و رسیدگی به خطاهای گره‌ها
• 53. استراتژی‌های مهاجرت وظیفه (Task Migration)
• 54. طراحی معماری مقاوم به خطا برای یادگیری توزیع شده
• 55. سربار محاسباتی و ارتباطی در یادگیری توزیع شده
• 56. مقدمه‌ای بر فریم‌ورک‌های یادگیری توزیع شده
• 57. Apache Spark: معماری و RDD/DataFrame
• 58. Apache Spark MLlib: مروری بر قابلیت‌ها
• 59. یادگیری توزیع شده با TensorFlow: Multi-Worker Mirrored Strategy
• 60. یادگیری توزیع شده با TensorFlow: Custom Training Loop
• 61. PyTorch Distributed: معرفی DDP (DistributedDataParallel)
• 62. PyTorch Distributed: استفاده از DDP برای آموزش
• 63. PyTorch Distributed: مفهوم RPC برای موازی‌سازی مدل
• 64. Horovod: یک فریم‌ورک برای یادگیری عمیق توزیع شده
• 65. نصب و راه‌اندازی Horovod
• 66. بهینه‌سازی Horovod برای عملکرد بالا
• 67. Ray: یک سیستم یونیورسال برای محاسبات موازی و توزیع شده
• 68. Ray Core: مفهوم Actors و Tasks
• 69. Ray Tune برای بهینه‌سازی هایپرپارامتر توزیع شده
• 70. Ray Train برای آموزش توزیع شده
• 71. Dask: محاسبات موازی بومی پایتون
• 72. Dask.array و Dask.dataframe برای داده‌های بزرگ
• 73. ادغام Dask با فریم‌ورک‌های ML
• 74. کانتینر‌سازی (Docker) برای استقرار مدل‌های توزیع شده
• 75. ارکستراسیون کانتینرها با Kubernetes
• 76. استقرار یادگیری توزیع شده بر بستر Kubernetes
• 77. خدمات ابری (AWS, Azure, GCP) برای یادگیری توزیع شده
• 78. استفاده از SageMaker (AWS) برای آموزش توزیع شده
• 79. استفاده از Azure Machine Learning برای آموزش توزیع شده
• 80. استفاده از Google Cloud AI Platform برای آموزش توزیع شده
• 81. یادگیری فدرال (Federated Learning): معرفی و اصول
• 82. چالش‌ها و مزایای یادگیری فدرال
• 83. الگوریتم‌های FedAvg و FedProx
• 84. حریم خصوصی و امنیت در یادگیری فدرال
• 85. یادگیری فدرال ناهمگون (Heterogeneous Federated Learning)
• 86. یادگیری تقویتی توزیع شده (Distributed Reinforcement Learning)
• 87. معماری‌های DR: A3C و Ape-X
• 88. کاربردها و چالش‌های یادگیری تقویتی توزیع شده
• 89. شبکه‌های عصبی گراف (GNNs) در محیط توزیع شده
• 90. تقسیم‌بندی گراف برای آموزش GNNs
• 91. آموزش مدل‌های زبان بزرگ (LLMs) به صورت توزیع شده
• 92. تکنیک‌های موازی‌سازی در آموزش LLMs (Data, Model, Pipeline)
• 93. بهینه‌سازی هایپرپارامتر توزیع شده
• 94. اتوماتیک کردن یادگیری ماشین (AutoML) توزیع شده
• 95. یادگیری توزیع شده در لبه (Edge AI) و اینترنت اشیا (IoT)
• 96. چالش‌ها و فرصت‌های یادگیری در لبه
• 97. نظارت و لاگ‌برداری از سیستم‌های یادگیری توزیع شده
• 98. بهینه‌سازی عملکرد و پروفایلینگ سیستم‌های توزیع شده
• 99. روندهای آینده در یادگیری توزیع شده و HPC
• 100. مطالعه موردی: طراحی یک سیستم یادگیری توزیع شده