فلش‌کارت‌های آموزشی مقدمه‌ای بر الگوریتم‌های توزیع‌شده در شبکه‌های عصبی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مقدمه‌ای بر الگوریتم‌های توزیع‌شده در شبکه‌های عصبی

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مبانی شبکه‌های عصبی
• 2. مروری بر جبر خطی
• 3. مروری بر حسابان
• 4. آشنایی با احتمالات و آمار
• 5. مفاهیم اساسی در بهینه‌سازی
• 6. معرفی Python و کتابخانه‌های ضروری (NumPy, SciPy, Matplotlib)
• 7. مقدمه‌ای بر PyTorch
• 8. مقدمه‌ای بر TensorFlow
• 9. معرفی شبکه‌های عصبی پیش‌خور
• 10. توابع فعال‌سازی: Sigmoid, ReLU, Tanh
• 11. آموزش شبکه‌های عصبی با استفاده از پس‌انتشار
• 12. بهینه‌سازی گرادیان کاهشی
• 13. مروری بر انواع داده‌ها و ساختارهای داده
• 14. دستکاری داده‌ها با Pandas
• 15. پیش‌پردازش داده‌ها (نرمال‌سازی، مقیاس‌گذاری)
• 16. اعتبارسنجی داده‌ها (تقسیم داده‌ها، اعتبارسنجی متقابل)
• 17. نظارت بر آموزش و اعتبارسنجی
• 18. شبکه‌های عصبی کانولوشنال (CNNs)
• 19. کاربرد CNN ها در پردازش تصویر
• 20. شبکه‌های عصبی بازگشتی (RNNs)
• 21. کاربرد RNN ها در پردازش زبان طبیعی
• 22. مقدمه‌ای بر مدل‌های زبان
• 23. معرفی شبکه‌های عصبی عمیق
• 24. مقدمه‌ای بر تنسورها
• 25. دستگاه‌های پردازش گرافیکی (GPUs) و محاسبات موازی
• 26. معرفی معماری CUDA
• 27. نصب و راه‌اندازی CUDA و cuDNN
• 28. مدیریت حافظه در GPU
• 29. بهینه‌سازی کد برای GPU
• 30. شبیه‌سازی موازی با استفاده از PyTorch و CUDA
• 31. شبیه‌سازی موازی با استفاده از TensorFlow و CUDA
• 32. معرفی محاسبات توزیع‌شده
• 33. معماری‌های محاسبات توزیع‌شده (CPU/GPU)
• 34. مفاهیم اساسی در MPI (Message Passing Interface)
• 35. نصب و راه‌اندازی MPI
• 36. برنامه‌نویسی MPI در Python
• 37. معرفی کتابخانه Dask
• 38. برنامه‌نویسی موازی با Dask
• 39. معرفی کتابخانه Ray
• 40. برنامه‌نویسی موازی با Ray
• 41. مفاهیم اساسی در همگام‌سازی
• 42. قفل‌ها و متغیرهای شرطی
• 43. مدیریت حافظه مشترک
• 44. مقدمه‌ای بر شبکه‌های عصبی توزیع‌شده
• 45. معماری‌های شبکه‌های عصبی توزیع‌شده (Data Parallel, Model Parallel)
• 46. آموزش Data Parallel
• 47. آموزش Model Parallel
• 48. آشنایی با کتابخانه Horovod
• 49. توزیع آموزش با Horovod
• 50. معرفی سیستم‌های مدیریت خوشه (Slurm, PBS)
• 51. استفاده از سیستم‌های مدیریت خوشه برای آموزش شبکه‌های عصبی
• 52. بهینه‌سازی ارتباطات بین پردازشگرها
• 53. کاهش سربار ارتباطات
• 54. استراتژی‌های انتقال داده‌ها
• 55. مقدمه‌ای بر استراتژی‌های بهینه‌سازی (Adam, RMSprop)
• 56. تنظیم هایپرپارامترها
• 57. آموزش فدراسیونی (Federated Learning)
• 58. محاسبات فدراسیونی: مفاهیم و چالش‌ها
• 59. معماری‌های محاسبات فدراسیونی
• 60. تکنیک‌های حریم خصوصی در آموزش فدراسیونی
• 61. آموزش فدراسیونی در عمل
• 62. مروری بر مفهوم Fault Tolerance
• 63. پیاده‌سازی تحمل خطا در شبکه‌های عصبی توزیع‌شده
• 64. نظارت و ثبت وقایع در شبکه‌های عصبی توزیع‌شده
• 65. اشکال‌زدایی در محیط‌های محاسبات توزیع‌شده
• 66. چالش‌های محاسباتی در HPC
• 67. چالش‌های ذخیره‌سازی در HPC
• 68. مقدمه‌ای بر شبکه‌های عصبی بزرگ
• 69. مدل‌های بزرگ زبان
• 70. آموزش مدل‌های بزرگ در محیط‌های توزیع‌شده
• 71. بهینه‌سازی مدل‌های بزرگ
• 72. تکنیک‌های کمّی‌سازی
• 73. تکنیک‌های برش (Pruning)
• 74. تکنیک‌های دانش‌آموزی (Knowledge Distillation)
• 75. ساختارهای داده‌ای سفارشی
• 76. الگوریتم‌های توزیع‌شده: انتخاب رهبر
• 77. الگوریتم‌های توزیع‌شده: توافق
• 78. استفاده از کتابخانه‌های محاسباتی توزیع‌شده (DeepSpeed, Megatron)
• 79. بهینه‌سازی حافظه برای مدل‌های بزرگ
• 80. استفاده از حافظه خارج از هسته
• 81. مدل‌های ترکیبی CPU/GPU
• 82. الگوریتم‌های موازی برای شبکه‌های عصبی پیچیده
• 83. استفاده از معماری‌های جدید (TPUs, NPUs)
• 84. ارزیابی عملکرد در HPC
• 85. اندازه‌گیری مقیاس‌پذیری
• 86. تجزیه و تحلیل تنگناها
• 87. آشنایی با پروفایلرهای HPC
• 88. بهینه‌سازی کد برای سرعت
• 89. بهینه‌سازی کد برای مصرف انرژی
• 90. معرفی ابزارهای تجسم
• 91. تجسم داده‌ها و نتایج
• 92. ابزارهای ردیابی و نظارت
• 93. معرفی چارچوب‌های محاسبات گرید
• 94. مقدمه‌ای بر cloud computing
• 95. آموزش شبکه‌های عصبی در فضای ابری (AWS, Google Cloud, Azure)
• 96. استفاده از کانتینرها (Docker, Singularity)
• 97. آموزش شبکه‌های عصبی با استفاده از Kubernetes
• 98. مدیریت منابع در محیط‌های ابری
• 99. امنیت در محاسبات توزیع‌شده
• 100. اخلاقیات هوش مصنوعی