فلش‌کارت‌های آموزشی مقدمه‌ای بر یادگیری عمیق (Deep Learning) برای HPC

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مقدمه‌ای بر یادگیری عمیق (Deep Learning) برای HPC

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مبانی ریاضی و پیش‌نیازها
• 2. جبر خطی برای یادگیری عمیق
• 3. محاسبات ماتریسی و برداری
• 4. ضرب ماتریس و کاربردهای آن
• 5. مقادیر ویژه و بردارهای ویژه
• 6. آمار و احتمال برای یادگیری عمیق
• 7. توزیع‌های احتمالاتی و آماری
• 8. قضیه بیز و کاربردهای آن
• 9. تابع‌های چگالی احتمال و توابع توزیع تجمعی
• 10. حسابان برای یادگیری عمیق
• 11. مشتق و گرادیان
• 12. قاعده زنجیره‌ای و مشتق‌گیری در شبکه‌های عصبی
• 13. بهینه‌سازی و روش‌های بهینه‌سازی
• 14. مفاهیم اولیه یادگیری عمیق
• 15. معرفی یادگیری عمیق و تاریخچه آن
• 16. شبکه‌های عصبی مصنوعی (ANNs)
• 17. توابع فعال‌سازی (Activation Functions)
• 18. معرفی TensorFlow و PyTorch
• 19. نصب و راه‌اندازی TensorFlow و PyTorch
• 20. مقدمه‌ای بر GPU و CUDA
• 21. آشنایی با سخت‌افزار HPC و GPU
• 22. مبانی HPC
• 23. معماری‌های پردازش موازی
• 24. مفاهیم کلیدی در HPC: MPI, OpenMP
• 25. بهینه‌سازی کد برای HPC
• 26. نصب و پیکربندی محیط HPC
• 27. مقدمه‌ای بر شبکه‌های عصبی پیش‌خور (Feedforward Neural Networks)
• 28. لایه ورودی، پنهان و خروجی
• 29. انتشار رو به جلو (Forward Propagation)
• 30. انتشار رو به عقب (Backward Propagation)
• 31. بهینه‌سازی گرادیان کاهشی (Gradient Descent)
• 32. انواع مختلف گرادیان کاهشی (SGD, Adam, ...)
• 33. شبکه‌های عصبی عمیق
• 34. مشکل گرادیان‌های ناپدیدشونده و منفجره
• 35. راه‌حل‌ها: ReLU, Batch Normalization
• 36. نرمال‌سازی وزن‌ها و Dropout
• 37. انتخاب معماری مناسب
• 38. شبکه‌های عصبی کانولوشنی (CNNs)
• 39. عملکرد کانولوشن
• 40. لایه Pooling
• 41. معماری‌های CNN (LeNet, AlexNet, VGG, ...)
• 42. کاربرد CNN در پردازش تصویر
• 43. شبکه‌های عصبی بازگشتی (RNNs)
• 44. مفهوم حافظه در RNN
• 45. انواع RNN (LSTM, GRU)
• 46. کاربرد RNN در پردازش زبان طبیعی
• 47. توابع زیان (Loss Functions)
• 48. معیارهای ارزیابی (Metrics)
• 49. اعتبارسنجی و تست مدل
• 50. Overfitting و Underfitting
• 51. تنظیم ابرپارامترها (Hyperparameter Tuning)
• 52. مدل‌سازی و آموزش در TensorFlow و PyTorch
• 53. پیاده‌سازی یک شبکه عصبی ساده
• 54. بارگذاری و پیش‌پردازش داده‌ها
• 55. آموزش، اعتبارسنجی و تست مدل
• 56. استفاده از مدل‌های پیش‌آموزش‌داده‌شده (Transfer Learning)
• 57. بهره‌گیری از GPU در TensorFlow و PyTorch
• 58. پردازش موازی داده‌ها
• 59. بهینه‌سازی محاسبات GPU
• 60. مقایسه TensorFlow و PyTorch در HPC
• 61. مفاهیم پیشرفته در یادگیری عمیق
• 62. پردازش زبان طبیعی (NLP) و کاربردهای آن
• 63. Embeddingها
• 64. مدل‌های Transformer
• 65. شبکه‌های تولیدی (Generative Models)
• 66. GANها و انواع آن‌ها
• 67. Autoencoders
• 68. یادگیری تقویتی (Reinforcement Learning)
• 69. مقدمه‌ای بر RL
• 70. الگوریتم‌های RL
• 71. یادگیری عمیق در HPC
• 72. مقیاس‌پذیری و توزیع‌شده کردن آموزش
• 73. آموزش مدل‌های بزرگ (Large Model Training)
• 74. استفاده از کتابخانه‌های MPI در TensorFlow و PyTorch
• 75. کتابخانه‌های HPC برای یادگیری عمیق (Horovod, ...)
• 76. مدیریت حافظه در HPC
• 77. بهینه‌سازی IO و بارگذاری داده‌ها
• 78. استفاده از سخت‌افزارهای تخصصی (TPUs, ...)
• 79. ابزارهای مانیتورینگ و پروفایلینگ
• 80. اشکال‌زدایی در محیط HPC
• 81. بهینه‌سازی کد برای عملکرد HPC
• 82. استفاده از کانتینرها (Docker, Singularity)
• 83. آماده‌سازی داده‌ها برای HPC
• 84. راه‌حل‌های ذخیره‌سازی برای داده‌های بزرگ
• 85. آشنایی با فریم‌ورک‌های HPC-aware
• 86. چارچوب‌های یادگیری عمیق توزیع‌شده
• 87. انتخاب زیرساخت مناسب
• 88. ارزیابی عملکرد مدل
• 89. چالش‌های یادگیری عمیق در HPC
• 90. مسائل مربوط به حافظه و پهنای باند
• 91. همگام‌سازی و ارتباطات بین پردازنده‌ها
• 92. مدیریت خطا و تحمل خطا
• 93. امنیت در یادگیری عمیق
• 94. آینده یادگیری عمیق در HPC
• 95. روندها و نوآوری‌ها
• 96. کاربردهای جدید
• 97. تحقیقات آتی
• 98. منابع آموزشی تکمیلی
• 99. کتابخانه‌ها و ابزارهای مفید
• 100. مقاله‌های تحقیقاتی کلیدی