فلش‌کارت‌های آموزشی مقدمه‌ای بر محاسبات با توان بالا در شبکه‌های عصبی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مقدمه‌ای بر محاسبات با توان بالا در شبکه‌های عصبی

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مبانی محاسبات و معماری
• 2. معرفی دوره و تاریخچه محاسبات با توان بالا
• 3. مرور مفاهیم پایه برنامه نویسی و الگوریتم
• 4. آشنایی با سخت‌افزار کامپیوتر: CPU، GPU، حافظه
• 5. ساختارهای داده و الگوریتم‌های پرکاربرد
• 6. آشنایی با سیستم‌عامل‌های توزیع‌شده
• 7. مفاهیم اولیه شبکه‌های کامپیوتری
• 8. معرفی شبکه‌های عصبی و کاربردهای آن‌ها
• 9. مقدمه‌ای بر کتابخانه‌های محاسبات موازی
• 10. نصب و راه‌اندازی محیط توسعه (Python, CUDA)
• 11. آشنایی با CUDA و معماری GPU
• 12. اولین گام‌ها در برنامه‌نویسی CUDA: Kernel ها
• 13. مدیریت حافظه در GPU: انتقال داده
• 14. بهینه‌سازی کدهای CUDA: حافظه مشترک، بلاک‌ها
• 15. آشنایی با cuDNN و کتابخانه‌های عمیق‌ یادگیری
• 16. پیاده‌سازی یک شبکه عصبی ساده در CUDA
• 17. مقدمه‌ای بر کتابخانه TensorFlow
• 18. نصب و راه‌اندازی TensorFlow با پشتیبانی GPU
• 19. مدل‌های پایه در TensorFlow: لایه‌ها، توابع فعال‌سازی
• 20. آموزش مدل‌های ساده در TensorFlow
• 21. آشنایی با کتابخانه PyTorch
• 22. نصب و راه‌اندازی PyTorch با پشتیبانی GPU
• 23. ساختارهای داده در PyTorch: Tensors
• 24. ساخت و آموزش یک شبکه عصبی ساده در PyTorch
• 25. مقایسه TensorFlow و PyTorch: مزایا و معایب
• 26. مقدمه‌ای بر مفاهیم موازی‌سازی
• 27. آشنایی با MPI (Message Passing Interface)
• 28. پیاده‌سازی موازی‌سازی با MPI
• 29. آشنایی با OpenMP
• 30. موازی‌سازی با OpenMP در شبکه‌های عصبی
• 31. مقایسه MPI و OpenMP
• 32. آشنایی با معماری‌های توزیع‌شده
• 33. مقدمه‌ای بر Hadoop و Spark
• 34. پردازش داده‌های بزرگ با Spark
• 35. کاربرد Spark در شبکه‌های عصبی
• 36. آشنایی با چارچوب‌های محاسباتی توزیع‌شده
• 37. معرفی Kubernetes و Docker
• 38. استفاده از Docker برای استقرار شبکه‌های عصبی
• 39. بهینه‌سازی شبکه‌های عصبی برای GPU
• 40. استفاده از نیم‌دقت (Half-precision)
• 41. تکنیک‌های Quantization
• 42. طراحی شبکه‌های عصبی با حجم کم
• 43. روش‌های بهینه‌سازی مدل: Adam، SGD
• 44. مدیریت حافظه در شبکه‌های عصبی بزرگ
• 45. بارگذاری داده‌ها به صورت موازی
• 46. بهینه‌سازی داده‌ها برای GPU
• 47. استفاده از ابزارهای Profiling
• 48. شناسایی گلوگاه‌های محاسباتی
• 49. تقسیم‌بندی داده‌ها برای آموزش موازی
• 50. آموزش مدل در چندین GPU
• 51. آموزش مدل در چندین سرور
• 52. بهینه‌سازی ارتباطات بین پردازنده‌ها
• 53. آشنایی با Parallel Computing
• 54. مقدمه‌ای بر High-Performance Computing
• 55. آشنایی با HPC Cluster
• 56. مروری بر انواع شبکه‌های کامپیوتری در HPC
• 57. آشنایی با سیستم‌فایل‌های توزیع‌شده (GPFS, Lustre)
• 58. استفاده از Slurm برای مدیریت منابع
• 59. اجرای برنامه‌های TensorFlow و PyTorch در HPC
• 60. بهینه‌سازی برای انواع معماری‌های GPU
• 61. آشنایی با Tensor Cores
• 62. استفاده از Tensor Cores در شبکه‌های عصبی
• 63. آموزش شبکه‌های عصبی با مقیاس بزرگ
• 64. مفاهیم Deep Learning
• 65. مروری بر انواع شبکه‌های عصبی (CNN, RNN, Transformers)
• 66. معرفی شبکه‌های عصبی کانولوشنی (CNN)
• 67. ساخت و آموزش CNN در CUDA/TensorFlow/PyTorch
• 68. شبکه‌های عصبی بازگشتی (RNN)
• 69. آشنایی با معماری Transformer
• 70. پیاده‌سازی Transformer در TensorFlow/PyTorch
• 71. بهره‌گیری از مدل‌های از پیش آموزش‌دیده (Pre-trained Models)
• 72. انتقال یادگیری (Transfer Learning)
• 73. یادگیری فدرال (Federated Learning)
• 74. خودروهای خودران و کاربرد شبکه‌های عصبی
• 75. پردازش زبان طبیعی (NLP) و شبکه‌های عصبی
• 76. بینایی کامپیوتر (Computer Vision) و شبکه‌های عصبی
• 77. شبکه‌های عصبی مولد (GANs)
• 78. آشنایی با کتابخانه‌های تخصصی HPC
• 79. مقدمه‌ای بر Ray
• 80. استفاده از Ray برای محاسبات توزیع‌شده
• 81. بهینه‌سازی Ray برای شبکه‌های عصبی
• 82. معرفی Horovod
• 83. استفاده از Horovod برای آموزش توزیع‌شده
• 84. بهینه‌سازی Horovod
• 85. ارزیابی و اعتبارسنجی مدل
• 86. آشنایی با روش‌های Regularization
• 87. بررسی مشکلات Overfitting و Underfitting
• 88. روش‌های اعتبارسنجی متقابل (Cross-Validation)
• 89. متریک‌های ارزیابی عملکرد
• 90. تجسم نتایج و تحلیل خطاها
• 91. آشنایی با ابزارهای تجسم
• 92. کاربرد ابزارهای تجسم در تحلیل مدل
• 93. آینده محاسبات با توان بالا و شبکه‌های عصبی
• 94. روندها و چالش‌های آینده
• 95. اخلاق و مسئولیت‌پذیری در هوش مصنوعی
• 96. منابع و مراجع (کتاب‌ها، مقالات، وبسایت‌ها)
• 97. جمع‌بندی و مرور دوره
• 98. جلسه پرسش و پاسخ
• 99. معرفی پروژه‌های عملی
• 100. پیشنهاد مسیرهای یادگیری بعدی