فلش‌کارت‌های آموزشی مدیریت موازی‌سازی داده (Data Parallelism)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مدیریت موازی‌سازی داده (Data Parallelism)

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر محاسبات موازی
• 2. مفاهیم کلیدی محاسبات موازی
• 3. ضرورت موازی‌سازی داده
• 4. انواع موازی‌سازی (داده، وظیفه)
• 5. موازی‌سازی داده چیست؟
• 6. معماری‌های کامپیوتری برای HPC
• 7. پردازنده‌های مرکزی (CPU) و واحدهای پردازش گرافیکی (GPU)
• 8. حافظه در سیستم‌های HPC
• 9. شبکه‌های ارتباطی در HPC
• 10. مفهوم موازی‌سازی صریح (Explicit Parallelism)
• 11. موازی‌سازی ضمنی (Implicit Parallelism)
• 12. مدل‌های برنامه‌نویسی موازی
• 13. مدل پیام‌رسانی (Message Passing)
• 14. مدل حافظه اشتراکی (Shared Memory)
• 15. مدل داده موازی (Data Parallelism)
• 16. اصول طراحی الگوریتم‌های موازی
• 17. تجزیه مسئله (Problem Decomposition)
• 18. نگاشت وظایف به پردازنده‌ها (Task Mapping)
• 19. ارتباطات و همگام‌سازی
• 20. توازن بار (Load Balancing)
• 21. هزینه‌های ارتباطات (Communication Overhead)
• 22. هزینه‌های همگام‌سازی (Synchronization Overhead)
• 23. مقدمه‌ای بر OpenMP
• 24. نحو (Syntax) OpenMP
• 25. دستورالعمل‌های OpenMP (Directives)
• 26. #pragma omp parallel
• 27. #pragma omp for
• 28. #pragma omp sections
• 29. #pragma omp single
• 30. #pragma omp critical
• 31. #pragma omp atomic
• 32. #pragma omp barrier
• 33. #pragma omp master
• 34. #pragma omp ordered
• 35. مدیریت تفاوت‌های بین پردازنده‌ها در OpenMP
• 36. مدیریت حافظه در OpenMP
• 37. کاهش هزینه‌های ارتباطی در OpenMP
• 38. بهینه‌سازی حلقه‌ها با OpenMP
• 39. موازی‌سازی توابع با OpenMP
• 40. تشخیص و رفع مشکلات رایج در OpenMP
• 41. مقدمه‌ای بر MPI (Message Passing Interface)
• 42. مفاهیم اولیه MPI
• 43. انواع ارتباطات در MPI (نقطه‌به‌نقطه، جمعی)
• 44. MPI_Init و MPI_Finalize
• 45. MPI_Comm_size و MPI_Comm_rank
• 46. ارتباطات نقطه‌به‌نقطه (Point-to-Point)
• 47. MPI_Send و MPI_Recv
• 48. انواع ارسال (Synchronous, Asynchronous, Buffered)
• 49. ارتباطات جمعی (Collective Communications)
• 50. MPI_Bcast
• 51. MPI_Gather و MPI_Gatherv
• 52. MPI_Scatter و MPI_Scatterv
• 53. MPI_Allgather و MPI_Allgatherv
• 54. MPI_Alltoall
• 55. MPI_Reduce
• 56. MPI_Allreduce
• 57. MPI_Scan
• 58. مدیریت داده‌های توزیع‌شده در MPI
• 59. توازن بار در MPI
• 60. کاهش هزینه‌های ارتباطی در MPI
• 61. الگوریتم‌های موازی مبتنی بر MPI
• 62. کاربرد MPI در حل مسائل علمی
• 63. مقدمه‌ای بر برنامه‌نویسی GPU
• 64. معماری GPU
• 65. هسته‌های CUDA
• 66. اجرای موازی در GPU
• 67. مدل برنامه‌نویسی CUDA
• 68. فضاهای آدرس‌دهی در CUDA
• 69. فضای سراسری (Global Memory)
• 70. فضای اشتراکی (Shared Memory)
• 71. فضای محلی (Local Memory)
• 72. ثابت (Constant Memory)
• 73. فقط خواندنی (Read-Only Texture Memory)
• 74. کرنل‌ها (Kernels) در CUDA
• 75. پرتاب (Launch) کرنل‌ها
• 76. مدیریت نخ‌ها (Threads) و بلوک‌ها (Blocks)
• 77. شبکه‌های پردازشی (Grids)
• 78. همگام‌سازی در GPU
• 79. مدیریت حافظه در GPU
• 80. کپی کردن داده بین CPU و GPU
• 81. بهینه‌سازی کرنل‌های CUDA
• 82. مدیریت حافظه مشترک (Shared Memory)
• 83. کاهش دسترسی به حافظه سراسری
• 84. مدیریت پهنای باند حافظه
• 85. پرهیز از واپیچش warp divergence
• 86. استفاده از دستورالعمل‌های اتمی (Atomic Operations)
• 87. استفاده از توابع سریع (Fast Math Functions)
• 88. مقدمه‌ای بر کتابخانه‌های موازی‌سازی داده
• 89. کتابخانه‌های مبتنی بر OpenMP
• 90. کتابخانه‌های مبتنی بر MPI
• 91. کتابخانه‌های مبتنی بر CUDA
• 92. کتابخانه‌های سطح بالاتر (High-Level Libraries)
• 93. TensorFlow و موازی‌سازی داده
• 94. PyTorch و موازی‌سازی داده
• 95. Dask و موازی‌سازی داده
• 96. Apache Spark و موازی‌سازی داده
• 97. تکنیک‌های پیشرفته در موازی‌سازی داده
• 98. اندازه‌گیری عملکرد (Performance Measurement)
• 99. پروفایلینگ (Profiling) کد موازی
• 100. شناسایی گلوگاه‌ها (Bottlenecks)