دوره فتح قله‌های پردازش موازی: راهنمای جامع برنامه‌نویسی سیستم‌های موازی انبوه (بر اساس PMMP'95) همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره فتح قله‌های پردازش موازی: راهنمای جامع برنامه‌نویسی سیستم‌های موازی انبوه (بر اساس PMMP'95)

موضوع کلی: معماری‌های موازی و مدل‌های برنامه‌نویسی

موضوع میانی: الگوهای برنامه‌نویسی برای سیستم‌های با پردازش موازی گسترده

📋 سرفصل‌های دوره

• 1. مبانی پردازش موازی: تعریف و انگیزه
• 2. تاریخچه مختصری از کامپیوترهای موازی
• 3. انواع معماری‌های پردازش موازی
• 4. دسته‌بندی فلین: SIMD, MIMD, MISD, SISD
• 5. سیستم‌های حافظه مشترک (Shared Memory Systems)
• 6. سیستم‌های حافظه توزیع شده (Distributed Memory Systems)
• 7. سیستم‌های حافظه ترکیبی (Hybrid Memory Systems)
• 8. نکات کلیدی در طراحی معماری‌های موازی
• 9. مفاهیم پردازش موازی گسترده (Massively Parallel Processing - MPP)
• 10. تفاوت بین موازی‌سازی سخت‌افزاری و نرم‌افزاری
• 11. چالش‌های اصلی در برنامه‌نویسی موازی
• 12. مفهوم پردازش توزیع شده (Distributed Computing)
• 13. مفهوم پردازش همزمان (Concurrent Computing)
• 14. مدل‌های برنامه‌نویسی: چرا به مدل‌های جدید نیاز داریم؟
• 15. مفاهیم اصلی مدل‌های برنامه‌نویسی موازی
• 16. مدل ارتباطی (Communication Model)
• 17. مدل اجرایی (Execution Model)
• 18. مدل حافظه (Memory Model)
• 19. انواع مدل‌های ارتباطی: پیام‌رسانی (Message Passing)
• 20. انواع مدل‌های ارتباطی: حافظه مشترک (Shared Memory)
• 21. انواع مدل‌های ارتباطی: مدل انتزاعی (Abstract Models)
• 22. معرفی PVM (Parallel Virtual Machine)
• 23. مفاهیم PVM: فرآیندها، وظایف، گروه‌ها
• 24. عملیات اصلی PVM: ارسال و دریافت پیام
• 25. مثال‌های ساده PVM
• 26. معرفی MPI (Message Passing Interface)
• 27. مفاهیم MPI: ارتباطات Point-to-Point
• 28. ارسال و دریافت سنکرون و غیرسنکرون در MPI
• 29. ارسال و دریافت بلاک‌کننده و غیربلاک‌کننده در MPI
• 30. دستورات اصلی MPI: Send, Recv
• 31. مفهوم Topologies در MPI
• 32. دستورات MPI برای ارتباطات گروهی (Collective Communications)
• 33. MPI_Bcast, MPI_Reduce, MPI_Gather
• 34. MPI_Scatter, MPI_Allgather, MPI_Alltoall
• 35. مدل برنامه‌نویسی مبتنی بر حافظه مشترک: OpenMP
• 36. مفاهیم OpenMP: directives, pragmas
• 37. مثال‌های ساده OpenMP: parallel regions, worksharing
• 38. کار با حلقه‌ها در OpenMP: for, sections
• 39. مدیریت داده‌ها در OpenMP: private, shared, reduction
• 40. مفاهیم قفل‌گذاری (Locking) و همگام‌سازی (Synchronization) در OpenMP
• 41. کلاس‌های حافظه در OpenMP
• 42. مدل برنامه‌نویسی مبتنی بر حافظه مشترک: POSIX Threads (pthreads)
• 43. مفاهیم pthreads: thread creation, termination
• 44. مدیریت داده‌ها در pthreads: shared, thread-local
• 45. مکانیسم‌های همگام‌سازی در pthreads: mutexes, semaphores, condition variables
• 46. کار با حلقه‌ها در pthreads
• 47. مقایسه OpenMP و pthreads
• 48. مدل‌های برنامه‌نویسی مبتنی بر ارتباط و انتقال داده (Data-Parallelism)
• 49. مفهوم Data-Parallelism
• 50. موازی‌سازی از طریق تقسیم داده (Data Decomposition)
• 51. استراتژی‌های تقسیم داده: Block, Cyclic, Random
• 52. چالش‌های تقسیم داده و تعادل بار (Load Balancing)
• 53. تعریف و اهمیت Load Balancing
• 54. تکنیک‌های Load Balancing ایستا (Static)
• 55. تکنیک‌های Load Balancing پویا (Dynamic)
• 56. الگوهای برنامه‌نویسی برای پردازش موازی گسترده
• 57. الگوی MapReduce
• 58. مفاهیم MapReduce: Map function, Reduce function
• 59. مثال‌های MapReduce
• 60. معرفی Hadoop و Spark به عنوان پیاده‌سازی‌های MapReduce
• 61. الگوی Parallel Algorithm Design
• 62. مفهوم طراحی الگوریتم‌های موازی
• 63. تکنیک‌های Divide and Conquer در طراحی موازی
• 64. تکنیک‌های Dynamic Programming در طراحی موازی
• 65. تکنیک‌های Greedy در طراحی موازی
• 66. الگوهای ساختاری (Structural Patterns)
• 67. الگوی Master-Worker
• 68. الگوی Pipeline
• 69. الگوی Farm
• 70. الگوهای داده‌محور (Data-Centric Patterns)
• 71. الگوی Recursive Data Structures
• 72. الگوی Iterative Data Structures
• 73. الگوی Graph Processing
• 74. الگوی Sparse Matrix Operations
• 75. الگوهای مرتبط با محاسبات علمی و مهندسی
• 76. شبیه‌سازی‌های عددی موازی
• 77. حل معادلات دیفرانسیل موازی
• 78. پردازش تصویر موازی
• 79. یادگیری ماشین موازی
• 80. پردازش زبان طبیعی موازی
• 81. الگوهای مرتبط با محاسبات توزیع شده در مقیاس بزرگ
• 82. پردازش داده‌های بزرگ (Big Data Processing)
• 83. سیستم‌های NoSQL و پردازش موازی
• 84. شبکه‌های اجتماعی و تحلیل داده‌های موازی
• 85. اینترنت اشیاء (IoT) و پردازش لبه (Edge Computing)
• 86. مدل‌های برنامه‌نویسی مبتنی بر شئ (Object-Oriented Models)
• 87. موازی‌سازی در زبان‌های برنامه‌نویسی شی‌گرا
• 88. مفاهیم Actor Model
• 89. مدل CSP (Communicating Sequential Processes)
• 90. مدل Erlang
• 91. کتابخانه‌ها و فریم‌ورک‌های پیشرفته موازی
• 92. معرفی CUDA برای پردازش روی GPU
• 93. مفاهیم CUDA: kernels, threads, blocks, grids
• 94. مدیریت حافظه در CUDA
• 95. معرفی OpenCL
• 96. مقایسه CUDA و OpenCL
• 97. دیباگینگ و پروفایلینگ برنامه‌های موازی
• 98. چالش‌های دیباگینگ در محیط‌های موازی
• 99. تکنیک‌های پروفایلینگ برای شناسایی گلوگاه‌ها
• 100. ابزارهای کمکی برای دیباگینگ و پروفایلینگ