کتاب صوتی Using Advanced MPI: راهنمای عملی برای بهینه سازی برنامه های موازی با MPI

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Using Advanced MPI: راهنمای عملی برای بهینه سازی برنامه های موازی با MPI

موضوع کلی: برنامه نویسی موازی

موضوع میانی: مبانی و تکنیک های پیشرفته MPI

📋 سرفصل‌های دوره

• 1. مقدمه ای بر برنامه نویسی موازی و MPI
• 2. مروری بر مفاهیم اصلی MPI: ارتباطات فرآیندها
• 3. راه اندازی محیط MPI و اولین برنامه
• 4. مدیریت منابع MPI: `MPI_Init` و `MPI_Finalize`
• 5. شناسایی فرآیندها: `MPI_Comm_size` و `MPI_Comm_rank`
• 6. ارتباط نقطه به نقطه پایه: `MPI_Send` و `MPI_Recv`
• 7. بلوک بندی و همگام سازی در MPI
• 8. ارتباطات غیربلوک‌کننده (Non-blocking): `MPI_Isend` و `MPI_Irecv`
• 9. کنترل پیشرفت ارتباطات غیربلوک‌کننده: `MPI_Wait` و `MPI_Test`
• 10. `MPI_Waitall`, `MPI_Waitsome`, `MPI_Testall`, `MPI_Testsome`
• 11. ارتباطات پایدار (Persistent): `MPI_Send_init` و `MPI_Recv_init`
• 12. مزایا و معایب ارتباطات پایدار
• 13. ارتباطات آماده (Ready-Mode): `MPI_Rsend`
• 14. بافرهای فرستنده و گیرنده: مکانیسم‌های کپی
• 15. ارتباطات همگام (Synchronous): `MPI_Ssend`
• 16. ارتباطات بافری (Buffered): `MPI_Bsend` و `MPI_Buffer_attach`
• 17. انتخاب حالت ارتباطی مناسب برای کارایی
• 18. مدیریت خطاهای ارتباطی نقطه به نقطه
• 19. مروری بر عملیات جمعی (Collective)
• 20. `MPI_Bcast`: بهینه سازی توزیع داده
• 21. `MPI_Reduce`: بهینه سازی کاهش داده
• 22. `MPI_Allreduce`: کاهش سراسری و توزیع نتایج
• 23. `MPI_Scatter` و `MPI_Gather`: توزیع و جمع آوری بلوکی
• 24. `MPI_Allgather` و `MPI_Allgatherv`: جمع آوری سراسری با اندازه های متغیر
• 25. `MPI_Scan` و `MPI_Exscan`: عملیات پیشوندی
• 26. عملیات جمعی ورودی-خروجی (MPI_Alltoall, MPI_Alltoallv)
• 27. ایجاد عملگرهای کاهش سفارشی (User-defined Reductions): `MPI_Op_create`
• 28. عملیات جمعی غیربلوک‌کننده (Non-blocking Collectives): `MPI_Ibcast`, `MPI_Ireduce`
• 29. `MPI_Iallreduce`, `MPI_Iscatter`, `MPI_Igather`
• 30. پیاده سازی الگوریتم های موازی با عملیات جمعی پیشرفته
• 31. بهینه سازی و انتخاب الگوریتم برای عملیات جمعی
• 32. عملیات جمعی همسایگی (Neighborhood Collectives): `MPI_Neighbor_alltoall`
• 33. گراف های توزیعی (Distributed Graphs) برای عملیات همسایگی
• 34. کارایی عملیات جمعی بر روی معماری های مختلف
• 35. ضرورت استفاده از انواع داده مشتق شده (Derived Datatypes)
• 36. `MPI_Type_contiguous`: بلوک‌های متوالی
• 37. `MPI_Type_vector`: بلوک‌های با گام (stride)
• 38. `MPI_Type_indexed`: بلوک‌های نامنظم
• 39. `MPI_Type_create_struct`: ساختارهای ناهمگن
• 40. `MPI_Type_create_hindexed`, `MPI_Type_create_hvector`
• 41. تنظیم Offset حافظه با `MPI_Get_address` و `MPI_Aint`
• 42. تایید و کامیت (Commit) انواع داده مشتق شده: `MPI_Type_commit`
• 43. کاربردهای پیشرفته انواع داده مشتق شده در انتقال ماتریس‌ها
• 44. انواع داده مشتق شده برای Sparse Matrix
• 45. بسته بندی و باز کردن داده‌ها (Packing/Unpacking): `MPI_Pack`, `MPI_Unpack`
• 46. استفاده از انواع داده مشتق شده برای افزایش کارایی ارتباطات
• 47. مدیریت حافظه و انواع داده مشتق شده
• 48. مفاهیم پیشرفته ارتباط‌گرها (Communicators)
• 49. گروه‌های فرآیند (Process Groups): `MPI_Group_incl`, `MPI_Group_excl`
• 50. ایجاد ارتباط‌گرهای جدید: `MPI_Comm_create`
• 51. تقسیم ارتباط‌گرها: `MPI_Comm_split`
• 52. ارتباط‌گرهای داخلی (Intra-communicators) و بین-ارتباط‌گرها (Inter-communicators)
• 53. ارتباطات بین گروه‌های مختلف فرآیند
• 54. ارتباط‌گرهای مجازی (Virtual Communicators)
• 55. پاکسازی ارتباط‌گرها و گروه‌ها: `MPI_Comm_free`, `MPI_Group_free`
• 56. استفاده از ارتباط‌گرها برای ماژولار سازی کد MPI
• 57. مفهوم توپولوژی‌های فرآیند (Process Topologies)
• 58. توپولوژی دکارتی (Cartesian): `MPI_Cart_create`
• 59. پیدا کردن همسایه‌ها در توپولوژی دکارتی: `MPI_Cart_shift`, `MPI_Cart_coords`
• 60. توپولوژی گراف (Graph): `MPI_Graph_create`
• 61. نگاشت فرآیندها به سخت‌افزار (Process Mapping)
• 62. مزایای استفاده از توپولوژی‌ها برای بهبود کارایی
• 63. ایجاد توپولوژی‌های سفارشی (User-defined Topologies)
• 64. مثال‌های کاربردی از توپولوژی‌ها در شبکه‌های مش و هایپرفن
• 65. معرفی ارتباطات یک طرفه (One-Sided Communication) یا RMA
• 66. مدل حافظه پنجره‌ای (Window Memory Model)
• 67. ایجاد پنجره‌ها: `MPI_Win_create`
• 68. قرار دادن داده (Put): `MPI_Put`
• 69. دریافت داده (Get): `MPI_Get`
• 70. انباشت داده (Accumulate): `MPI_Accumulate`
• 71. عملیات اتمی در RMA: `MPI_Compare_and_swap`, `MPI_Fetch_and_op`
• 72. همگام سازی در RMA: Fence (`MPI_Win_fence`)
• 73. همگام سازی با Post/Start/Wait/Complete
• 74. همگام سازی با قفل‌ها (Locks): `MPI_Win_lock`, `MPI_Win_unlock`
• 75. مدل‌های همگام سازی فعال و غیرفعال (Active vs. Passive Target)
• 76. انتخاب روش همگام سازی مناسب برای RMA
• 77. پیاده سازی الگوریتم های بدون قفل (Lock-Free) با RMA
• 78. RMA و مسائل مربوط به همزمانی حافظه
• 79. مفاهیم پایه ورودی/خروجی موازی (Parallel I/O)
• 80. باز کردن و بستن فایل‌ها: `MPI_File_open`, `MPI_File_close`
• 81. نوشتن و خواندن داده: `MPI_File_write`, `MPI_File_read`
• 82. ورودی/خروجی جمعی (Collective I/O): `MPI_File_write_all`, `MPI_File_read_all`
• 83. استفاده از view ها برای دسترسی به زیرمجموعه‌های داده: `MPI_File_set_view`
• 84. مکانیزم Data Sieving (الک داده)
• 85. مدیریت آفست‌ها (Offsets) و مکان‌نماها (Pointers) در MPI I/O
• 86. استراتژی‌های بهینه سازی MPI I/O برای دیسک‌های موازی
• 87. مقایسه MPI I/O با مدل‌های دیگر I/O (مثلاً POSIX I/O)
• 88. طراحی ساختارهای داده برای ذخیره سازی موازی
• 89. برنامه نویسی هیبریدی: MPI + OpenMP
• 90. سطوح پشتیبانی از رشته در MPI: `MPI_Init_thread`
• 91. `MPI_THREAD_SINGLE`, `MPI_THREAD_FUNNELED`, `MPI_THREAD_SERIALIZED`, `MPI_THREAD_MULTIPLE`
• 92. ملاحظات Thread Safety در توابع MPI
• 93. برنامه نویسی هیبریدی: MPI + GPU (CUDA/OpenACC)
• 94. MPI GPU-aware: ارسال/دریافت مستقیم داده‌های GPU
• 95. MPI Sessions (MPI-4): مدیریت منابع پیشرفته
• 96. MPI Partitioning (MPI-4): کنترل دقیق بر تخصیص فرآیندها
• 97. قابلیت اطمینان و تحمل خطا (Fault Tolerance) در MPI
• 98. دیباگینگ و پروفایلینگ برنامه های MPI (با ابزارهایی مانند Score-P, Vampir, DDT)
• 99. بهترین روش‌ها برای طراحی و بهینه سازی برنامه های MPI مقیاس‌پذیر
• 100. روندها و آینده MPI: چالش‌ها و فرصت‌ها