فلش‌کارت‌های آموزشی موازی‌سازی با پردازشگرهای چند هسته‌ای (Multiprocessing) در پایتون

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره موازی‌سازی با پردازشگرهای چند هسته‌ای (Multiprocessing) در پایتون

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر محاسبات با کارایی بالا (HPC)
• 2. چرا به موازی‌سازی نیاز داریم؟
• 3. انواع موازی‌سازی: Shared Memory و Distributed Memory
• 4. مبانی کارایی کد در پایتون
• 5. اندازه‌گیری زمان اجرای کد با ماژول `time`
• 6. مفاهیم پردازش همزمان (Concurrency) و موازی (Parallelism)
• 7. تفاوت Concurrency و Parallelism در پایتون
• 8. محدودیت‌های Global Interpreter Lock (GIL) در پایتون
• 9. GIL چگونه بر اجرای کد موازی تأثیر می‌گذارد؟
• 10. آشنایی با ماژول `threading` برای پردازش همزمان
• 11. ایجاد و مدیریت Threadها در پایتون
• 12. مشکلات دسترسی همزمان به منابع در Threadها
• 13. آشنایی با ماژول `multiprocessing` در پایتون
• 14. تفاوت Process و Thread
• 15. مزایای استفاده از Processها برای موازی‌سازی واقعی
• 16. ایجاد یک Process جدید با کلاس `Process`
• 17. شروع، توقف و خاتمه دادن به Processها
• 18. بررسی وضعیت Processها و PID آنها
• 19. آرگومان‌ها و تابع هدف Processها
• 20. Processهای Daemon: کارایی و محدودیت‌ها
• 21. مدیریت Processهای چندگانه
• 22. ارتباط بین پردازش‌ها (IPC): معرفی
• 23. استفاده از `Queue` برای IPC
• 24. الگوی Producer-Consumer با `Queue`
• 25. استفاده از `Pipe` برای ارتباط یک‌به‌یک
• 26. ارسال و دریافت پیام از طریق `Pipe`
• 27. همگام‌سازی (Synchronization) در موازی‌سازی: معرفی
• 28. `Lock`ها برای حفاظت از منابع مشترک
• 29. مثال عملی استفاده از `Lock`
• 30. `RLock` برای Lockهای بازگشتی
• 31. `Semaphore` برای کنترل دسترسی به منابع محدود
• 32. `BoundedSemaphore`
• 33. `Event` برای سیگنال‌دهی بین Processها
• 34. `Barrier` برای همگام‌سازی چند Process
• 35. بن‌بست (Deadlock): تعریف و علل
• 36. روش‌های پیشگیری و تشخیص بن‌بست
• 37. شرایط Race (Race Condition): تعریف و خطرات
• 38. چگونه از Race Conditionها جلوگیری کنیم؟
• 39. اشتراک‌گذاری داده‌ها بین Processها
• 40. استفاده از `Value` برای اشتراک‌گذاری یک مقدار
• 41. استفاده از `Array` برای اشتراک‌گذاری آرایه‌های عددی
• 42. `Manager`ها برای اشتراک‌گذاری اشیاء پیچیده‌تر
• 43. ایجاد اشیاء مشترک با `Manager` (لیست، دیکشنری، و غیره)
• 44. `Namespace` با `Manager`
• 45. Pool Processها: معرفی
• 46. کلاس `Pool` در ماژول `multiprocessing`
• 47. متد `map` در Pool Processها
• 48. متد `starmap` برای توابع با چندین آرگومان
• 49. متد `apply` برای اجرای یک تابع
• 50. متد `apply_async` برای اجرای ناهمزمان
• 51. متد `map_async` برای اجرای ناهمزمان با Pool
• 52. دریافت نتایج ناهمزمان با `AsyncResult`
• 53. مدیریت Context برای Pool Processها
• 54. خاتمه دادن به Pool و بستن آن
• 55. بررسی خطاها و استثناها در Pool Processها
• 56. استراتژی‌های تقسیم کار (Workload Distribution)
• 57. الگوی MapReduce با Pool Processها
• 58. الگوی Producer-Consumer با `multiprocessing`
• 59. `ProcessPoolExecutor` در `concurrent.futures`
• 60. مزایای استفاده از `ProcessPoolExecutor`
• 61. اجرای تابع با `submit` در `ProcessPoolExecutor`
• 62. دریافت نتایج با `Future` و `as_completed`
• 63. `ProcessPoolExecutor` و مدیریت منابع
• 64. مقایسه `Pool` و `ProcessPoolExecutor`
• 65. اندازه‌گیری کارایی و پروفایلینگ کد موازی
• 66. استفاده از `cProfile` برای پروفایلینگ Processها
• 67. ابزارهای بصری‌سازی پروفایلینگ (مثلاً `snakeviz`)
• 68. معیارهای کارایی در HPC: زمان اجرا، توان عملیاتی، تأخیر
• 69. Overhead در موازی‌سازی: ایجاد Process، IPC
• 70. Benchmarking کد موازی: طراحی و اجرا
• 71. اثر مقیاس‌پذیری (Scalability) در سیستم‌های چند هسته‌ای
• 72. قوانین Amdahl و Gustafson: محدودیت‌های موازی‌سازی
• 73. انتخاب استراتژی مناسب برای موازی‌سازی
• 74. `joblib` برای موازی‌سازی آسان حلقه‌ها
• 75. `Parallel` و `delayed` در `joblib`
• 76. استفاده از `joblib` برای مدل‌های یادگیری ماشین
• 77. موازی‌سازی با `NumPy` و `SciPy`: فراتر از GIL
• 78. استفاده از توابع و عملیات برداری `NumPy`
• 79. محاسبات ماتریسی موازی با کتابخانه‌های BLAS/LAPACK بهینه‌شده
• 80. معرفی Dask به عنوان ابزاری برای موازی‌سازی مقیاس‌پذیر
• 81. `dask.array` برای آرایه‌های بزرگ‌تر از حافظه
• 82. `dask.dataframe` برای پردازش داده‌های بزرگ
• 83. اجرای وظایف موازی با `dask.delayed`
• 84. مفاهیم اولیه محاسبات توزیع‌شده (Distributed Computing)
• 85. تفاوت موازی‌سازی با Processها و محاسبات توزیع‌شده
• 86. معرفی اجمالی MPI برای محاسبات توزیع‌شده (بدون جزئیات پیاده‌سازی)
• 87. پیاده‌سازی یک مثال عملی: پردازش تصویر موازی
• 88. موازی‌سازی برای شبیه‌سازی‌های علمی
• 89. پردازش داده‌های بزرگ با `multiprocessing`
• 90. کاربرد `multiprocessing` در یادگیری ماشین (آماده‌سازی داده)
• 91. رفع اشکال (Debugging) کد موازی
• 92. چالش‌های Debugging در محیط‌های موازی
• 93. ابزارهای Debugging پیشرفته (pdb و ابزارهای خارجی)
• 94. تست واحد (Unit Testing) برای کد موازی
• 95. تست یکپارچه‌سازی (Integration Testing) برای سیستم‌های موازی
• 96. بهترین شیوه‌ها برای کدنویسی موازی
• 97. مدیریت منابع سیستم (CPU، حافظه) در Processهای موازی
• 98. استفاده بهینه از حافظه مشترک
• 99. مشکلات رایج در `multiprocessing` و راه حل‌ها
• 100. جمع‌بندی و چشم‌انداز آینده موازی‌سازی در پایتون