فلش‌کارت‌های آموزشی بهینه‌سازی حافظه در برنامه‌های موازی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی حافظه در برنامه‌های موازی

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر محاسبات با کارایی بالا (HPC)
• 2. اهمیت بهینه‌سازی حافظه در HPC
• 3. مبانی معماری کامپیوتر: CPU، حافظه و باس‌ها
• 4. سلسله مراتب حافظه: رم، کش، دیسک
• 5. اصول حافظه پنهان (Cache Memory)
• 6. انواع حافظه پنهان: L1, L2, L3
• 7. مفهوم خطوط کش (Cache Lines) و بلوک‌های کش
• 8. مقدمه‌ای بر برنامه‌نویسی موازی
• 9. همزمانی (Concurrency) در مقابل موازی‌سازی (Parallelism)
• 10. مدل‌های حافظه: مشترک (Shared Memory) و توزیع‌شده (Distributed Memory)
• 11. اصول عملکرد حافظه پنهان: ضربه (Hit) و خطا (Miss)
• 12. انواع خطاهای کش: سرد (Cold), ظرفیت (Capacity), تداخل (Conflict)
• 13. اصل محلی‌گرایی (Locality of Reference): فضایی و زمانی
• 14. بررسی معماری NUMA (Non-Uniform Memory Access)
• 15. اثر NUMA بر عملکرد حافظه
• 16. ترجمه آدرس‌ها و TLB (Translation Lookaside Buffer)
• 17. پهنای باند حافظه (Memory Bandwidth) و محدودیت‌های آن
• 18. تاخیر حافظه (Memory Latency) و چالش‌ها
• 19. سازگاری کش (Cache Coherence) و پروتکل‌های آن (MESI)
• 20. اشتراک نادرست (False Sharing): علت و معلول
• 21. تأثیر اشتراک نادرست بر کارایی برنامه‌های موازی
• 22. تأثیر حافظه مجازی بر عملکرد حافظه
• 23. Overcommit حافظه و Swap
• 24. تخصیص حافظه پویا (Dynamic Memory Allocation)
• 25. مدیریت حافظه توسط سیستم عامل
• 26. مدل حافظه OpenMP: متغیرهای مشترک و خصوصی
• 27. مناطق موازی (Parallel Regions) و Scope متغیرها در OpenMP
• 28. دستورات همگام‌سازی (Synchronization) در OpenMP و تأثیر بر حافظه
• 29. مدل حافظه MPI: ارتباطات نقطه‌به‌نقطه (Point-to-Point)
• 30. ارتباطات جمعی (Collective Communications) در MPI و الگوی حافظه
• 31. داده‌های بافرشده (Buffered) در MPI و مصرف حافظه
• 32. One-Sided Communication (MPI-RMA) و Direct Memory Access
• 33. مدل حافظه CUDA/OpenCL: Global Memory
• 34. مدل حافظه CUDA/OpenCL: Shared Memory (on-chip)
• 35. مدل حافظه CUDA/OpenCL: Constant و Texture Memory
• 36. دسترسی Coalesced به Global Memory در GPU
• 37. چالش‌های همگام‌سازی و موانع حافظه (Memory Barriers/Fences)
• 38. عملیات اتمیک (Atomic Operations) و نقش آن‌ها در حافظه
• 39. Pthreads و مدیریت حافظه در Thread-based Parallelism
• 40. حافظه Heap در برنامه‌های موازی
• 41. ساختارهای داده بهینه برای حافظه
• 42. هم‌ترازی داده‌ها (Data Alignment) و تأثیر آن بر کش
• 43. تکنیک‌های Pad کردن (Padding) برای جلوگیری از False Sharing
• 44. بازآرایی داده‌ها (Data Reordering) برای بهبود محلی‌گرایی
• 45. تغییر چیدمان حافظه: آرایه ساختارها (AoS) در مقابل ساختار آرایه‌ها (SoA)
• 46. بلوک‌بندی حلقه‌ها (Loop Tiling/Blocking) برای بهبود کش
• 47. بازکردن حلقه‌ها (Loop Unrolling) و تأثیر بر دسترسی به حافظه
• 48. پیش‌واکشی داده‌ها (Data Prefetching): سخت‌افزاری و نرم‌افزاری
• 49. استفاده از حافظه پنهان توسط کامپایلر و بهینه‌سازی‌ها
• 50. کاهش footprint حافظه: استفاده از انواع داده کوچک‌تر
• 51. فشرده‌سازی داده‌ها (Data Compression) در حافظه
• 52. مدیریت حافظه با Pooled Allocatorها
• 53. پیاده‌سازی Custom Allocatorها
• 54. تأثیر مدیریت زباله (Garbage Collection) بر کارایی (در صورت وجود)
• 55. کاهش کپی‌برداری داده‌ها (Data Copying)
• 56. استفاده بهینه از رجیسترها (Registers)
• 57. متغیرهای volatile و جلوگیری از بهینه‌سازی‌های نادرست
• 58. تأثیر انتخاب الگوریتم بر مصرف حافظه
• 59. بهینه‌سازی دسترسی‌های تصادفی به حافظه
• 60. نقش الگوهای دسترسی (Access Patterns) در بهینه‌سازی حافظه
• 61. تکنیک‌های پیشرفته برای جلوگیری از False Sharing
• 62. تخصیص حافظه آگاه به NUMA (NUMA-aware Memory Allocation)
• 63. سیاست‌های تخصیص حافظه در NUMA (e.g., First-touch, Interleave)
• 64. کتابخانه‌های تخصیص حافظه NUMA-aware (e.g., libnuma)
• 65. استراتژی‌های توزیع داده برای MPI
• 66. داده‌های متناوب (Interleaved Data) در MPI
• 67. استفاده از Shared Memory در MPI (MPI-3 Shared Memory Model)
• 68. همگام‌سازی حافظه در GPU (Global, Shared Memory Barriers)
• 69. سازماندهی بلاک‌های Thread در GPU برای دسترسی بهینه
• 70. بهینه‌سازی حافظه در محاسبات ماتریس (e.g., Matrix Multiplication)
• 71. بهینه‌سازی حافظه در حل‌کننده‌های معادلات دیفرانسیل (Stencil Codes)
• 72. تکنیک‌های کاهش (Reduction) موازی و حافظه
• 73. الگوریتم‌های Cache-Oblivious: اصول و پیاده‌سازی
• 74. روش‌های کاهش ارتباطات بین‌فرایندی/بین‌نخی
• 75. عملیات حافظه ناهمزمان (Asynchronous Memory Operations)
• 76. استفاده از Memory Mapped Files برای داده‌های بزرگ
• 77. تکنیک‌های حافظه پایدار (Persistent Memory - NVM)
• 78. چالش‌های برنامه‌نویسی برای حافظه پایدار
• 79. بهینه‌سازی دسترسی به دیسک برای کاهش IO در HPC
• 80. Paging و Swapping در سیستم‌های HPC
• 81. معرفی ابزارهای پروفایلینگ عملکرد (Performance Profiling Tools)
• 82. ابزارهای پروفایلینگ حافظه (Memory Profiling Tools)
• 83. استفاده از Valgrind Memcheck برای شناسایی خطاهای حافظه
• 84. استفاده از Callgrind برای تحلیل دسترسی به کش
• 85. ابزارهای Intel VTune Amplifier برای تحلیل حافظه
• 86. ابزارهای PAPI برای دسترسی به Performance Counters سخت‌افزاری
• 87. تفسیر نتایج پروفایلینگ کش و پهنای باند حافظه
• 88. شناسایی نقاط گلوگاه حافظه (Memory Bottlenecks)
• 89. اشکال‌زدایی خطاهای رایج حافظه در برنامه‌های موازی (Race Conditions, Deadlocks)
• 90. تحلیل و بهینه‌سازی حافظه در الگوریتم‌های گراف
• 91. بهینه‌سازی حافظه در شبیه‌سازی‌های علمی
• 92. بهینه‌سازی حافظه در یادگیری ماشین و شبکه‌های عصبی
• 93. مطالعه موردی: بهینه‌سازی حافظه یک کد واقعی OpenMP
• 94. مطالعه موردی: بهینه‌سازی حافظه یک کد واقعی MPI
• 95. مطالعه موردی: بهینه‌سازی حافظه یک کد واقعی CUDA
• 96. تأثیر معماری‌های ناهمگن (Heterogeneous Architectures) بر حافظه
• 97. فن‌آوری‌های نوین حافظه (HBM, CXL) و آینده HPC
• 98. چالش‌های آینده در بهینه‌سازی حافظه برای سیستم‌های Exascale
• 99. مروری بر بهترین شیوه‌ها (Best Practices) در بهینه‌سازی حافظه
• 100. خلاصه و گام‌های بعدی در بهینه‌سازی حافظه برنامه‌های موازی