فلش‌کارت‌های آموزشی بهینه‌سازی الگوریتم‌های بهینه‌سازی داده

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی الگوریتم‌های بهینه‌سازی داده

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر محاسبات سطح بالا (HPC)
• 2. چالش‌های عملکرد در الگوریتم‌های داده‌محور
• 3. معماری کامپیوتر مدرن: CPU، حافظه و گذرگاه‌ها
• 4. سلسله مراتب حافظه: رجیستر، کش (L1, L2, L3)، RAM
• 5. اصول مجاورت داده‌ها (Locality): مکانی و زمانی
• 6. تحلیل پیچیدگی الگوریتم‌ها: Big O، امگا و تتا
• 7. محدودیت‌های تحلیل Big O در سیستم‌های واقعی
• 8. معیارهای ارزیابی عملکرد: زمان، سرعت، توان عملیاتی
• 9. آشنایی با ابزارهای پروفایلینگ و بنچمارکینگ
• 10. راه‌اندازی محیط توسعه برای HPC (کامپایلرها و کتابخانه‌ها)
• 11. درک Cache Miss و Cache Hit
• 12. الگوریتم‌های آگاه از کش (Cache-Aware Algorithms)
• 13. الگوریتم‌های ناآگاه از کش (Cache-Oblivious Algorithms)
• 14. بهینه‌سازی انشعاب و پیش‌بینی پرش (Branch Prediction)
• 15. مفهوم پایپ‌لاینینگ (Pipelining) در پردازنده‌ها
• 16. موازی‌سازی در سطح دستورالعمل (ILP)
• 17. نقش کامپایلر در بهینه‌سازی کد
• 18. استفاده از فلگ‌های بهینه‌سازی کامپایلر (O1, O2, O3, Ofast)
• 19. تأثیر انواع داده (Data Types) بر عملکرد
• 20. تراز کردن داده‌ها در حافظه (Data Alignment)
• 21. مشکل مستعار بودن اشاره‌گرها (Pointer Aliasing) و کلیدواژه restrict
• 22. تکنیک‌های بهینه‌سازی حلقه‌ها: Unrolling, Jamming, Fusion
• 23. آرایه‌ها و چیدمان آن‌ها در حافظه (Row-Major vs. Column-Major)
• 24. بهینه‌سازی ساختارها (Structs): Structure of Arrays (SoA) vs. Array of Structures (AoS)
• 25. لیست‌های پیوندی و ناکارآمدی آن‌ها در دسترسی به حافظه
• 26. جایگزین‌های بهینه برای لیست‌های پیوندی: آرایه‌های پویا
• 27. درخت‌های جستجوی دودویی و چالش‌های تعادل و مجاورت
• 28. درخت‌های B و B+ برای بهبود مجاورت داده‌ها
• 29. جداول هش: مدیریت برخورد (Collision) و تأثیر آن بر عملکرد
• 30. طراحی جداول هش آگاه از کش
• 31. نمایش گراف‌ها: ماتریس مجاورت در مقابل لیست مجاورت
• 32. ساختارهای داده گراف فشرده برای کارایی حافظه
• 33. بهینه‌سازی الگوریتم‌های جستجو
• 34. الگوریتم‌های مرتب‌سازی و حساسیت آنها به کش (Quicksort, Mergesort)
• 35. مرتب‌سازی خارجی (External Sorting) و مرتب‌سازی آگاه از کش
• 36. ضرب ماتریس‌ها: الگوریتم ساده و ناکارآمدی آن
• 37. بهینه‌سازی ضرب ماتریس با تکنیک بلاک‌بندی (Tiling/Blocking)
• 38. الگوریتم استراسن و مبادلات محاسباتی آن
• 39. پیمایش گراف (BFS, DFS) و الگوهای دسترسی به حافظه
• 40. بهینه‌سازی الگوریتم‌های کوتاه‌ترین مسیر (دایکسترا)
• 41. تبدیل فوریه سریع (FFT) و بهینه‌سازی محاسبات بازگشتی
• 42. بهینه‌سازی حافظه در برنامه‌نویسی پویا
• 43. مقدمه‌ای بر موازی‌سازی: Task vs. Data Parallelism
• 44. قانون امدال و محدودیت‌های موازی‌سازی
• 45. قانون گوستافسون و موازی‌سازی در مقیاس بزرگ
• 46. مقدمه‌ای بر مدل حافظه اشتراکی و ریسه‌ها (Threads)
• 47. آشنایی با OpenMP: دایرکتیوها، حلقه‌های موازی
• 48. همگام‌سازی در OpenMP: Critical, Atomic, Barrier
• 49. مدیریت داده‌ها در OpenMP: Private, Shared, Reduction
• 50. برنامه‌نویسی وظیفه‌گرا (Tasking) با OpenMP
• 51. اشتباهات رایج در OpenMP: Race Condition, False Sharing
• 52. مقدمه‌ای بر مدل حافظه توزیع‌شده و فرآیندها
• 53. آشنایی با MPI: ارسال و دریافت پیام (Send/Receive)
• 54. ارتباطات نقطه به نقطه در MPI: Blocking vs. Non-Blocking
• 55. ارتباطات گروهی در MPI: Broadcast, Scatter, Gather, Reduce
• 56. توپولوژی‌های مجازی و کارتزین در MPI
• 57. برنامه‌نویسی ترکیبی MPI + OpenMP
• 58. مقدمه‌ای بر معماری GPU و محاسبات عمومی روی آن (GPGPU)
• 59. مبانی برنامه‌نویسی CUDA: Kernel, Grid, Block, Thread
• 60. مدل حافظه در CUDA: Global, Shared, Constant, Local
• 61. بهینه‌سازی انتقال داده بین CPU و GPU
• 62. الگوهای بهینه‌سازی در CUDA: Coalesced Access, Occupancy
• 63. آشنایی با OpenCL به عنوان یک استاندارد باز
• 64. مقایسه مدل‌های موازی‌سازی: OpenMP, MPI, CUDA/OpenCL
• 65. انتخاب مدل موازی‌سازی مناسب برای مسئله
• 66. موازی‌سازی داده در سطح دستورالعمل (SIMD): SSE, AVX
• 67. بردارسازی (Vectorization) خودکار توسط کامپایلر
• 68. استفاده از توابع ذاتی (Intrinsics) برای کنترل SIMD
• 69. تحلیل عمیق با ابزارهای پروفایلینگ (gprof, Valgrind, perf)
• 70. استفاده از شمارنده‌های سخت‌افزاری (Hardware Counters) برای تحلیل عملکرد
• 71. پروفایلینگ حافظه: شناسایی نشتی و الگوهای بد دسترسی
• 72. ساختارهای داده بدون قفل (Lock-Free) برای همروندی بالا
• 73. عملیات اتمی (Atomic Operations) و کاربردهای آن
• 74. پیش‌واکشی نرم‌افزاری (Software Prefetching)
• 75. درک اجرای خارج از ترتیب (Out-of-Order Execution)
• 76. گلوگاه ورودی/خروجی (I/O) در سیستم‌های HPC
• 77. سیستم‌های فایل موازی (Lustre, GPFS)
• 78. مبانی ورودی/خروجی موازی با MPI-IO
• 79. ورودی/خروجی گروهی در مقابل مستقل
• 80. فرمت‌های داده بهینه برای HPC (HDF5, NetCDF)
• 81. تکنیک‌های فشرده‌سازی داده و تأثیر آن بر I/O
• 82. محاسبات خارج از هسته (Out-of-Core) برای داده‌های بزرگتر از حافظه
• 83. مرحله‌بندی داده‌ها (Data Staging) و Burst Buffers
• 84. شبکه‌های ارتباطی در کلاسترهای HPC (InfiniBand, Ethernet)
• 85. استراتژی‌های بهینه‌سازی I/O: الگوهای دسترسی و اندازه بافر
• 86. مطالعه موردی: بهینه‌سازی یک شبیه‌سازی علمی (N-body)
• 87. مطالعه موردی: بهینه‌سازی الگوریتم‌های یادگیری ماشین (K-Means)
• 88. مطالعه موردی: پردازش تصویر و ویدئو در مقیاس بزرگ
• 89. مطالعه موردی: بهینه‌سازی پایگاه داده‌های تحلیلی (OLAP)
• 90. محاسبات سطح بالا در ابر (Cloud HPC)
• 91. استفاده از کانتینرها (Docker, Singularity) در HPC
• 92. روندهای نوین سخت‌افزاری: پردازنده‌های اختصاصی (ASIC, FPGA)
• 93. نگاهی به آینده: محاسبات کوانتومی و الگوریتم‌های بهینه‌سازی
• 94. بهترین شیوه‌ها در مهندسی نرم‌افزار عملکرد-محور
• 95. پروژه نهایی: بهینه‌سازی یک الگوریتم داده‌محور از ابتدا تا انتها
• 96. **تکنیک‌های بهینه‌سازی کد: برداری‌سازی (Vectorization)، موازی‌سازی (Parallelization) و SIMD**
• 97. **بهینه‌سازی حافظه: تخصیص بهینه، کاهش مصرف حافظه و مدیریت حافظه نهان (Cache)**
• 98. **بهینه‌سازی الگوریتم‌ها برای داده‌های بزرگ: الگوریتم‌های تقریبی، کاهش ابعاد و نمونه‌برداری**
• 99. **استفاده از GPUها برای شتاب‌دهی به الگوریتم‌های داده‌محور (CUDA و OpenCL)**
• 100. **بهینه‌سازی الگوریتم‌ها برای سیستم‌های توزیع شده: MapReduce و Spark**