فلش‌کارت‌های آموزشی بهینه‌سازی برای پردازنده‌های گرافیکی (GPU)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی برای پردازنده‌های گرافیکی (GPU)

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر محاسبات با کارایی بالا (HPC)
• 2. مفاهیم اساسی پردازش موازی
• 3. معماری پردازنده‌های مرکزی (CPU) و محدودیت‌ها
• 4. معرفی پردازنده‌های گرافیکی (GPU) و تکامل آن‌ها
• 5. تفاوت‌های معماری CPU و GPU
• 6. مزایای استفاده از GPU در محاسبات علمی
• 7. مدل‌های برنامه‌نویسی موازی برای GPU (مثل CUDA و OpenCL)
• 8. انتخاب پلتفرم برنامه‌نویسی GPU (CUDA در مقابل OpenCL)
• 9. نصب و راه‌اندازی محیط توسعه CUDA
• 10. اولین برنامه GPU: Hello World
• 11. ساختار یک برنامه CUDA
• 12. توابع هسته (Kernel Functions)
• 13. مفاهیم Thread، Block و Grid
• 14. ابعاددهی Grid و Block
• 15. مدیریت حافظه در CUDA: Host و Device
• 16. انتقال داده بین Host و Device
• 17. توابع CudaMemcpy و CudaMalloc
• 18. مدیریت خطا در برنامه‌های CUDA
• 19. مثال عملی: جمع دو بردار در GPU
• 20. زمان‌بندی و اندازه‌گیری عملکرد ابتدایی
• 21. متغیرهای Built-in در CUDA (threadIdx, blockIdx, blockDim, gridDim)
• 22. اجرای همزمان هسته‌ها (Concurrent Kernel Execution)
• 23. آشنایی با Streamها برای اجرای موازی‌تر
• 24. مدیریت رویدادها (Events) برای همگام‌سازی
• 25. مقدمه‌ای بر مدل اجرای ناهمزمان (Asynchronous Execution)
• 26. سلسله مراتب حافظه در GPU (Global, Shared, Local, Constant, Texture)
• 27. حافظه جهانی (Global Memory) و ویژگی‌های آن
• 28. بهینه‌سازی دسترسی به حافظه جهانی: Coalescing
• 29. مثال عملی: پیاده‌سازی Coalescing در جمع بردار
• 30. حافظه مشترک (Shared Memory) و کاربردهای آن
• 31. بانک‌های حافظه مشترک (Shared Memory Banks) و تضاد (Bank Conflicts)
• 32. بهینه‌سازی با استفاده از Shared Memory برای ماتریس ضرب
• 33. Padding در Shared Memory برای جلوگیری از Bank Conflicts
• 34. حافظه محلی (Local Memory) و زمان‌بندی رجیسترها
• 35. حافظه ثابت (Constant Memory) و کش آن
• 36. کاربرد حافظه ثابت برای داده‌های فقط خواندنی
• 37. حافظه بافت (Texture Memory) برای دسترسی‌های دوبعدی
• 38. حافظه یکپارچه (Unified Memory) و مزایای آن
• 39. حافظه Pin-locked (Page-locked) و افزایش سرعت انتقال
• 40. مدیریت حافظه بهینه در برنامه‌های پیچیده
• 41. مفاهیم عملکرد GPU: توان عملیاتی (Throughput) و تاخیر (Latency)
• 42. اهمیت پهنای باند حافظه و قدرت محاسباتی
• 43. مدل سقف عملکرد (Roofline Model) برای GPU: مفاهیم پایه
• 44. ابزارهای پروفایلینگ NVIDIA (NVIDIA Nsight Systems, Nsight Compute)
• 45. Nsight Systems: تحلیل سیستم-سطح و ردیابی
• 46. Nsight Compute: تحلیل هسته-سطح و متریک‌ها
• 47. متریک‌های کلیدی عملکرد: Occupancy، پهنای باند حافظه، دستورالعمل در ساعت
• 48. شناسایی گلوگاه‌های عملکردی (Bottlenecks)
• 49. تحلیل استفاده از رجیسترها و سرریز (Register Spill)
• 50. درک و تفسیر نمودارهای پروفایلر
• 51. تحلیل Dependency و Latency در هسته‌ها
• 52. پیگیری استفاده از زمانبندی (Scheduler) و Dispatch
• 53. جمع‌آوری داده‌های عملکرد در زمان اجرا
• 54. اندازه‌گیری دقیق زمان با CUDA Events
• 55. بررسی Overhead انتقال داده
• 56. کاهش واگرایی Thread (Thread Divergence) در بلوک‌ها
• 57. استفاده بهینه از دستورالعمل‌های Warp-level (Shuffle, Vote)
• 58. تکنیک‌های کاهش Global Memory Latency
• 59. بهینه‌سازی دسترسی‌های غیرCoalesced
• 60. Loop Unrolling و تأثیر آن بر عملکرد
• 61. استفاده از توابع Intrinsic (Built-in) برای عملکرد بهتر
• 62. عملیات اتمی (Atomic Operations) و هزینه آن‌ها
• 63. کاهش استفاده از عملیات اتمی و جایگزین‌ها
• 64. پیاده‌سازی Reduction روی GPU بهینه
• 65. پیاده‌سازی Scan (Prefix Sum) روی GPU بهینه
• 66. بهینه‌سازی عملیات Filter و Map
• 67. Kernel Fusion برای کاهش Overhead راه‌اندازی هسته‌ها
• 68. همپوشانی محاسبات و انتقال داده (Overlap Compute and Transfer)
• 69. استفاده از Zero-Copy Memory برای انتقال داده
• 70. بهینه‌سازی برای GPUهای مختلف (نسل‌های مختلف معماری)
• 71. الگوهای طراحی موازی برای GPU (GPU Design Patterns)
• 72. الگوریتم‌های مرتب‌سازی موازی (Sorting Algorithms on GPU)
• 73. پیاده‌سازی Bucketsort و Radix Sort روی GPU
• 74. الگوریتم‌های جستجو و درخت‌ها در GPU
• 75. تبدیل فوریه سریع (FFT) روی GPU با cuFFT
• 76. ضرب ماتریس پیشرفته (GEMM) با cuBLAS
• 77. حل سیستم‌های خطی با cuSOLVER
• 78. کتابخانه Thrust برای ساختارهای داده و الگوریتم‌های موازی
• 79. استفاده از Thrust برای ساده‌سازی کد GPU
• 80. معرفی کتابخانه cuDNN برای یادگیری عمیق
• 81. الگوریتم‌های گراف و شبکه‌ها روی GPU
• 82. رندرینگ گرافیکی پیشرفته با GPU (Ray Tracing Basics)
• 83. شبیه‌سازی فیزیکی و CFD روی GPU
• 84. کاربردهای GPU در تحلیل داده‌های بزرگ (Big Data Analytics)
• 85. بهینه‌سازی برای کاربردهای یادگیری ماشینی و هوش مصنوعی
• 86. برنامه‌نویسی چند GPU (Multi-GPU Programming)
• 87. P2P Communication (Peer-to-Peer) برای سرعت بخشیدن به انتقال داده بین GPUها
• 88. NVLink و NVSwitch برای ارتباطات فوق سریع
• 89. Data Parallelism و Task Parallelism در محیط چند GPU
• 90. هماهنگی CPU و GPU در یک سیستم ناهمگون
• 91. تعامل CUDA با APIهای گرافیکی (OpenGL, DirectX)
• 92. Dynamic Parallelism: هسته‌هایی که هسته‌های دیگر را راه‌اندازی می‌کنند
• 93. مجازی‌سازی GPU و کاربردهای آن
• 94. بررسی تاثیر مصرف انرژی بر عملکرد (Power Efficiency)
• 95. مقایسه GPU با FPGA و سایر شتاب‌دهنده‌ها
• 96. معماری‌های جدید GPU و ویژگی‌های آن‌ها (مثلاً Hopper, Blackwell)
• 97. برنامه‌نویسی GPU در زبان‌های سطح بالا (Julia, Python با Numba)
• 98. استفاده از OpenACC و OpenMP برای بارگذاری خودکار روی GPU
• 99. بهینه‌سازی خودکار و Autotuning برای GPU
• 100. چالش‌ها و روندهای آینده در محاسبات با GPU