فلش‌کارت‌های آموزشی CUDA با مثال‌های عملی: کتاب جامع شتاب‌دهی محاسبات روی GPU

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره CUDA با مثال‌های عملی: دوره جامع شتاب‌دهی محاسبات روی GPU

موضوع کلی: پردازش موازی

موضوع میانی: برنامه‌نویسی GPU

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش موازی و معماری GPU
• 2. معماری CUDA: بلوک‌ها، گریدها و تردها
• 3. نصب و پیکربندی CUDA Toolkit
• 4. اولین برنامه CUDA: Hello, World!
• 5. معرفی حافظه‌های GPU: global, shared, constant, texture
• 6. کپی کردن داده بین CPU و GPU
• 7. توابع کرنل: تعریف و اجرا
• 8. مدیریت Thread ID و Block ID
• 9. سینکرونایز کردن تردها در یک بلاک: __syncthreads()
• 10. معرفی کاهش (Reduction) در CUDA
• 11. کاهش جمع: پیاده‌سازی بهینه
• 12. کاهش ضرب: مقابله با سرریز
• 13. کاهش بیشینه/کمینه
• 14. الگوریتم‌های اسکن (Prefix Sum): معرفی و پیاده‌سازی
• 15. اسکن انحصاری (Exclusive Scan)
• 16. اسکن فراگیر (Inclusive Scan)
• 17. استفاده از حافظه اشتراکی برای اسکن
• 18. ضرب ماتریس: الگوریتم ساده
• 19. بهینه‌سازی ضرب ماتریس با استفاده از حافظه اشتراکی
• 20. تایلینگ (Tiling) در ضرب ماتریس
• 21. ضرب ماتریس پراکنده (Sparse Matrix Multiplication)
• 22. تبدیل ماتریس‌ها: از CSR به COO
• 23. الگوریتم های مرتب سازی: معرفی مرتب سازی بیتونیک (Bitonic Sort)
• 24. پیاده‌سازی مرتب سازی بیتونیک روی GPU
• 25. مرتب سازی ادغامی (Merge Sort) روی GPU
• 26. الگوریتم‌های جستجو: جستجوی دودویی (Binary Search) روی GPU
• 27. جستجوی k-نزدیکترین همسایه (k-NN)
• 28. مقدمه‌ای بر بافت (Texture) در CUDA
• 29. خواندن و نوشتن بافت
• 30. فیلتر کردن بافت: فیلترهای خطی و مکعبی
• 31. استفاده از بافت برای شتاب‌دهی محاسبات
• 32. CUDA Streams: اجرای همزمان کرنل‌ها
• 33. مدیریت Stream ها: ایجاد، همگام سازی و نابود کردن
• 34. همپوشانی انتقال داده و محاسبات
• 35. استفاده از چند GPU برای شتاب‌دهی بیشتر
• 36. CUDA Events: زمان‌بندی و اندازه‌گیری عملکرد
• 37. پروفایل‌گیری CUDA: استفاده از NVIDIA Nsight
• 38. بهینه‌سازی کد CUDA: شناسایی گلوگاه‌ها
• 39. اصول بهینه‌سازی حافظه: الگوهای دسترسی Coalesced
• 40. اصول بهینه‌سازی محاسباتی: تقسیم کار متعادل
• 41. کتابخانه‌های CUDA: cuBLAS (جبر خطی پایه)
• 42. کتابخانه‌های CUDA: cuFFT (تبدیل فوریه سریع)
• 43. کتابخانه‌های CUDA: cuSPARSE (محاسبات ماتریس پراکنده)
• 44. کتابخانه‌های CUDA: cuSOLVER (حل مسائل خطی)
• 45. کتابخانه‌های CUDA: Thrust (الگوریتم‌های موازی)
• 46. برنامه‌نویسی شیءگرا با CUDA
• 47. تعریف کلاس‌ها و توابع عضو در کرنل
• 48. استفاده از الگوها (Templates) در CUDA
• 49. اشکال‌زدایی کد CUDA: استفاده از CUDA-GDB
• 50. مدیریت خطاها در CUDA
• 51. بهینه‌سازی حافظه: استفاده از حافظه Page-Locked
• 52. CUDA Memory Pools
• 53. CUDA Unified Memory
• 54. CUDA Graph
• 55. DirectX و OpenGL Interoperability with CUDA
• 56. OpenCL vs. CUDA: مقایسه و بررسی
• 57. مقدمه‌ای بر محاسبات ناهمگن
• 58. کاربردهای CUDA: پردازش تصویر
• 59. کاربردهای CUDA: پردازش ویدئو
• 60. کاربردهای CUDA: شبیه‌سازی فیزیکی
• 61. کاربردهای CUDA: یادگیری ماشین
• 62. کاربردهای CUDA: محاسبات مالی
• 63. کاربردهای CUDA: بیوانفورماتیک
• 64. شبکه‌های عصبی کانولوشنال (Convolutional Neural Networks) با CUDA
• 65. Backpropagation با CUDA
• 66. پیاده‌سازی لایه‌های مختلف شبکه‌های عصبی با CUDA
• 67. توابع فعال‌سازی (Activation Functions) با CUDA
• 68. بهینه‌سازها (Optimizers) با CUDA
• 69. انتقال یادگیری (Transfer Learning) با CUDA
• 70. کوآنتیزه‌سازی (Quantization) مدل‌های یادگیری ماشین با CUDA
• 71. توزیع و استقرار برنامه‌های CUDA
• 72. CUDA on Embedded Systems: NVIDIA Jetson
• 73. CUDA on Cloud: AWS, Google Cloud, Azure
• 74. ادغام CUDA با فریم‌ورک‌های یادگیری ماشین (TensorFlow, PyTorch)
• 75. CUDA و Docker
• 76. پردازش زبان طبیعی (NLP) با CUDA
• 77. مدل‌های زبانی بزرگ (Large Language Models) و CUDA
• 78. بهینه‌سازی مدل‌های زبانی بزرگ برای GPU
• 79. الگوریتم‌های خوشه بندی (Clustering) با CUDA
• 80. الگوریتم‌های طبقه‌بندی (Classification) با CUDA
• 81. تصویرسازی داده (Data Visualization) با CUDA
• 82. تولید محتوا (Content Generation) با CUDA
• 83. واقعیت افزوده (Augmented Reality) و واقعیت مجازی (Virtual Reality) با CUDA
• 84. موتورهای بازی‌سازی (Game Engines) و CUDA
• 85. شبیه‌سازی‌های علمی (Scientific Simulations) با CUDA
• 86. هوش مصنوعی مولد (Generative AI) با CUDA
• 87. پردازش سیگنال (Signal Processing) با CUDA
• 88. رمزنگاری (Cryptography) با CUDA
• 89. روش‌های Monte Carlo با CUDA
• 90. حل معادلات دیفرانسیل با مشتقات جزئی (PDEs) با CUDA
• 91. CUDA Dynamic Parallelism
• 92. CUDA Runtime API پیشرفته
• 93. CUDA Driver API پیشرفته
• 94. بهینه‌سازی مصرف انرژی در CUDA
• 95. امنیت در CUDA
• 96. آینده CUDA و پردازش موازی
• 97. مقدمه‌ای بر AMD ROCm و HIP
• 98. مقایسه CUDA و HIP
• 99. انتقال کد از CUDA به HIP
• 100. تکنیک‌های پیشرفته بهینه‌سازی کرنل