فلش‌کارت‌های آموزشی بهینه‌سازی الگوریتم‌های پردازش و تحلیل داده‌های هوش مصنوعی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی الگوریتم‌های پردازش و تحلیل داده‌های هوش مصنوعی

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر محاسبات سطح بالا (HPC)
• 2. چرا هوش مصنوعی به HPC نیاز دارد؟
• 3. معماری‌های کامپیوتری مدرن: CPU، GPU و شتاب‌دهنده‌ها
• 4. مفاهیم کلیدی عملکرد: تأخیر (Latency) و پهنای باند (Bandwidth)
• 5. معیارهای سنجش عملکرد: FLOPs، IPC و زمان اجرا
• 6. قانون امدال (Amdahl's Law) و محدودیت‌های موازی‌سازی
• 7. قانون گوستافسون (Gustafson's Law) و موازی‌سازی در مقیاس بزرگ
• 8. آشنایی با داده‌های حجیم (Big Data) در هوش مصنوعی
• 9. انواع الگوریتم‌های هوش مصنوعی و نیازمندی‌های محاسباتی آنها
• 10. معرفی ابزارهای پروفایلینگ (Profiling) و تحلیل عملکرد
• 11. مدل‌های برنامه‌نویسی موازی: حافظه مشترک و حافظه توزیع‌شده
• 12. طبقه‌بندی فلین (Flynn's Taxonomy): SISD, SIMD, MISD, MIMD
• 13. موازی‌سازی داده (Data Parallelism)
• 14. موازی‌سازی وظیفه (Task Parallelism)
• 15. همگام‌سازی (Synchronization): Mutex، Semaphore و Barriers
• 16. شرایط رقابتی (Race Conditions) و بن‌بست (Deadlocks)
• 17. سلسله مراتب حافظه: رجیستر، کش L1/L2/L3، حافظه اصلی
• 18. اصل محلی بودن (Locality): محلی بودن زمانی و مکانی
• 19. بهینه‌سازی حافظه نهان (Cache Optimization) و خطاهای کش (Cache Misses)
• 20. ساختارهای داده دوست‌دار کش (Cache-Friendly Data Structures)
• 21. برنامه‌نویسی برداری (Vectorization) و دستورالعمل‌های SIMD
• 22. آشنایی با مجموعه دستورالعمل‌های SSE, AVX, AVX-512
• 23. بهینه‌سازی‌های خودکار کامپایلر (Compiler Optimizations)
• 24. تحلیل پرچم‌های کامپایلر (Compiler Flags): -O1, -O2, -O3, -Ofast
• 25. تکنیک باز کردن حلقه (Loop Unrolling)
• 26. ادغام و شکافت حلقه (Loop Fusion and Fission)
• 27. کاهش وابستگی داده‌ها در حلقه‌ها
• 28. پیش‌بینی انشعاب (Branch Prediction) و بهینه‌سازی آن
• 29. استفاده از پروفایلر CPU برای شناسایی گلوگاه‌ها (Bottlenecks)
• 30. بهینه‌سازی تخصیص حافظه (Memory Allocation)
• 31. تراز کردن داده‌ها در حافظه (Data Alignment)
• 32. مقدمه‌ای بر معماری GPU و پردازش جریانی (Stream Processing)
• 33. آشنایی با CUDA: مدل برنامه‌نویسی و اکوسیستم
• 34. ساختار یک برنامه CUDA: میزبان (Host) و دستگاه (Device)
• 35. هسته‌ها (Kernels)، نخ‌ها (Threads)، بلاک‌ها (Blocks) و گریدها (Grids)
• 36. مدل حافظه CUDA: حافظه سراسری، مشترک، ثابت و محلی
• 37. مدیریت حافظه در CUDA: cudaMalloc و cudaMemcpy
• 38. بهینه‌سازی دسترسی به حافظه سراسری (Global Memory Coalescing)
• 39. استفاده مؤثر از حافظه مشترک (Shared Memory) برای کاهش تأخیر
• 40. بانک‌های حافظه مشترک و تداخلات بانکی (Bank Conflicts)
• 41. همگام‌سازی نخ‌ها در یک بلاک (__syncthreads)
• 42. عملیات اتمی (Atomic Operations) در CUDA
• 43. جریان‌ها (Streams) برای اجرای همزمان هسته‌ها و انتقال داده
• 44. برنامه‌نویسی پویا در CUDA (Dynamic Parallelism)
• 45. کتابخانه‌های CUDA: cuBLAS, cuFFT, cuDNN
• 46. پروفایلینگ برنامه‌های CUDA با NVIDIA Nsight
• 47. معرفی OpenCL به عنوان جایگزین چندسکویی CUDA
• 48. مقایسه CUDA و OpenCL: مزایا و معایب
• 49. پردازش چند GPU (Multi-GPU Programming)
• 50. ارتباط بین GPUها با NVLink و GPUDirect
• 51. بهینه‌سازی‌های پیشرفته در هسته‌های CUDA
• 52. مقدمه‌ای بر OpenMP برای برنامه‌نویسی حافظه مشترک
• 53. دستورات (Directives) اصلی در OpenMP: parallel, for, sections
• 54. متغیرهای مشترک (Shared) و خصوصی (Private) در OpenMP
• 55. همگام‌سازی و عملیات اتمی در OpenMP
• 56. زمان‌بندی حلقه‌ها (Loop Scheduling) در OpenMP
• 57. مبانی شبکه‌های اتصال داخلی (Interconnects): InfiniBand و Ethernet
• 58. مقدمه‌ای بر MPI (Message Passing Interface)
• 59. ارتباطات نقطه به نقطه (Point-to-Point Communication) در MPI
• 60. ارتباطات جمعی (Collective Communications) در MPI: Broadcast, Scatter, Gather
• 61. عملیات کاهشی (Reduction Operations) در MPI
• 62. توپولوژی‌های مجازی و کارتزین در MPI
• 63. ورودی/خروجی موازی (Parallel I/O) با MPI-IO
• 64. مدل برنامه‌نویسی ترکیبی: MPI + OpenMP
• 65. اشکال‌زدایی (Debugging) برنامه‌های موازی و توزیع‌شده
• 66. تحلیل عملکرد و مقیاس‌پذیری (Scalability) برنامه‌های توزیع‌شده
• 67. مفاهیم Strong Scaling و Weak Scaling
• 68. الگوهای موازنه بار (Load Balancing)
• 69. الگوهای تجزیه دامنه (Domain Decomposition)
• 70. بهینه‌سازی ضرب ماتریس در ماتریس (GEMM)
• 71. پیاده‌سازی و بهینه‌سازی کانولوشن (Convolution) در GPU
• 72. بهینه‌سازی پیش‌پردازش داده‌ها: بارگذاری و تبدیل موازی
• 73. افزایش داده‌ها (Data Augmentation) به صورت شتاب‌یافته
• 74. بهینه‌سازی فاز آموزش (Training) شبکه‌های عصبی
• 75. بهینه‌سازی فاز استنتاج (Inference) و کاهش تأخیر
• 76. کوانتیزاسیون (Quantization) مدل برای استنتاج سریع‌تر
• 77. هرس کردن مدل (Model Pruning) و کاهش محاسبات
• 78. آموزش توزیع‌شده (Distributed Training): موازی‌سازی داده
• 79. آموزش توزیع‌شده: موازی‌سازی مدل
• 80. استفاده از Horovod برای آموزش توزیع‌شده آسان
• 81. بهینه‌سازی الگوریتم‌های خوشه‌بندی (مانند K-Means)
• 82. پیاده‌سازی موازی الگوریتم کاهش ابعاد (مانند PCA)
• 83. بهینه‌سازی الگوریتم‌های مبتنی بر درخت (مانند Random Forest)
• 84. تسریع پردازش زبان طبیعی (NLP) با GPU
• 85. معرفی کتابخانه cuDNN برای شبکه‌های عصبی عمیق
• 86. اکوسیستم NVIDIA RAPIDS برای علم داده شتاب‌یافته
• 87. استفاده از Dask برای موازی‌سازی کدهای پایتون
• 88. کانتینرسازی (Containerization) با Docker و Singularity برای HPC
• 89. محاسبات سطح بالا در محیط‌های ابری (Cloud HPC)
• 90. سخت‌افزارهای تخصصی هوش مصنوعی: TPU و IPU
• 91. برنامه‌نویسی برای FPGA برای کاربردهای خاص
• 92. حافظه‌های با پهنای باند بالا (HBM) و تأثیر آن
• 93. روندهای آینده در معماری‌های HPC برای هوش مصنوعی
• 94. مطالعه موردی ۱: بهینه‌سازی یک مدل تشخیص تصویر (مانند ResNet)
• 95. مطالعه موردی ۲: تسریع یک خط لوله پردازش داده‌های جدولی
• 96. مطالعه موردی ۳: پیاده‌سازی یک الگوریتم علمی موازی
• 97. اصول مدیریت پروژه در پروژه‌های HPC
• 98. پروژه نهایی: طراحی و پیاده‌سازی یک راهکار بهینه برای یک مسئله هوش مصنوعی
• 99. **بهینه‌سازی مصرف انرژی در الگوریتم‌های هوش مصنوعی: تکنیک‌های کمینه‌سازی مصرف انرژی و مدیریت توان**
• 100. **پیاده‌سازی الگوریتم‌های هوش مصنوعی در محیط‌های توزیع‌شده: چارچوب‌های محاسباتی توزیع‌شده (مانند Spark، Dask) و مدیریت داده در مقیاس بزرگ**