فلش‌کارت‌های آموزشی بهینه‌سازی معماری‌های پردازشی برای AI

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی معماری‌های پردازشی برای AI

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر محاسبات سطح بالا (HPC)
• 2. نقش HPC در انقلاب هوش مصنوعی (AI)
• 3. معماری کامپیوتر مدرن: مروری بر پردازنده‌ها (CPU)
• 4. سلسله مراتب حافظه: از رجیستر تا دیسک
• 5. حافظه نهان (Cache) و اهمیت آن در عملکرد
• 6. مفاهیم خط لوله (Pipelining) و اجرای خارج از نوبت (Out-of-Order Execution)
• 7. قانون امدال و قانون گوستافسون: محدودیت‌های موازی‌سازی
• 8. معیارهای ارزیابی عملکرد: FLOPS، پهنای باند حافظه و تأخیر (Latency)
• 9. معرفی مجموعه دستورالعمل‌ها (ISA): از x86 تا ARM
• 10. واحدهای SIMD: پردازش موازی در سطح داده
• 11. سیستم‌عامل و نقش آن در مدیریت منابع HPC
• 12. کامپایلرها و بهینه‌سازی‌های خودکار کد
• 13. ابزارهای پروفایلینگ (Profiling) مقدماتی: شناسایی گلوگاه‌ها
• 14. مفاهیم اولیه الگوریتم‌های موازی
• 15. مدل‌های حافظه مشترک و حافظه توزیع‌شده
• 16. مقدمه‌ای بر برنامه‌نویسی با حافظه مشترک
• 17. معرفی OpenMP: دستورات (Directives) و مفاهیم اصلی
• 18. حلقه‌های موازی و زمان‌بندی (Scheduling) در OpenMP
• 19. مدیریت داده‌ها و متغیرها در OpenMP
• 20. همگام‌سازی (Synchronization): Critical, Atomic, Barrier
• 21. برنامه‌نویسی Task-based در OpenMP
• 22. بهینه‌سازی با OpenMP: Affinity و False Sharing
• 23. مقدمه‌ای بر برنامه‌نویسی با حافظه توزیع‌شده
• 24. معرفی MPI: ارتباطات نقطه به نقطه (Point-to-Point)
• 25. توابع Send و Receive در MPI و مدهای مختلف آن
• 26. ارتباطات گروهی (Collective Communications): Broadcast, Scatter, Gather
• 27. عملیات کاهش (Reduction Operations) در MPI
• 28. توپولوژی‌ها و کارتزین‌ها در MPI
• 29. ارتباطات غیرمسدودکننده (Non-blocking) در MPI
• 30. ورودی/خروجی موازی با MPI-IO
• 31. مدل‌های ترکیبی (Hybrid): ترکیب MPI و OpenMP
• 32. اشکال‌زدایی (Debugging) برنامه‌های موازی
• 33. تحلیل عملکرد برنامه‌های MPI
• 34. الگوهای طراحی موازی رایج
• 35. بن‌بست (Deadlock) و شرایط مسابقه (Race Condition)
• 36. چرا GPU برای AI مناسب است؟ معماری جریانی
• 37. معماری GPU: از Streaming Multiprocessor تا هسته‌های CUDA
• 38. مدل برنامه‌نویسی CUDA: هاست و دیوایس
• 39. مفهوم Kernel، Grid، Block و Thread
• 40. سلسله مراتب حافظه در GPU: حافظه گلوبال، مشترک و محلی
• 41. تخصیص حافظه و انتقال داده بین هاست و دیوایس
• 42. اولین برنامه CUDA: جمع برداری
• 43. مدیریت خطا در برنامه‌های CUDA
• 44. حافظه مشترک (Shared Memory) و کاربرد آن در بهینه‌سازی
• 45. همگام‌سازی Threadها در یک Block
• 46. مفهوم Warp و اجرای SIMT
• 47. انشعاب واگرا (Divergent Branching) و تأثیر آن بر عملکرد
• 48. دسترسی به حافظه گلوبال و مفهوم Coalescing
• 49. استفاده از حافظه ثابت (Constant Memory) و بافتی (Texture Memory)
• 50. عملیات اتمی (Atomic Operations) در GPU
• 51. جریان‌ها (Streams) برای هم‌پوشانی محاسبات و انتقال داده
• 52. پروفایلینگ برنامه‌های CUDA با NVIDIA Nsight
• 53. کتابخانه‌های بهینه‌سازی شده: cuBLAS و cuDNN
• 54. برنامه‌نویسی چند GPU (Multi-GPU)
• 55. ارتباط بین GPUها: NVLink و NVSwitch
• 56. Unified Memory و مدیریت خودکار حافظه
• 57. معماری‌های جدید NVIDIA: از Volta تا Ampere و Hopper
• 58. هسته‌های Tensor و شتاب‌دهی به محاسبات ماتریسی
• 59. OpenCL: یک جایگزین چندسکویی برای CUDA
• 60. بهینه‌سازی پیشرفته Kernelهای CUDA
• 61. مبانی شبکه‌های عصبی و پرسپترون چندلایه
• 62. الگوریتم پس‌انتشار خطا (Backpropagation) و نیازهای محاسباتی آن
• 63. شبکه‌های عصبی کانولوشنی (CNN): لایه‌های کانولوشن و Pooling
• 64. هسته محاسباتی اصلی: ضرب ماتریس در ماتریس (GEMM)
• 65. بهینه‌سازی الگوریتم‌های کانولوشن (im2col, Winograd)
• 66. شبکه‌های عصبی بازگشتی (RNN) و چالش‌های وابستگی داده
• 67. معماری ترنسفورمر (Transformer) و لایه توجه (Attention)
• 68. فاز آموزش (Training) در مقابل فاز استنتاج (Inference)
• 69. محاسبات مورد نیاز در آموزش مدل‌های زبان بزرگ (LLM)
• 70. چالش‌های حافظه در آموزش مدل‌های بزرگ
• 71. نیازمندی‌های محاسباتی برای استنتاج بلادرنگ (Real-time Inference)
• 72. تأخیر (Latency) در مقابل توان عملیاتی (Throughput) در استنتاج
• 73. معیارهای ارزیابی مدل‌های AI: دقت، سرعت و مصرف انرژی
• 74. داده‌های پراکنده (Sparsity) در مدل‌های AI و فرصت‌های بهینه‌سازی
• 75. گراف‌های محاسباتی و فریم‌ورک‌هایی مانند TensorFlow و PyTorch
• 76. معرفی شتاب‌دهنده‌های خاص‌منظوره (ASIC) برای AI
• 77. معماری TPU گوگل: از Systolic Array تا واحدهای ماتریسی
• 78. استفاده از FPGA برای شتاب‌دهی به استنتاج AI
• 79. پردازش در حافظه (Processing-in-Memory)
• 80. محاسبات با دقت پایین: FP16, BFLOAT16, INT8
• 81. کوانتیزاسیون (Quantization) مدل‌ها برای استنتاج سریع‌تر
• 82. تکنیک‌های هرس کردن (Pruning) برای کاهش پیچیدگی مدل
• 83. تقطیر دانش (Knowledge Distillation)
• 84. کامپایلرهای مخصوص AI: TVM و Glow
• 85. استراتژی‌های موازی‌سازی در آموزش توزیع‌شده: موازی‌سازی داده
• 86. موازی‌سازی مدل (Model Parallelism) و موازی‌سازی خط لوله (Pipeline Parallelism)
• 87. کتابخانه‌های آموزش توزیع‌شده: Horovod و DeepSpeed
• 88. بهینه‌سازی ارتباطات در آموزش توزیع‌شده: All-Reduce
• 89. بهینه‌سازی I/O و خط لوله داده برای تغذیه GPU
• 90. بهینه‌سازی مصرف انرژی در سیستم‌های HPC برای AI
• 91. مدیریت حرارت و خنک‌سازی در دیتاسنترهای AI
• 92. سیستم‌های حافظه با پهنای باند بالا (HBM)
• 93. فناوری‌های اتصال (Interconnect): InfiniBand و Ethernet
• 94. کانتینرسازی (Docker, Singularity) برای بارهای کاری AI در HPC
• 95. مدیریت کلاستر و زمان‌بندی کارها (Slurm)
• 96. روندهای نوظهور: محاسبات نوری و کوانتومی برای AI
• 97. معماری‌های ناهمگون (Heterogeneous) آینده
• 98. مطالعه موردی: بهینه‌سازی آموزش مدل ResNet روی چند GPU
• 99. مطالعه موردی: استقرار و بهینه‌سازی یک مدل زبانی بزرگ برای استنتاج
• 100. جمع‌بندی دوره و مسیرهای یادگیری آینده