فلش‌کارت‌های آموزشی بهینه‌سازی الگوریتم‌های جبری چندبردی برای پردازنده‌های GPU و سیستم‌های ترکیبی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی الگوریتم‌های جبری چندبردی برای پردازنده‌های GPU و سیستم‌های ترکیبی

موضوع کلی: محاسبات با عملکرد بالا (HPC)

موضوع میانی: HPC و مدلسازی سیستم‌های جبر HPC و آینده متحول‌کننده

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر محاسبات با عملکرد بالا و نقش GPUها
• 2. معماری پردازنده‌های گرافیکی: SM، warp، حافظه مشترک و رجیستر
• 3. سلسله‌مراتب حافظه در GPU: لایه‌های L1/L2، حافظه جهانی، حافظه ثابت
• 4. مدل‌های برنامه‌نویسی موازی: CUDA، HIP، SYCL، OpenCL
• 5. مبانی جبر خطی چندبردی: بردار، ماتریس، تنسور و عملیات باتچ
• 6. BLAS سطح ۱، ۲، ۳ و امتدادها برای عملیات چندبردی
• 7. کتابخانه‌های مرجع: cuBLAS، rocBLAS، oneMKL، CUTLASS
• 8. طراحی هسته‌های (kernel) بهینه برای ضرب ماتریس-ماتریس باتچ
• 9. استفاده از Tensor Cores برای محاسبات Mixed‑Precision
• 10. بهینه‌سازی دسترسی به حافظه: coalescing، bank conflict، shared memory tiling
• 11. استراتژی‌های تایلینگ (tiling) وBlocking برای عملیات چندبردی
• 12. مدیریت رجیستر و محدودیت‌های occupancy
• 13. الگوریتم‌های بهینه برای تجزیه LU، QR، Cholesky در حالت باتچ
• 14. روش‌های تکراری (Iterative) و پیش‌شرطها (preconditioners) برای سیستم‌های چندبردی
• 15. جبر خطی خلأ (Sparse) روی GPU: فرمت‌های CSR، ELL، HYB
• 16. عملیات تنسور (Tensor Contractions) و بهینه‌سازی با cuTENSOR
• 17. برنامه‌نویسی سیستم‌های ترکیبی CPU‑GPU: تقسیم کار، انتقال داده، overlap
• 18. معماری‌های چندگانه GPU (Multi‑GPU) و ارتباط NVLink/PCIe
• 19. مデル‌های برنامه‌نویسی توزیع‌شده: MPI+CUDA، NCCL، RCCL
• 20. بهینه‌سازی ارتباطات جمعی (All‑Reduce، Broadcast) برای عملیات جبری
• 21. پروفایل‌گیری و تحلیل عملکرد: Nsight Compute، ROCm Profiler، VTune
• 22. Auto‑tuning و جستجوی فضای پارامترها برای هسته‌های جبری
• 23. مixed‑precision training/inference: مدیریت دقت، مقیاس‌دهی loss
• 24. استفاده از گراف‌های محاسبه (CUDA Graphs) برای کاهش سربار لانچ
• 25. کتابخانه‌های سطح بالا: cuSOLVER، MAGMA، SLATE، Ginkgo
• 26. پیاده‌سازی الگوریتم‌های Batched GEMM با CUTLASS
• 27. بهینه‌سازی برای معماری‌های جدید: Hopper، Blackwell، CDNA، Xe‑HPC
• 28. مدیریت حافظه واحد (Unified Memory) و پیش‌ واکشی (prefetch)
• 29. استفاده از Streams و Events برای همزمانی محاسبه و انتقال
• 30. الگوریتم‌های کاهش (Reduction) و اسکن (Scan) در عملیات چندبردی
• 31. بهینه‌سازی برای محاسبات باینری و cuantized (INT8، INT4)
• 32. تکنیک‌های فشرده‌سازی ماتریس و تنسور برای کاهش باند폭
• 33. بررسی موردی: حل سیستم‌های خطی بزرگ در دینامیک سیالات
• 34. بررسی موردی: آموزش مدل‌های یادگیری عمیق با باتچ‌های بزرگ
• 35. بررسی موردی: شبیه‌سازی مونت‑کارلو چندبردی در فیزیک انرژی بالا
• 36. بررسی موردی: بهینه‌سازی محاسبات ژنومیک (Sequence Alignment) روی GPU
• 37. بررسی موردی: پردازش سیگنال رادار با الگوریتم‌های تنسوری
• 38. بررسی موردی: محاسبات مالی (Monte Carlo Option Pricing) باتچ
• 39. بررسی موردی: حل معادلات ماکسول در электرومغناطیس
• 40. بررسی موردی: بهینه‌سازی محاسبات شیمی محاسبه (DFT) روی سیستم‌های ترکیبی
• 41. استراتژی‌های تست و اعتبارسنجی عددی برای هسته‌های بهینه
• 42. مدیریت خطا و ثبات عددی در Mixed‑Precision
• 43. ابزارهای توسعه: CMake، Spack، Conan برای کتابخانه‌های HPC
• 44. استقرار در ابر (Cloud) و کانتینرها: Docker، Singularity، Kubernetes
• 45. بهینه‌سازی مصرف انرژی و Power‑Capping در مراکز داده
• 46. روندهای آینده: Quantum‑Inspired Algorithms، Neuromorphic Accelerators
• 47. آموزش‌های پیشرفته: نوشتن Kernelهای سفارشی با PTX/SASS
• 48. پروژه نهایی: طراحی و پیاده‌سازی یک کتابخانه Batched Linear Algebra کامل