فلش‌کارت‌های آموزشی GPU Computing in Bayesian MCMC: From Theory to Practice

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره GPU Computing in Bayesian MCMC: From Theory to Practice

موضوع کلی: روش‌های نمونه‌گیری مونت‌کارلو مارکوف (MCMC) در آمار بیزی

موضوع میانی: بهره‌گیری از قابلیت‌های GPU

📋 سرفصل‌های دوره

• 1. مبانی استنتاج بیزی با MCMC
• 2. مدل‌سازی posterior و چگالی احتمال
• 3. مقایسه Gibbs، Metropolis–Hastings، HMC و NUTS
• 4. مفاهیم همگرایی زنجیره مارکوف
• 5. انتخاب معیار توقف و نمونه‌های اولیه
• 6. محاسبات پایدار در فضای لگاریتمی
• 7. معماری محاسبات هم‌زمان GPU
• 8. مدل برنامه‌نویسی CUDA
• 9. اجرای kernels و مدیریت threads، blocks و grids
• 10. تفاوت الگوهای محاسباتی CPU و GPU
• 11. طراحی kernel برای ارزیابی posterior
• 12. طراحی kernel برای تولید پیشنهاد
• 13. طراحی kernel برای تصمیم پذیرش
• 14. کاهش divergence در kernels
• 15. آرایش داده‌ها برای محاسبات برداری
• 16. memory coalescing در kernels MCMC
• 17. بهینه‌سازی cache برای parameters و likelihood
• 18. استفاده از shared memory
• 19. مدیریت constant و global memory
• 20. کاهش هزینه انتقال CPU–GPU
• 21. استفاده از pinned memory
• 22. مدیریت asynchronous transfers
• 23. استفاده از CUDA streams
• 24. هم‌پوشانی محاسبه و انتقال داده
• 25. همگام‌سازی و خطاهای وابستگی
• 26. تولید اعداد تصادفی روی GPU
• 27. Philox و Threefry برای MCMC
• 28. مدیریت streams تصادفی مستقل
• 29. بازتولیدپذیری نتایج MCMC
• 30. موازی‌سازی زنجیره‌های مستقل
• 31. محدودیت‌های موازی‌سازی زنجیره‌ها
• 32. روش‌های ensemble در MCMC
• 33. Population MCMC روی GPU
• 34. Parallel Tempering روی GPU
• 35. Particle MCMC برای likelihoodهای پنهان
• 36. ارزیابی موازی چند candidate
• 37. نمونه‌برداری Metropolis–Hastings روی GPU
• 38. Gibbs Sampling روی GPU
• 39. HMC روی GPU
• 40. هم‌گرایی leapfrog
• 41. تولید momentum روی GPU
• 42. محاسبه انرژی همیلتنی
• 43. بهینه‌سازی trajectory integration
• 44. HMC با خودکار مشتق‌گیری
• 45. بهینه‌سازی حافظه در autodiff
• 46. ماتریس جرم در HMC
• 47. برآورد و تنظیم mass matrix
• 48. NUTS روی GPU
• 49. ساخت درخت dual averaging در NUTS
• 50. انتخاب خودکار step size در NUTS
• 51. کنترل divergences و depth در NUTS
• 52. نمونه‌برداری با گرادیان تصادفی
• 53. استفاده از mini-batch likelihood
• 54. تعادل bias و variance در stochastic MCMC
• 55. داده‌های sparse در kernels likelihood
• 56. محاسبه کارآمد Cholesky
• 57. محاسبه log determinant
• 58. مدل‌های خطی و generalized linear روی GPU
• 59. مدل‌های hierarchical روی GPU
• 60. مدل‌های Gaussian Process روی GPU
• 61. ماژولارسازی مدل‌های احتمالاتی
• 62. PyTorch برای MCMC روی GPU
• 63. JAX برای MCMC روی GPU
• 64. TensorFlow Probability روی GPU
• 65. NumPyro روی GPU
• 66. Stan و CUDA برای مدل‌های بیزی
• 67. vectorization در برابر GPU parallelism
• 68. JIT compilation برای kernels محاسباتی
• 69. بهینه‌سازی XLA در JAX
• 70. پروفایل‌گیری عملکرد GPU
• 71. اندازه‌گیری latency و throughput
• 72. بهینه‌سازی مصرف حافظه
• 73. benchmarking الگوریتم‌ها و پیاده‌سازی‌ها
• 74. محاسبه autocorrelation روی GPU
• 75. محاسبه R-hat و ESS
• 76. تشخیص divergences در HMC و NUTS
• 77. تحلیل tree depth و acceptance rate
• 78. posterior predictive sampling روی GPU
• 79. اعتبارسنجی نتیجه‌های MCMC
• 80. طراحی pipeline کامل از data به posterior
• 81. deployment of GPU MCMC workloads
• 82. عیب‌یابی خطاهای رایج در پیاده‌سازی GPU MCMC
• 83. مقیام‌پذیری مدل‌های بیزی بزرگ روی GPU
• 84. بازتولیدپذیری و کنترل نسخه در پروژه‌های MCMC
• 85. پیاده‌سازی پروژه عملی Bayesian MCMC روی GPU