فلش‌کارت‌های آموزشی NUTS: ابزاری برای غلبه بر پیچیدگی در مدل‌های بیزی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره NUTS: ابزاری برای غلبه بر پیچیدگی در مدل‌های بیزی

موضوع کلی: روش‌های نمونه‌گیری مونت‌کارلو مارکوف (MCMC) در آمار بیزی

موضوع میانی: No-U-Turn Sampler (NUTS)

📋 سرفصل‌های دوره

• 1. مبانی استدلال بیزی و توزیع апоستریور
• 2. مقدمه‌ای بر نمونه‌گیری مونت‑کارلو مارکوف (MCMC)
• 3. مقایسه روش‌های MCMC کلاسیک: متropolis‑Hastings، Gibbs Sampling
• 4. مفاهیم أساسية دینامیک همیلتونی (Hamiltonian Dynamics)
• 5. مشتق‌گیری گرادیان لگاریتم апоستریور
• 6. معادلات حرکت همیلتونی و محفظه فاز
• 7. الگوریتم همیلتونی مونت‑کارلو (HMC): اصول و پیاده‌سازی
• 8. پارامترهای HMC: اندازه قدم (step size) و ماتریس khối (mass matrix)
• 9. چالش‌های تنظیم دستی پارامترهای HMC
• 10. ایده اصلی No‑U‑Turn Sampler (NUTS)
• 11. معماری درخت دودویی در NUTS
• 12. شرط توقف U‑Turn و تشخیص بازگشت مسیر
• 13. تنظیم خودکار اندازه قدم در NUTS (dual averaging)
• 14. تخمین ماتریس khối تطبیقی در NUTS
• 15. تعیین عمق ماکزیمم درخت (max tree depth) و تأثیر آن
• 16. تشخیص و مدیریت انتقالات واگرای (divergent transitions)
• 17. ارزیابی کیفیت نمونه‌ها: R‑hat، ESS، و ترسیم‌های ردیابی
• 18. تشخیص چسبندگی (sticky) و نوسانات در سری‌های NUTS
• 19. استفاده از NUTS در Stan: سینتکس، مدل‌سازی و عیب‌یابی
• 20. استفاده از NUTS در PyMC: API، متغیرهای احتمالی و نمونه‌گیری
• 21. پیاده‌سازی NUTS در TensorFlow Probability و JAX
• 22. مقایسه عملکرد NUTS با HMC دستی و سایر نمونه‌گیرها
• 23. مدل‌های سلسله‌مراتبی (Hierarchical) و چالش‌های نمونه‌گیری
• 24. NUTS برای مدل‌های با پارامترهای زیاد (high‑dimensional)
• 25. نمونه‌گیری از توزیع‌های چند峰ی (multimodal) با NUTS
• 26. مدل‌های سری زمانی و ناهمگامی در NUTS
• 27. مدل‌های مخفی مارکوف (HMM) و NUTS
• 28. استفاده از NUTS در مدل‌های رگرسیو بیزی پیچیده
• 29. مدل‌های ترکیبی (Mixture Models) و چالش‌های برچسب‌گذاری
• 30. NUTS برای مدل‌های احتمالاتی عمیق (Bayesian Neural Networks)
• 31. تکنیک‌های إعادةپارامتریزاسیون (reparameterization) برای بهبود NUTS
• 32. غیرمرکزی‌سازی (non‑centered parameterization) در مدل‌های سلسله‌مراتبی
• 33. استفاده از متغیرهای مساعد (auxiliary variables) در NUTS
• 34. تنظیم اولویت‌های ماتریس khối برای پارامترهای همبسته
• 35. بررسی حساسیت NUTS به انتخاب پیشین‌ها (priors)
• 36. استفاده از پیشین‌های ضعیف (weakly informative) برای ثبات NUTS
• 37. تشخیص و رفع مشکلات انرژی (energy Bayesian fraction of missing information)
• 38. نمونه‌گیری موازی (parallel chains) و ترکیب نتایج
• 39. استفاده از GPU/TPU برای تسریع NUTS
• 40. مدیریت حافظه و بهینه‌سازی محاسبات در NUTS بزرگ‌مقیاس
• 41. مقایسه NUTS با روش‌های واریاسیونال (Variational Inference)
• 42. ترکیب NUTS و Variational Inference برای khởi tạo بهینه
• 43. استفاده از NUTS در یادگیری ماشین احتمالاتی (Probabilistic ML)
• 44. اعتبارسنجی مدل با پیش‌بینی posteriores predictive checks
• 45. نمایش گرافیکی نتایج NUTS: trace plots، pair plots، energy plots
• 46. استفاده از ArviZ برای تحلیل خروجی NUTS
• 47. تشخیص و اصلاح مشکلات عددی (numerical instability) در NUTS
• 48. استفاده از NUTS در مدل‌های با محدودیت‌ها (constrained parameters)
• 49. تبدیل پارامترهای محدود به فضای غیرمحدود برای NUTS
• 50. NUTS برای مدل‌های با داده‌های گمشده (missing data)
• 51. نمونه‌گیری از توزیع‌های posterior predictive با NUTS
• 52. استفاده از NUTS در تحلیل بقا (Survival Analysis)
• 53. NUTS در مدل‌های فضایی-زمانی (Spatiotemporal Models)
• 54. بهینه‌سازی کارایی NUTS با کنترل عمق درخت پویا
• 55. استفاده از NUTS در مدل‌های因果 (Causal Inference)
• 56. مقایسه NUTS با نمونه‌گیرهای Riemannian Manifold HMC
• 57. NUTS برای مدل‌های با پارامترهای گسسته (discrete parameters) – راهکارها
• 58. استفاده از NUTS در Bayesian Optimization
• 59. نمونه‌گیری از posterior در مدل‌های Generative (VAE، GAN) با NUTS
• 60. اعمال NUTS در سیستم‌های بلادرنگ و آنلاین (Online Bayesian Updating)
• 61. استفاده از NUTS در مدل‌های چندسطحه با داده‌های بزرگ (Big Data)
• 62. تکنیک‌های Subsampling و Mini‑batch در NUTS
• 63. NUTS برای مدل‌های با likelihood نامناسب (intractable likelihood) – Pseudo‑marginal
• 64. استفاده از NUTS در آموزش مدل‌های احتمالاتی گرافیکی (PGM)
• 65. استفاده از NUTS در تحلیل حساسیت و طراحی آزمایش
• 66. بهینه‌سازی تنظیمات NUTS برای معماری‌های سخت‌افزاری خاص
• 67. مطالعه موردی: مدل‌سازی بیزی پیچیده با NUTS در Stan
• 68. مطالعه موردی: NUTS در PyMC برای مدل‌های سلسله‌مراتبی پزشکی
• 69. مطالعه موردی: NUTS در TensorFlow Probability برای شبکه‌های بیزی
• 70. بهترین شیوه‌ها و چک‌لیست نهایی برای اجرای مطمئن NUTS