فلش‌کارت‌های آموزشی کاربرد MCMC در تسریع بهینه‌سازی مدل‌های بیزی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کاربرد MCMC در تسریع بهینه‌سازی مدل‌های بیزی

موضوع کلی: روش‌های نمونه‌گیری مونت‌کارلو مارکوف (MCMC) در آمار بیزی

موضوع میانی: کاربرد MCMC در بهینه‌سازی (Optimization)

📋 سرفصل‌های دوره

• 1. کاربرد MCMC در بهینه‌سازی مدل‌های بیزی: تعریف، مزایا و محدودیت‌ها
• 2. تعریف مسئله بهینه‌سازی بیزی؛ پارامترهای تصمیم، تابع هدف و داده
• 3. پیش‌نهاد، likelihood و posterior به‌عنوان هدف نمونه‌گیری
• 4. نقش prior در محدودکردن فضای جست‌وجو و کاهش هزینه محاسباتی
• 5. مقیاس‌گذاری پارامترها، تبدیلات و پایداری مدل
• 6. مدل‌های هرمی و بهینه‌سازی پارامترهای سطح بالاتر
• 7. نمونه‌گیری از posterior برای یافتن ناحیه بهینه به‌جای یک جواب قطعی
• 8. تفاوت MCMC با گرادیان‌محور، جست‌وجوی شبکه‌ای و الگوریتم‌های قطعی
• 9. زنجیره مارکوف، حالت پایدار و توزیع هدف
• 10. شرط تفصیلی و ساخت زنجیره‌ای با posterior درست
• 11. Metropolis–Hastings و محاسبه نسبت پذیرش
• 12. طراحی proposal، مقیاس آن و نرخ پذیرش متعادل
• 13. Gibbs sampling و به‌روزرسانی شرطی در مدل‌های بیزی
• 14. استفاده از data augmentation برای ساده‌سازی به‌روزرسانی‌ها
• 15. نمونه‌گیری شرطی و ادغام پارامترهای غیرهدف
• 16. نمونه‌گیری لبه‌ای و کاهش بعد مؤثر مدل
• 17. نمونه‌گیری با برش و حذف تنظیمات دشوار proposal
• 18. نمونه‌گیری گرادیانی و نقش شیب posterior
• 19. Metropolis-adjusted Langevin algorithm
• 20. Hamiltonian Monte Carlo و انرژی فرضی
• 21. مسیرهای Hamiltonian و یکپارچه‌سازی symplectic
• 22. انتخاب step size و تعداد قدم‌ها در HMC
• 23. No-U-Turn Sampler و انتخاب خودکار مسیر
• 24. MCMC تطبیقی و تنظیم خودکار proposal در حین اجرا
• 25. طراحی proposalهای mixture برای posteriorهای چنددوشکوف
• 26. روش‌های rejection و independence sampler برای نمونه‌گیری کارآمد
• 27. tempered posterior و نرم‌کردن موانع انرژی
• 28. parallel tempering و عبور میان دوشکوف‌های دور از هم
• 29. simulated annealing به‌عنوان MCMC برای بهینه‌سازی سراسری
• 30. انتقال دانش میان دمای پایین و زنجیره‌های بهینه‌سازی
• 31. نمونه‌گیری از posterior برای انتخاب خودکار پارامترهای مدل
• 32. بهینه‌سازی بیزی با مدل جایگزین و posterior sampling
• 33. نقش surrogate در کاهش تعداد ارزیابی‌های گران مدل
• 34. تابع‌های acquisition و ارتباط آن با posterior MCMC
• 35. بهینه‌سازی acquisition با MCMC در فضای پیچیده
• 36. نمونه‌گیری پس‌زمینه برای Thompson sampling و تصمیم‌گیری فعال
• 37. طراحی آزمایش‌های بعدی بر پایه عدم‌قطعیت posterior
• 38. مدل‌های چندهدفه و نمونه‌گیری از مجموعه جواب‌های Pareto
• 39. بهینه‌سازی با قیود و تبدیل قیود به prior یا penalty بیزی
• 40. مدیریت عدم‌تشخیص و priorهای informative در بهینه‌سازی
• 41. نمونه‌گیری از posterior در مدل‌های با likelihood ناسرشده
• 42. روش‌های شبه‌likelihood و approximate Bayesian computation برای هدف‌های سخت
• 43. استفاده از داده‌های ناقص و augmentation در چرخه بهینه‌سازی
• 44. MCMC گرادیانی با minibatch و کاهش هزینه هر مرحله
• 45. Stochastic Gradient Langevin Dynamics و تعادل نویز و گرادیان
• 46. تخمین گرادیان کم‌وصیت و کنترل واریانس در MCMC
• 47. بهینه‌سازی parallel chains و استفاده مستقل از هسته‌ها
• 48. روش‌های data-parallel و sharding برای مدل‌های بزرگ
• 49. همگام‌سازی زنجیره‌ها و مدیریت هزینه ارتباط در MCMC توزیع‌شده
• 50. کدگذاری بردارمحور، JIT و بهینه‌سازی حافظه
• 51. استفاده از GPU و ساختارهای داده برای ارزیابی سریع posterior
• 52. ذخیره‌سازی و استفاده مجدد از گرادیان‌ها و نتایج نمونه‌گیری
• 53. انتخاب stop criterion بر پایه هزینه محاسباتی و کیفیت posterior
• 54. تشخیص همگرایی با trace plot و رفتار زنجیره
• 55. محاسبه R-hat، ESS و autocorrelation time
• 56. برآورد خطای Monte Carlo و تعداد نمونه‌های موردنیاز
• 57. تنظیم burn-in و warm-start برای کاهش زمان اجرا
• 58. ارزیابی bias در MCMC تطبیقی و زنجیره‌های کوتاه
• 59. اعتبارسنجی posterior با posterior predictive و سناریوهای حساسیت
• 60. انتخاب مدل و hyperparameter با MCMC و معیارهای بیزی
• 61. بررسی حساسیت جواب بهینه نسبت به prior و likelihood
• 62. تخمین عدم‌قطعیت مقدار بهینه و تصمیم‌های پایدار
• 63. انتخاب تصمیم بر پایه expected utility و risk بیزی
• 64. ارزیابی عملکرد MCMC در بهینه‌سازی: دقت، سرعت و مصرف حافظه
• 65. مقایسه MCMC با Bayesian optimization، simulated annealing و گرادیان معمولی
• 66. طراحی pipeline کامل از مدل‌سازی تا نمونه‌گیری و تصمیم‌گیری
• 67. پیاده‌سازی عملی با Stan، PyMC یا ابزارهای مشابه
• 68. کنترل نسخه، reproducibility و مستندسازی تنظیمات MCMC
• 69. شناخت شکست‌های رایج: autocorrelation بالا، divergences و proposal نامناسب
• 70. مطالعه موردی: تسریع بهینه‌سازی یک مدل بیزی با MCMC