فلش‌کارت‌های آموزشی جامع محاسبه کارآمد مسیر Lasso؛ از بهینه‌سازی L1 تا الگوریتم‌های سریع انتخاب ویژگی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره جامع محاسبه کارآمد مسیر Lasso؛ از بهینه‌سازی L1 تا الگوریتم‌های سریع انتخاب ویژگی

موضوع کلی: یادگیری ماشین و بهینه‌سازی آماری

موضوع میانی: رگرسیون منظم‌سازی‌شده و مسیرهای منظم‌سازی Lasso

📋 سرفصل‌های دوره

• 1. مبانی رگرسیون خطی و مسئله انتخاب ویژگی
• 2. مفهوم منظم‌سازی در یادگیری ماشین
• 3. مقایسه Ridge، Lasso و Elastic Net
• 4. تعریف تابع هدف در رگرسیون Lasso
• 5. جریمه L1 و ایجاد تنکی در ضرایب
• 6. تأثیر پارامتر تنظیم λ بر مدل
• 7. تفسیر هندسی مسئله Lasso
• 8. شرایط بهینگی و KKT در Lasso
• 9. نقش استانداردسازی متغیرهای پیش‌بین
• 10. رفتار Lasso در حضور متغیرهای همبسته
• 11. Lasso در حالت تعداد ویژگی‌های بیشتر از نمونه‌ها
• 12. تعریف مسیر Lasso و مسیر ضرایب
• 13. ویژگی قطعه‌ای-خطی مسیر Lasso
• 14. نقاط تغییر در مسیر منظم‌سازی
• 15. ورود و خروج متغیرها از مدل
• 16. رابطه مسیر Lasso با انتخاب ویژگی
• 17. الگوریتم Least Angle Regression و ارتباط آن با Lasso
• 18. محاسبه مسیر Lasso با LARS
• 19. مراحل اصلی الگوریتم LARS-Lasso
• 20. به‌روزرسانی مجموعه فعال در LARS
• 21. محاسبه جهت حرکت ضرایب
• 22. تشخیص نقاط شکست مسیر
• 23. کنترل گام‌های مسیر در الگوریتم Lasso
• 24. محدودیت‌های محاسبه مستقیم مسیر Lasso
• 25. مبانی بهینه‌سازی مختصاتی برای Lasso
• 26. روش Coordinate Descent در حل مسئله Lasso
• 27. حل تک‌مختصاتی تابع هدف
• 28. عملگر Soft-Thresholding در بهینه‌سازی L1
• 29. به‌روزرسانی چرخه‌ای ضرایب
• 30. شرایط توقف در Coordinate Descent
• 31. تحلیل همگرایی Coordinate Descent
• 32. Warm Start در محاسبه مسیر
• 33. استفاده از جواب λ قبلی برای λ جدید
• 34. انتخاب شبکه مقادیر λ
• 35. محاسبه λ بیشینه و شروع مسیر
• 36. انتخاب λ حداقل و طول مسیر
• 37. اثر تعداد نقاط مسیر بر زمان محاسبه
• 38. استفاده از مسیر کاهشی λ برای افزایش سرعت
• 39. استفاده از راهکارهای Screening در Lasso
• 40. مفهوم Strong Rules در حذف ویژگی‌ها
• 41. Gap Safe Screening برای کاهش فضای مسئله
• 42. شرایط حذف امن متغیرها
• 43. ترکیب Screening با Coordinate Descent
• 44. مدیریت مجموعه فعال در الگوریتم‌های سریع
• 45. چرخه به‌روزرسانی مجموعه فعال
• 46. بازفعال‌سازی متغیرهای حذف‌شده
• 47. استفاده از معیارهای KKT برای بررسی فعال‌سازی
• 48. محاسبه با ماتریس‌های بزرگ و تنک
• 49. بهره‌گیری از Sparsity در داده‌های ورودی
• 50. بهینه‌سازی محاسبات ضرب ماتریس و بردار
• 51. کاهش مصرف حافظه در داده‌های با ابعاد بالا
• 52. محاسبه مسیر Lasso در حالت p بزرگ‌تر از n
• 53. مقایسه LARS و Coordinate Descent
• 54. مقایسه دقت و سرعت الگوریتم‌های محاسبه مسیر
• 55. تحلیل پیچیدگی محاسباتی مسیر Lasso
• 56. پیاده‌سازی مسیر Lasso در Python
• 57. استفاده از lasso_path در Scikit-learn
• 58. پیاده‌سازی مسیر Lasso با Coordinate Descent
• 59. تنظیم پارامترهای محاسباتی مسیر
• 60. محاسبه مسیر با داده‌های استانداردشده
• 61. ترسیم مسیر ضرایب Lasso
• 62. تفسیر نمودار مسیر ضرایب
• 63. انتخاب مدل با Cross-Validation
• 64. انتخاب λ بهینه با خطای اعتبارسنجی
• 65. مقایسه λ حداقل خطا و λ یک انحراف معیار
• 66. ارزیابی مدل منتخب روی داده آزمون
• 67. محاسبه خطای پیش‌بینی در مسیر Lasso
• 68. تحلیل تعداد متغیرهای فعال در طول مسیر
• 69. پیاده‌سازی مسیرهای Lasso با glmnet
• 70. Coordinate Descent مسیرمحور در glmnet
• 71. پشتیبانی از داده‌های بزرگ و Sparse در glmnet
• 72. گسترش محاسبه مسیر به Elastic Net
• 73. مسیرهای منظم‌سازی در رگرسیون لجستیک
• 74. محاسبه مسیر برای مدل‌های خطی تعمیم‌یافته
• 75. کاربرد مسیر Lasso در داده‌های با ابعاد بالا
• 76. مقایسه روش‌های مختلف Screening و Warm Start
• 77. بنچمارک‌گیری از الگوریتم‌های محاسبه مسیر
• 78. تحلیل خطاهای عددی و دقت همگرایی
• 79. بهینه‌سازی زمان اجرا و مصرف حافظه
• 80. طراحی یک پیاده‌سازی کارآمد و مقیاس‌پذیر
• 81. پروژه عملی محاسبه و تحلیل کامل مسیر Lasso