Optimization and Control,Machine Learning,بهینه سازی و کنترل , یادگیری ماشین ,
توضیحات
Submitted 20 August, 2024; originally announced August 2024. , Comments: A preliminary version of this manuscript has appeared in a conference proceeding. Please refer to Yifan Hu, Xin Chen, and Niao He. On the bias-variance-cost tradeoff of stochastic optimization. Advances in Neural Information Processing Systems, 2021
توضیحات به فارسی
20 اوت 2024 ارسال شد.در ابتدا اوت 2024 اعلام شد. ، نظرات: نسخه اولیه این نسخه در یک کنفرانس در یک کنفرانس ظاهر شده است.لطفاً به Yifan Hu ، Xin Chen و Niao He مراجعه کنید.در مورد تجارت تعصب-واریانس بهینه سازی تصادفی.پیشرفت در سیستم های پردازش اطلاعات عصبی ، 2021
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
چکیده
We consider stochastic optimization when one only has access to biased stochastic oracles of the objective and the gradient, and obtaining stochastic gradients with low biases comes at high costs. This setting captures various optimization paradigms, such as conditional stochastic optimization, distributionally robust optimization, shortfall risk optimization, and machine learning paradigms, such as contrastive learning. We examine a family of multi-level Monte Carlo (MLMC) gradient methods that exploit a delicate tradeoff among bias, variance, and oracle cost. We systematically study their total sample and computational complexities for strongly convex, convex, and nonconvex objectives and demonstrate their superiority over the widely used biased stochastic gradient method. When combined with the variance reduction techniques like SPIDER, these MLMC gradient methods can further reduce the complexity in the nonconvex regime. Our results imply that a series of stochastic optimization problems with biased oracles, previously considered to be more challenging, is fundamentally no harder than the classical stochastic optimization with unbiased oracles. We also delineate the boundary conditions under which these problems become more difficult. Moreover, MLMC gradient methods significantly improve the best-known complexities in the literature for conditional stochastic optimization and shortfall risk optimization. Our extensive numerical experiments on distributionally robust optimization, pricing and staffing scheduling problems, and contrastive learning demonstrate the superior performance of MLMC gradient methods.
چکیده به فارسی (ترجمه ماشینی)
ما بهینه سازی تصادفی را در نظر می گیریم که فقط فرد به اوراکل های تصادفی مغرضانه از هدف و شیب دسترسی داشته باشد و به دست آوردن شیب های تصادفی با تعصب کم با هزینه های بالایی به دست می آید.این تنظیم پارادایم های مختلف بهینه سازی ، مانند بهینه سازی تصادفی شرطی ، بهینه سازی توزیع قوی ، بهینه سازی خطر کمبود و پارادایم های یادگیری ماشین ، مانند یادگیری متضاد را ضبط می کند.ما خانواده ای از روشهای شیب چند سطحی مونت کارلو (MLMC) را بررسی می کنیم که از یک تجارت ظریف در بین تعصب ، واریانس و هزینه اوراکل بهره برداری می کند.ما به طور سیستماتیک نمونه کل و پیچیدگی های محاسباتی آنها را برای اهداف محدب ، محدب و غیرمستقیم به شدت مطالعه می کنیم و برتری آنها را نسبت به روش گرادیان تصادفی مغرضانه استفاده می کنیم.هنگامی که با تکنیک های کاهش واریانس مانند عنکبوت ترکیب می شود ، این روشهای شیب MLMC می توانند پیچیدگی در رژیم غیر کنفکس را کاهش دهند.نتایج ما حاکی از آن است که یک سری از مشکلات بهینه سازی تصادفی با اوراکل های مغرضانه ، که قبلاً چالش برانگیز تر تلقی می شد ، اساساً سخت تر از بهینه سازی تصادفی کلاسیک با اوراکل های بی طرفانه نیست.ما همچنین شرایط مرزی را که تحت آن این مشکلات دشوارتر می شود ، ترسیم می کنیم.علاوه بر این ، روشهای شیب MLMC به طور قابل توجهی پیچیدگی های شناخته شده در ادبیات را برای بهینه سازی تصادفی شرطی و بهینه سازی خطر کمبود بهبود می بخشد.آزمایش های عددی گسترده ما در مورد بهینه سازی بهینه سازی قوی ، قیمت گذاری و مشکلات برنامه ریزی کارکنان و یادگیری متضاد ، عملکرد برتر روشهای شیب MLMC را نشان می دهد.
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
