ترجمه فارسی مقاله نقاب در آینه: پراکندگی ضمنی

چکیده

Sparsifying deep neural networks to reduce their inference cost is an NP-hard problem and difficult to optimize due to its mixed discrete and continuous nature. Yet, as we prove, continuous sparsification has already an implicit bias towards sparsity that would not require common projections of relaxed mask variables. While implicit rather than explicit regularization induces benefits, it usually does not provide enough flexibility in practice, as only a specific target sparsity is obtainable. To exploit its potential for continuous sparsification, we propose a way to control the strength of the implicit bias. Based on the mirror flow framework, we derive resulting convergence and optimality guarantees in the context of underdetermined linear regression and demonstrate the utility of our insights in more general neural network sparsification experiments, achieving significant performance gains, particularly in the high-sparsity regime. Our theoretical contribution might be of independent interest, as we highlight a way to enter the rich regime and show that implicit bias is controllable by a time-dependent Bregman potential.

چکیده به فارسی (ترجمه ماشینی)

ایجاد شبکه های عصبی عمیق برای کاهش هزینه استنتاج آنها یک مشکل سخت NP است و به دلیل ماهیت گسسته و مداوم آن ، بهینه سازی آن دشوار است.با این حال ، همانطور که ما ثابت می کنیم ، پراکندگی مداوم در حال حاضر تعصب ضمنی نسبت به کمبود دارد که نیازی به پیش بینی های مشترک متغیرهای ماسک آرام ندارد.در حالی که ضمنی به جای تنظیم صریح ، مزایا را ایجاد می کند ، معمولاً انعطاف پذیری کافی را در عمل فراهم نمی کند ، زیرا تنها یک کمبود هدف خاص قابل دستیابی است.برای بهره برداری از پتانسیل آن برای کمبود مداوم ، ما راهی برای کنترل قدرت تعصب ضمنی پیشنهاد می کنیم.بر اساس چارچوب جریان آینه ، ما نتیجه همگرایی و ضمانت های بهینه را در زمینه رگرسیون خطی مشخص شده به دست می آوریم و کاربرد بینش های ما را در آزمایش های پراکندگی شبکه عصبی عمومی تر نشان می دهیم ، و به دست آوردن عملکرد قابل توجهی ، به ویژه در رژیم بالایی ، دست می یابیم.سهم نظری ما ممکن است مورد علاقه مستقل باشد ، زیرا ما راهی برای ورود به رژیم غنی برجسته می کنیم و نشان می دهیم که تعصب ضمنی با یک پتانسیل Bregman وابسته به زمان قابل کنترل است.