مقاله دستیابی به حداکثر رساندن حاشیه به صورت نمایی سریع از طریق تغییر ساختار هنجار پیشرونده

چکیده

In this work, we investigate the margin-maximization bias exhibited by gradient-based algorithms in classifying linearly separable data. We present an in-depth analysis of the specific properties of the velocity field associated with (normalized) gradients, focusing on their role in margin maximization. Inspired by this analysis, we propose a novel algorithm called Progressive Rescaling Gradient Descent (PRGD) and show that PRGD can maximize the margin at an {\em exponential rate}. This stands in stark contrast to all existing algorithms, which maximize the margin at a slow {\em polynomial rate}. Specifically, we identify mild conditions on data distribution under which existing algorithms such as gradient descent (GD) and normalized gradient descent (NGD) {\em provably fail} in maximizing the margin efficiently. To validate our theoretical findings, we present both synthetic and real-world experiments. Notably, PRGD also shows promise in enhancing the generalization performance when applied to linearly non-separable datasets and deep neural networks.

چکیده به فارسی (ترجمه ماشینی)

در این کار ، ما تعصب حاشیه سازی حاشیه نمایش داده شده توسط الگوریتم های مبتنی بر گرادیان در طبقه بندی داده های جدا شده خطی را بررسی می کنیم.ما یک تجزیه و تحلیل عمیق از خصوصیات خاص میدان سرعت مرتبط با شیب (عادی) ارائه می دهیم ، با تمرکز بر نقش آنها در حداکثر رساندن حاشیه.با الهام از این تجزیه و تحلیل ، ما یک الگوریتم جدید به نام نزول شیب Rescaling Progressive (PRGD) پیشنهاد می کنیم و نشان می دهیم که PRGD می تواند حاشیه را با نرخ نمایی { em به حداکثر برساند.این در تضاد واضح با تمام الگوریتم های موجود است ، که حاشیه را با سرعت چند جمله ای آهسته em حداکثر می کند.به طور خاص ، ما شرایط خفیف را در توزیع داده ها که تحت آن الگوریتم های موجود مانند نزول شیب (GD) و نزول شیب نرمال (NGD) در حداکثر رساندن حاشیه به طور مؤثر انجام می دهیم ، شناسایی می کنیم.برای اعتبارسنجی یافته های نظری خود ، هر دو آزمایش مصنوعی و واقعی را ارائه می دهیم.نکته قابل توجه ، PRGD همچنین نوید را در تقویت عملکرد تعمیم در هنگام استفاده از مجموعه داده های غیر قابل تفکیک خطی و شبکه های عصبی عمیق نشان می دهد.