ترجمه فارسی مقاله در مورد بهبود تعمیم و ثبات یادگیری فقط به جلو از طریق قطبش عصبی

چکیده

Forward-only learning algorithms have recently gained attention as alternatives to gradient backpropagation, replacing the backward step of this latter solver with an additional contrastive forward pass. Among these approaches, the so-called Forward-Forward Algorithm (FFA) has been shown to achieve competitive levels of performance in terms of generalization and complexity. Networks trained using FFA learn to contrastively maximize a layer-wise defined goodness score when presented with real data (denoted as positive samples) and to minimize it when processing synthetic data (corr. negative samples). However, this algorithm still faces weaknesses that negatively affect the model accuracy and training stability, primarily due to a gradient imbalance between positive and negative samples. To overcome this issue, in this work we propose a novel implementation of the FFA algorithm, denoted as Polar-FFA, which extends the original formulation by introducing a neural division (\emph{polarization}) between positive and negative instances. Neurons in each of these groups aim to maximize their goodness when presented with their respective data type, thereby creating a symmetric gradient behavior. To empirically gauge the improved learning capabilities of our proposed Polar-FFA, we perform several systematic experiments using different activation and goodness functions over image classification datasets. Our results demonstrate that Polar-FFA outperforms FFA in terms of accuracy and convergence speed. Furthermore, its lower reliance on hyperparameters reduces the need for hyperparameter tuning to guarantee optimal generalization capabilities, thereby allowing for a broader range of neural network configurations.

چکیده به فارسی (ترجمه ماشینی)

الگوریتم های یادگیری فقط به جلو به تازگی به عنوان گزینه های دیگری برای بازگشت به گرادیان مورد توجه قرار گرفته اند و مرحله عقب مانده این حل کننده دوم را با یک پاس متضاد متضاد دیگر جایگزین می کنند.در میان این رویکردها ، الگوریتم به اصطلاح رو به جلو (FFA) از نظر تعمیم و پیچیدگی به سطح رقابتی عملکرد دست پیدا می کند.شبکه هایی که با استفاده از FFA آموزش داده می شوند یاد می گیرند که هنگام ارائه داده های واقعی (به عنوان نمونه مثبت) ، یک نمره خوب تعریف شده از لایه را به حداکثر برسانند و هنگام پردازش داده های مصنوعی (نمونه های منفی) آن را به حداقل برسانند.با این حال ، این الگوریتم هنوز با ضعف هایی روبرو است که بر دقت مدل و ثبات آموزش تأثیر منفی می گذارد ، در درجه اول به دلیل عدم تعادل شیب بین نمونه های مثبت و منفی.برای غلبه بر این مسئله ، در این کار ما یک اجرای جدید از الگوریتم FFA را ارائه می دهیم ، با عنوان Polar-FFA ، که با معرفی یک بخش عصبی (\ amp {قطبش) بین نمونه های مثبت و منفی ، فرمول اصلی را گسترش می دهد.نورونها در هر یک از این گروه ها هدف از این کار به حداکثر رساندن خوبی های خود در هنگام ارائه با نوع داده مربوطه هستند و از این طریق یک رفتار شیب متقارن ایجاد می کنند.برای سنجش تجربی قابلیت های یادگیری بهبود یافته از قطبی Polar-FFA ، ما چندین آزمایش سیستماتیک را با استفاده از توابع فعال سازی و خوب بودن در مجموعه داده های طبقه بندی تصویر انجام می دهیم.نتایج ما نشان می دهد که قطبی-FFA از نظر دقت و سرعت همگرایی از FFA بهتر است.علاوه بر این ، اعتماد به نفس پایین تر آن به HyperParameters نیاز به تنظیم Hyperparameter را برای تضمین قابلیت های تعمیم بهینه کاهش می دهد ، در نتیجه امکان طیف گسترده ای از تنظیمات شبکه عصبی را فراهم می کند.