ترجمه فارسی مقاله تحلیل همگرایی برای کدگذاری پراکنده عمیق از طریق شبکه‌های عصبی کانولوشن

چکیده

In this work, we explore the intersection of sparse coding theory and deep learning to enhance our understanding of feature extraction capabilities in advanced neural network architectures. We begin by introducing a novel class of Deep Sparse Coding (DSC) models and establish a thorough theoretical analysis of their uniqueness and stability properties. By applying iterative algorithms to these DSC models, we derive convergence rates for convolutional neural networks (CNNs) in their ability to extract sparse features. This provides a strong theoretical foundation for the use of CNNs in sparse feature learning tasks. We additionally extend this convergence analysis to more general neural network architectures, including those with diverse activation functions, as well as self-attention and transformer-based models. This broadens the applicability of our findings to a wide range of deep learning methods for deep sparse feature extraction. Inspired by the strong connection between sparse coding and CNNs, we also explore training strategies to encourage neural networks to learn more sparse features. Through numerical experiments, we demonstrate the effectiveness of these approaches, providing valuable insights for the design of efficient and interpretable deep learning models.

چکیده به فارسی (ترجمه ماشینی)

در این کار ، ما در مورد تقاطع نظریه کد نویسی پراکنده و یادگیری عمیق برای تقویت درک ما از قابلیت های استخراج ویژگی در معماری های پیشرفته شبکه عصبی بررسی می کنیم.ما با معرفی یک کلاس جدید از مدلهای کد نویسی عمیق (DSC) شروع می کنیم و یک تحلیل نظری کامل از خصوصیات منحصر به فرد و پایداری آنها ایجاد می کنیم.با استفاده از الگوریتم های تکراری در این مدل های DSC ، ما نرخ همگرایی را برای شبکه های عصبی حلقوی (CNN) در توانایی آنها در استخراج ویژگی های پراکنده استخراج می کنیم.این یک پایه نظری قوی برای استفاده از CNN در کارهای یادگیری ویژگی پراکنده فراهم می کند.ما علاوه بر این ، این تجزیه و تحلیل همگرایی را به معماری های عمومی شبکه عصبی عمومی ، از جمله آنهایی که دارای عملکردهای متنوع فعال سازی و همچنین مدل های خودآزمایی و مبتنی بر ترانسفورماتور هستند ، گسترش می دهیم.این کار کاربردی یافته های ما را در طیف گسترده ای از روشهای یادگیری عمیق برای استخراج ویژگی های پراکنده عمیق گسترش می دهد.با الهام از ارتباط محکم بین برنامه نویسی پراکنده و CNN ، ما همچنین استراتژی های آموزشی را برای ترغیب شبکه های عصبی برای یادگیری ویژگی های پراکنده تر بررسی می کنیم.از طریق آزمایش های عددی ، ما اثربخشی این رویکردها را نشان می دهیم و بینش های ارزشمندی را برای طراحی مدلهای یادگیری عمیق کارآمد و قابل تفسیر ارائه می دهیم.