ترجمه فارسی مقاله درک یادگیری عمیق از طریق مفاهیم رتبه‌بندی

چکیده

Despite the extreme popularity of deep learning in science and industry, its formal understanding is limited. This thesis puts forth notions of rank as key for developing a theory of deep learning, focusing on the fundamental aspects of generalization and expressiveness. In particular, we establish that gradient-based training can induce an implicit regularization towards low rank for several neural network architectures, and demonstrate empirically that this phenomenon may facilitate an explanation of generalization over natural data (e.g., audio, images, and text). Then, we characterize the ability of graph neural networks to model interactions via a notion of rank, which is commonly used for quantifying entanglement in quantum physics. A central tool underlying these results is a connection between neural networks and tensor factorizations. Practical implications of our theory for designing explicit regularization schemes and data preprocessing algorithms are presented.

چکیده به فارسی (ترجمه ماشینی)

با وجود محبوبیت شدید یادگیری عمیق در علم و صنعت ، درک رسمی آن محدود است.این پایان نامه با تمرکز بر جنبه های اساسی تعمیم و بیان ، مفهوم رتبه را به عنوان کلیدی برای توسعه نظریه یادگیری عمیق ارائه می دهد.به طور خاص ، ما ثابت می کنیم که آموزش مبتنی بر شیب می تواند یک تنظیم ضمنی نسبت به رتبه پایین برای چندین معماری شبکه عصبی را القا کند و به صورت تجربی نشان می دهد که این پدیده ممکن است توضیحی از تعمیم داده های طبیعی (به عنوان مثال ، صوتی ، تصاویر و متن) را تسهیل کند.سپس ، ما توانایی شبکه های عصبی نمودار را برای مدل سازی تعامل از طریق مفهوم درجه مشخص می کنیم ، که معمولاً برای کمیت درگیری در فیزیک کوانتومی استفاده می شود.یک ابزار اصلی که در این نتایج وجود دارد ، ارتباط بین شبکه های عصبی و فاکتوریت های تانسور است.پیامدهای عملی نظریه ما برای طراحی طرح های منظم تنظیم و الگوریتم های پیش پردازش داده ها ارائه شده است.