ترجمه فارسی مقاله شبکه های عصبی به عنوان مدل های اسپین: از شیشه تا نظم پنهان از طریق آموزش

چکیده

We explore a one-to-one correspondence between a neural network (NN) and a statistical mechanical spin model where neurons are mapped to Ising spins and weights to spin-spin couplings. The process of training an NN produces a family of spin Hamiltonians parameterized by training time. We study the magnetic phases and the melting transition temperature as training progresses. First, we prove analytically that the common initial state before training–an NN with independent random weights–maps to a layered version of the classical Sherrington-Kirkpatrick spin glass exhibiting a replica symmetry breaking. The spin-glass-to-paramagnet transition temperature is calculated. Further, we use the Thouless-Anderson-Palmer (TAP) equations–a theoretical technique to analyze the landscape of energy minima of random systems–to determine the evolution of the magnetic phases on two types of NNs (one with continuous and one with binarized activations) trained on the MNIST dataset. The two NN types give rise to similar results, showing a quick destruction of the spin glass and the appearance of a phase with a hidden order, whose melting transition temperature $T_c$ grows as a power law in training time. We also discuss the properties of the spectrum of the spin system’s bond matrix in the context of rich vs. lazy learning. We suggest that this statistical mechanical view of NNs provides a useful unifying perspective on the training process, which can be viewed as selecting and strengthening a symmetry-broken state associated with the training task.

چکیده به فارسی (ترجمه ماشینی)

ما یک مکاتبات یک به یک بین یک شبکه عصبی (NN) و یک مدل چرخش مکانیکی آماری را کشف می کنیم که در آن نورون ها برای چرخش و وزنه ها برای اتصال به کوپلینگ های چرخشی نقشه برداری می شوند.روند آموزش NN خانواده ای از اسپین همیلتونیان را که با زمان آموزش پارامتر می شود ، تولید می کند.ما مراحل مغناطیسی و دمای انتقال ذوب را با پیشرفت آموزش مطالعه می کنیم.اول ، ما از لحاظ تحلیلی ثابت می کنیم که حالت اولیه مشترک قبل از آموزش-NN با وزن تصادفی مستقل-نقشه هایی را به یک نسخه لایه ای از شیشه چرخش کلاسیک شرینگتون-کرکپاتریک که دارای تقارن ماکت است.دمای انتقال اسپین به پارامغنت محاسبه می شود.علاوه بر این ، ما از معادلات Thouless-Anderson-Palmer (TAP)-یک تکنیک نظری برای تجزیه و تحلیل منظره حداقل انرژی سیستم های تصادفی استفاده می کنیم-برای تعیین تکامل مراحل مغناطیسی در دو نوع NN (یکی با مداوم و یکبا فعال سازی های باناری) که در مجموعه داده MNIST آموزش دیده است.دو نوع NN نتایج مشابهی را به همراه می آورند ، که نشان دهنده تخریب سریع شیشه چرخش و ظاهر یک فاز با یک دستور پنهان است که دمای انتقال ذوب آن $ t_c $ به عنوان یک قانون قدرت در زمان آموزش رشد می کند.ما همچنین در مورد خصوصیات طیف ماتریس باند سیستم چرخش در زمینه یادگیری غنی و تنبل بحث می کنیم.ما پیشنهاد می کنیم که این دیدگاه مکانیکی آماری از NNS یک چشم انداز متحد مفید در مورد فرآیند آموزش را فراهم کند ، که می تواند به عنوان انتخاب و تقویت یک حالت تقارن شکسته مرتبط با کار آموزش مشاهده شود.