ترجمه فارسی مقاله یادگیری مدل های چند شاخص با شبکه های عصبی از طریق دینامیک لانژوین میدان میانگین

چکیده

We study the problem of learning multi-index models in high-dimensions using a two-layer neural network trained with the mean-field Langevin algorithm. Under mild distributional assumptions on the data, we characterize the effective dimension $d_{\mathrm{eff}}$ that controls both sample and computational complexity by utilizing the adaptivity of neural networks to latent low-dimensional structures. When the data exhibit such a structure, $d_{\mathrm{eff}}$ can be significantly smaller than the ambient dimension. We prove that the sample complexity grows almost linearly with $d_{\mathrm{eff}}$, bypassing the limitations of the information and generative exponents that appeared in recent analyses of gradient-based feature learning. On the other hand, the computational complexity may inevitably grow exponentially with $d_{\mathrm{eff}}$ in the worst-case scenario. Motivated by improving computational complexity, we take the first steps towards polynomial time convergence of the mean-field Langevin algorithm by investigating a setting where the weights are constrained to be on a compact manifold with positive Ricci curvature, such as the hypersphere. There, we study assumptions under which polynomial time convergence is achievable, whereas similar assumptions in the Euclidean setting lead to exponential time complexity.

چکیده به فارسی (ترجمه ماشینی)

ما مشکل یادگیری مدل های چند شاخص را در رنگ های بالا با استفاده از یک شبکه عصبی دو لایه آموزش داده شده با الگوریتم لانژوین میانگین میدان مطالعه می کنیم.تحت فرضیات توزیع خفیف در مورد داده ها ، ما ابعاد مؤثر $ d _ {\ mathrm {eff}} $ را توصیف می کنیم که هر دو نمونه و پیچیدگی محاسباتی را با استفاده از تطبیق شبکه های عصبی به ساختارهای کم بعدی پنهان کنترل می کند.هنگامی که داده ها چنین ساختاری را نشان می دهند ، $ d _ {\ mathrm {eff}} $ می تواند به طور قابل توجهی کوچکتر از بعد محیط باشد.ما ثابت می کنیم که پیچیدگی نمونه تقریباً به صورت خطی با $ d _ {\ mathrm {eff}} $ رشد می کند ، با دور زدن محدودیت های اطلاعات و نمایندگان تولیدی که در تجزیه و تحلیل های اخیر از یادگیری ویژگی های مبتنی بر شیب ظاهر شده است.از طرف دیگر ، پیچیدگی محاسباتی ممکن است به ناچار با $ D _ {\ Mathrm {Eff}}} $ در بدترین سناریو رشد کند.با انگیزه در بهبود پیچیدگی محاسباتی ، ما اولین قدم ها را به سمت همگرایی زمان چند جمله ای الگوریتم لانژوین میانگین میدان با بررسی تنظیماتی که در آن وزنه ها محدود شده اند بر روی یک منیفولد جمع و جور با انحنای Ricci مثبت ، مانند Hypersphere ، انجام می دهیم.در آنجا ، ما فرضیاتی را مطالعه می کنیم که براساس آن همگرایی زمان چند جمله ای قابل دستیابی است ، در حالی که فرضیات مشابه در تنظیم اقلیدسی منجر به پیچیدگی زمان نمایی می شود.