ترجمه فارسی مقاله بهینه سازی با ابعاد بالا برای PCA تانسور چند ضلعی

چکیده

We study the dynamics of two local optimization algorithms, online stochastic gradient descent (SGD) and gradient flow, within the framework of the multi-spiked tensor model in the high-dimensional regime. This multi-index model arises from the tensor principal component analysis (PCA) problem, which aims to infer $r$ unknown, orthogonal signal vectors within the $N$-dimensional unit sphere through maximum likelihood estimation from noisy observations of an order-$p$ tensor. We determine the number of samples and the conditions on the signal-to-noise ratios (SNRs) required to efficiently recover the unknown spikes from natural initializations. Specifically, we distinguish between three types of recovery: exact recovery of each spike, recovery of a permutation of all spikes, and recovery of the correct subspace spanned by the signal vectors. We show that with online SGD, it is possible to recover all spikes provided a number of sample scaling as $N^{p-2}$, aligning with the computational threshold identified in the rank-one tensor PCA problem [Ben Arous, Gheissari, Jagannath 2020, 2021]. For gradient flow, we show that the algorithmic threshold to efficiently recover the first spike is also of order $N^{p-2}$. However, recovering the subsequent directions requires the number of samples to scale as $N^{p-1}$. Our results are obtained through a detailed analysis of a low-dimensional system that describes the evolution of the correlations between the estimators and the spikes. In particular, the hidden vectors are recovered one by one according to a sequential elimination phenomenon: as one correlation exceeds a critical threshold, all correlations sharing a row or column index decrease and become negligible, allowing the subsequent correlation to grow and become macroscopic. The sequence in which correlations become macroscopic depends on their initial values and on the associated SNRs.

چکیده به فارسی (ترجمه ماشینی)

ما دینامیک دو الگوریتم بهینه سازی محلی ، نزول شیب تصادفی آنلاین (SGD) و جریان شیب را در چارچوب مدل تانسور چند تراش در رژیم با ابعاد بالا مطالعه می کنیم.این مدل چند شاخص از مشکل تجزیه و تحلیل مؤلفه اصلی Tensor (PCA) ناشی می شود ، که هدف آن استنباط بردارهای سیگنال $ $ ناشناخته ، متعامد در حوزه واحد بعدی $ $ از طریق برآورد حداکثر احتمال از مشاهدات پر سر و صدا از یک سفارش-P $ tensor.ما تعداد نمونه ها و شرایط موجود در نسبت سیگنال به نویز (SNR) مورد نیاز برای بازیابی کارآمد سنبله های ناشناخته از اولیه سازی طبیعی را تعیین می کنیم.به طور خاص ، ما بین سه نوع بهبودی تمایز قائل می شویم: بازیابی دقیق هر سنبله ، بازیابی جایگشت همه سنبله ها و بازیابی زیر فضای صحیح که توسط بردارهای سیگنال درج شده است.ما نشان می دهیم که با SGD آنلاین ، می توان همه سنبله ها را بازیابی کرد و تعدادی از نمونه ها را به عنوان $ n^{p-2} $ فراهم کرد ، و با آستانه محاسباتی مشخص شده در مشکل Tensor PCA رتبه بندی می شود [بن برانگیختگی ، قسریساری، جاگانات 2020 ، 2021].برای جریان شیب ، ما نشان می دهیم که آستانه الگوریتمی برای بازیابی کارآمد اولین سنبله نیز از سفارش $ n^{p-2} $ است.با این حال ، بازیابی دستورالعمل های بعدی به تعداد نمونه ها نیاز دارد تا به عنوان $ n^{p-1} $ مقیاس شود.نتایج ما از طریق تجزیه و تحلیل دقیق از یک سیستم کم بعدی که توصیف تکامل همبستگی بین برآوردگرها و سنبله ها است ، بدست می آید.به طور خاص ، بردارهای پنهان یک به یک مطابق با یک پدیده از بین بردن پی در پی بازیابی می شوند: از آنجا که یک همبستگی از یک آستانه بحرانی فراتر می رود ، تمام همبستگی هایی که دارای یک ردیف یا شاخص ستون هستند کاهش می یابد و ناچیز می شود و باعث می شود که همبستگی بعدی رشد کند و ماکروسکوپی شود.دنباله ای که در آن همبستگی می شود ماکروسکوپی به مقادیر اولیه آنها و SNR های مرتبط بستگی دارد.