مقاله σ-PCA: یک مدل عصبی یکپارچه برای تحلیل اجزای اصلی خطی و غیرخطی

چکیده

Linear principal component analysis (PCA), nonlinear PCA, and linear independent component analysis (ICA) — those are three methods with single-layer autoencoder formulations for learning linear transformations from data. Linear PCA learns orthogonal transformations (rotations) that orient axes to maximise variance, but it suffers from a subspace rotational indeterminacy: it fails to find a unique rotation for axes that share the same variance. Both nonlinear PCA and linear ICA reduce the subspace indeterminacy from rotational to permutational by maximising statistical independence under the assumption of unit variance. The main difference between them is that nonlinear PCA only learns rotations while linear ICA learns not just rotations but any linear transformation with unit variance. The relationship between all three can be understood by the singular value decomposition of the linear ICA transformation into a sequence of rotation, scale, rotation. Linear PCA learns the first rotation; nonlinear PCA learns the second. The scale is simply the inverse of the standard deviations. The problem is that, in contrast to linear PCA, conventional nonlinear PCA cannot be used directly on the data to learn the first rotation, the first being special as it reduces dimensionality and orders by variances. In this paper, we have identified the cause, and as a solution we propose $σ$-PCA: a unified neural model for linear and nonlinear PCA as single-layer autoencoders. One of its key ingredients: modelling not just the rotation but also the scale — the variances. This model bridges the disparity between linear and nonlinear PCA. And so, like linear PCA, it can learn a semi-orthogonal transformation that reduces dimensionality and orders by variances, but, unlike linear PCA, it does not suffer from rotational indeterminacy.

چکیده به فارسی (ترجمه ماشینی)

تجزیه و تحلیل مؤلفه اصلی خطی (PCA) ، PCA غیرخطی و تجزیه و تحلیل مؤلفه مستقل خطی (ICA)-این سه روش با فرمولاسیون AutoEncoder یک لایه برای یادگیری تحولات خطی از داده ها هستند.PCA خطی تحولات متعامد (چرخش) را که محورهای جهت دار برای به حداکثر رساندن واریانس هستند ، می آموزد ، اما از یک نامحدود چرخشی زیر مجموعه رنج می برد: نتوانسته است یک چرخش منحصر به فرد برای محورهایی که دارای یک واریانس یکسان هستند ، پیدا کند.هر دو PCA غیرخطی و ICA خطی ، با حداکثر رساندن استقلال آماری با فرض واریانس واحد ، نامحدودی زیر فضای را از چرخش به جابجایی کاهش می دهند.تفاوت اصلی بین آنها این است که PCA غیرخطی فقط چرخش ها را می آموزد در حالی که ICA خطی نه تنها چرخش بلکه هرگونه تغییر خطی با واریانس واحد را می آموزد.رابطه بین هر سه را می توان با تجزیه ارزش مفرد تبدیل ICA خطی به دنباله ای از چرخش ، مقیاس ، چرخش درک کرد.PCA خطی اولین چرخش را می آموزد.PCA غیرخطی دوم را می آموزد.مقیاس به سادگی معکوس انحرافات استاندارد است.مشکل این است که ، بر خلاف PCA خطی ، PCA غیرخطی معمولی نمی تواند مستقیماً روی داده ها برای یادگیری چرخش اول استفاده شود ، اولین مورد خاص است زیرا باعث کاهش ابعاد و سفارشات با واریانس می شود.در این مقاله ، ما علت را شناسایی کرده ایم و به عنوان یک راه حل ما $ σ $-PCA را پیشنهاد می کنیم: یک مدل عصبی یکپارچه برای PCA خطی و غیر خطی به عنوان خودروهای تک لایه.یکی از مواد اصلی آن: مدل سازی نه تنها چرخش بلکه مقیاس – واریانس ها.این مدل اختلاف بین PCA خطی و غیرخطی را پل می کند.و بنابراین ، مانند PCA خطی ، می تواند یک تحول نیمه ارتش را بیاموزد که باعث کاهش ابعاد و سفارشات با واریانس می شود ، اما برخلاف PCA خطی ، از نامحدودی چرخشی رنج نمی برد.