ترجمه فارسی مقاله کاهش ابعاد خارج از هسته برای داده‌های بزرگ از طریق افزونه‌های خارج از نمونه

چکیده

Dimensionality reduction (DR) is a well-established approach for the visualization of high-dimensional data sets. While DR methods are often applied to typical DR benchmark data sets in the literature, they might suffer from high runtime complexity and memory requirements, making them unsuitable for large data visualization especially in environments outside of high-performance computing. To perform DR on large data sets, we propose the use of out-of-sample extensions. Such extensions allow inserting new data into existing projections, which we leverage to iteratively project data into a reference projection that consists only of a small manageable subset. This process makes it possible to perform DR out-of-core on large data, which would otherwise not be possible due to memory and runtime limitations. For metric multidimensional scaling (MDS), we contribute an implementation with out-of-sample projection capability since typical software libraries do not support it. We provide an evaluation of the projection quality of five common DR algorithms (MDS, PCA, t-SNE, UMAP, and autoencoders) using quality metrics from the literature and analyze the trade-off between the size of the reference set and projection quality. The runtime behavior of the algorithms is also quantified with respect to reference set size, out-of-sample batch size, and dimensionality of the data sets. Furthermore, we compare the out-of-sample approach to other recently introduced DR methods, such as PaCMAP and TriMAP, which claim to handle larger data sets than traditional approaches. To showcase the usefulness of DR on this large scale, we contribute a use case where we analyze ensembles of streamlines amounting to one billion projected instances.

چکیده به فارسی (ترجمه ماشینی)

کاهش ابعاد (DR) یک رویکرد کاملاً تثبیت شده برای تجسم مجموعه داده های با ابعاد بالا است.در حالی که روشهای DR اغلب در مجموعه داده های معیار DR معمولی در ادبیات اعمال می شود ، ممکن است از پیچیدگی های زمان بالا و نیازهای حافظه رنج ببرد ، و آنها را برای تجسم داده های بزرگ به ویژه در محیط های خارج از محاسبات با کارایی بالا نامناسب می کند.برای انجام DR در مجموعه داده های بزرگ ، ما استفاده از پسوندهای خارج از نمونه را پیشنهاد می کنیم.چنین برنامه های افزودنی اجازه می دهد تا داده های جدید را در پیش بینی های موجود قرار دهیم ، که ما به داده های تکراری در یک طرح مرجع که فقط از یک زیر مجموعه قابل کنترل کوچک تشکیل شده است ، استفاده می کنیم.این فرآیند امکان انجام DR خارج از هسته را بر روی داده های بزرگ فراهم می کند ، که در غیر این صورت به دلیل محدودیت های حافظه و زمان اجرا امکان پذیر نخواهد بود.برای مقیاس بندی چند بعدی متریک (MDS) ، ما با قابلیت طرح ریزی خارج از نمونه ، از آنجا که کتابخانه های نرم افزاری معمولی از آن پشتیبانی نمی کنند ، یک اجرای را انجام می دهیم.ما با استفاده از معیارهای با کیفیت از ادبیات ، ارزیابی کیفیت پیش بینی پنج الگوریتم DR مشترک (MDS ، PCA ، T-SNE ، UMAP و AutoEncoders) را ارائه می دهیم و تجارت را بین اندازه مجموعه مرجع و کیفیت پیش بینی تجزیه و تحلیل می کنیم.رفتار زمان اجرا الگوریتم ها نیز با توجه به اندازه مجموعه مرجع ، اندازه دسته ای خارج از نمونه و ابعاد مجموعه داده ها اندازه گیری می شود.علاوه بر این ، ما رویکرد خارج از نمونه را با سایر روشهای DR که اخیراً معرفی شده اند ، مانند PACMAP و TRIMAP ، که ادعا می کنند مجموعه داده های بزرگتر را نسبت به رویکردهای سنتی انجام می دهند ، مقایسه می کنیم.برای نشان دادن سودمندی DR در این مقیاس بزرگ ، ما یک مورد استفاده را ارائه می دهیم که در آن مجموعه های خطوط ساده به یک میلیارد نمونه پیش بینی شده را تجزیه و تحلیل می کنیم.