مقاله تجزیه CP مقیاس پذیر برای یادگیری تانسور با استفاده از هسته های تانسور GPU

چکیده

CP decomposition is a powerful tool for data science, especially gene analysis, deep learning, and quantum computation. However, the application of tensor decomposition is largely hindered by the exponential increment of the computational complexity and storage consumption with the size of tensors. While the data in our real world is usually presented as trillion- or even exascale-scale tensors, existing work can only support billion-scale scale tensors. In our work, we propose the Exascale-Tensor to mitigate the significant gap. Specifically, we propose a compression-based tensor decomposition framework, namely the exascale-tensor, to support exascale tensor decomposition. Then, we carefully analyze the inherent parallelism and propose a bag of strategies to improve computational efficiency. Last, we conduct experiments to decompose tensors ranging from million-scale to trillion-scale for evaluation. Compared to the baselines, the exascale-tensor supports 8,000x larger tensors and a speedup up to 6.95x. We also apply our method to two real-world applications, including gene analysis and tensor layer neural networks, of which the numeric results demonstrate the scalability and effectiveness of our method.

چکیده به فارسی (ترجمه ماشینی)

تجزیه CP ابزاری قدرتمند برای علم داده ، به ویژه تجزیه و تحلیل ژن ، یادگیری عمیق و محاسبه کوانتومی است.با این حال ، استفاده از تجزیه تانسور تا حد زیادی با افزایش نمایی پیچیدگی محاسباتی و مصرف ذخیره سازی با اندازه تنسورها مانع می شود.در حالی که داده های موجود در دنیای واقعی ما معمولاً به عنوان تانسور در مقیاس تریلیون یا حتی در مقیاس Exascale ارائه می شود ، کار موجود فقط می تواند از تانسور مقیاس میلیارد در مقیاس پشتیبانی کند.در کار ما ، ما Exascale-Tensor را برای کاهش شکاف قابل توجه پیشنهاد می کنیم.به طور خاص ، ما یک چارچوب تجزیه تانسور مبتنی بر فشرده سازی ، یعنی Exascale-Tensor ، برای حمایت از تجزیه تانسور Exascale پیشنهاد می کنیم.سپس ، ما با دقت موازی سازی ذاتی را تجزیه و تحلیل می کنیم و یک کیسه از استراتژی ها را برای بهبود کارایی محاسباتی پیشنهاد می کنیم.آخر اینکه ، ما آزمایشاتی را برای تجزیه تانسور از میلیون و مقیاس تا تریلیون در مقیاس برای ارزیابی انجام می دهیم.در مقایسه با خطوط پایه ، Exascale-Tensor از 8000 برابر تانسور بزرگتر و سرعت سرعت 6.95 برابر پشتیبانی می کند.ما همچنین روش خود را در دو برنامه در دنیای واقعی اعمال می کنیم ، از جمله تجزیه و تحلیل ژن و شبکه های عصبی لایه تنسور ، که نتایج عددی آن مقیاس پذیری و اثربخشی روش ما را نشان می دهد.