ترجمه فارسی مقاله DKL-KAN: یادگیری عمیق کرنل مقیاس‌پذیر با استفاده از شبکه‌های کولموگروف-آرنولد

چکیده

The need for scalable and expressive models in machine learning is paramount, particularly in applications requiring both structural depth and flexibility. Traditional deep learning methods, such as multilayer perceptrons (MLP), offer depth but lack ability to integrate structural characteristics of deep learning architectures with non-parametric flexibility of kernel methods. To address this, deep kernel learning (DKL) was introduced, where inputs to a base kernel are transformed using a deep learning architecture. These kernels can replace standard kernels, allowing both expressive power and scalability. The advent of Kolmogorov-Arnold Networks (KAN) has generated considerable attention and discussion among researchers in scientific domain. In this paper, we introduce a scalable deep kernel using KAN (DKL-KAN) as an effective alternative to DKL using MLP (DKL-MLP). Our approach involves simultaneously optimizing these kernel attributes using marginal likelihood within a Gaussian process framework. We analyze two variants of DKL-KAN for a fair comparison with DKL-MLP: one with same number of neurons and layers as DKL-MLP, and another with approximately same number of trainable parameters. To handle large datasets, we use kernel interpolation for scalable structured Gaussian processes (KISS-GP) for low-dimensional inputs and KISS-GP with product kernels for high-dimensional inputs. The efficacy of DKL-KAN is evaluated in terms of computational training time and test prediction accuracy across a wide range of applications. Additionally, the effectiveness of DKL-KAN is also examined in modeling discontinuities and accurately estimating prediction uncertainty. The results indicate that DKL-KAN outperforms DKL-MLP on datasets with a low number of observations. Conversely, DKL-MLP exhibits better scalability and higher test prediction accuracy on datasets with large number of observations.

چکیده به فارسی (ترجمه ماشینی)

نیاز به مدل های مقیاس پذیر و بیانگر در یادگیری ماشین مهم است ، به ویژه در برنامه هایی که به عمق ساختاری و انعطاف پذیری نیاز دارند.روشهای یادگیری عمیق سنتی ، مانند Perceptrons چند لایه (MLP) ، عمق اما توانایی ادغام ویژگی های ساختاری معماری های یادگیری عمیق را با انعطاف پذیری غیر پارامتری روشهای هسته ارائه می دهند.برای پرداختن به این موضوع ، یادگیری هسته عمیق (DKL) معرفی شد ، جایی که ورودی به یک هسته پایه با استفاده از یک معماری یادگیری عمیق تبدیل می شود.این هسته ها می توانند جایگزین هسته های استاندارد شوند و هم قدرت بیانگر و هم مقیاس پذیری را فراهم می کنند.ظهور شبکه های Kolmogorov-Arnold (KAN) توجه و بحث قابل توجهی را بین محققان در حوزه علمی ایجاد کرده است.در این مقاله ، ما یک هسته عمیق مقیاس پذیر با استفاده از KAN (DKL-KAN) به عنوان یک جایگزین مؤثر برای DKL با استفاده از MLP (DKL-MLP) معرفی می کنیم.رویکرد ما شامل بهینه سازی همزمان این ویژگی های هسته با استفاده از احتمال حاشیه در یک چارچوب فرآیند گاوسی است.ما دو نوع DKL-KAN را برای مقایسه عادلانه با DKL-MLP تجزیه و تحلیل می کنیم: یکی با تعداد نورون ها و لایه های مشابه DKL-MLP و دیگری با تقریباً یکسان تعداد پارامترهای قابل آموزش.برای رسیدگی به مجموعه داده های بزرگ ، ما از درون یابی هسته برای فرآیندهای ساخت یافته Gaussian (KISS-GP) برای ورودی های کم بعدی و بوسه-GP با هسته های محصول برای ورودی های با ابعاد بالا استفاده می کنیم.اثربخشی DKL-KAN از نظر زمان آموزش محاسباتی و دقت پیش بینی آزمون در طیف گسترده ای از برنامه ها ارزیابی می شود.علاوه بر این ، اثربخشی DKL-KAN نیز در مدل سازی ناپیوستگی ها و تخمین دقیق عدم اطمینان پیش بینی بررسی شده است.نتایج نشان می دهد که DKL-KAN از DKL-MLP در مجموعه داده ها با تعداد کمی از مشاهدات بهتر عمل می کند.در مقابل ، DKL-MLP مقیاس پذیری بهتری و دقت پیش بینی آزمون بالاتر در مجموعه داده ها با تعداد زیادی از مشاهدات را نشان می دهد.