ترجمه فارسی مقاله شبکه‌های کولموگروف-آرنولد در رژیم‌های کم داده: مطالعه مقایسه‌ای با پرسپترون‌های چندلایه

چکیده

Multilayer Perceptrons (MLPs) have long been a cornerstone in deep learning, known for their capacity to model complex relationships. Recently, Kolmogorov-Arnold Networks (KANs) have emerged as a compelling alternative, utilizing highly flexible learnable activation functions directly on network edges, a departure from the neuron-centric approach of MLPs. However, KANs significantly increase the number of learnable parameters, raising concerns about their effectiveness in data-scarce environments. This paper presents a comprehensive comparative study of MLPs and KANs from both algorithmic and experimental perspectives, with a focus on low-data regimes. We introduce an effective technique for designing MLPs with unique, parameterized activation functions for each neuron, enabling a more balanced comparison with KANs. Using empirical evaluations on simulated data and two real-world data sets from medicine and engineering, we explore the trade-offs between model complexity and accuracy, with particular attention to the role of network depth. Our findings show that MLPs with individualized activation functions achieve significantly higher predictive accuracy with only a modest increase in parameters, especially when the sample size is limited to around one hundred. For example, in a three-class classification problem within additive manufacturing, MLPs achieve a median accuracy of 0.91, significantly outperforming KANs, which only reach a median accuracy of 0.53 with default hyperparameters. These results offer valuable insights into the impact of activation function selection in neural networks.

چکیده به فارسی (ترجمه ماشینی)

Perceptrons MultiLayer (MLP) مدتهاست که سنگ بنای یادگیری عمیق بوده است ، که به دلیل ظرفیت آنها برای مدل سازی روابط پیچیده شناخته شده است.به تازگی ، شبکه های Kolmogorov-Arnold (KANS) به عنوان یک گزینه جایگزین قانع کننده ظاهر شده اند و از توابع فعال سازی بسیار انعطاف پذیر یادگیری مستقیم در لبه های شبکه استفاده می کنند ، عزیمت از رویکرد نورون محور MLP ها.با این حال ، KANS به طور قابل توجهی تعداد پارامترهای قابل یادگیری را افزایش می دهد و نگرانی در مورد اثربخشی آنها در محیط های ترسناک داده را افزایش می دهد.در این مقاله یک مطالعه مقایسه ای جامع از MLP ها و KAN ها از هر دو دیدگاه الگوریتمی و تجربی ، با تمرکز بر رژیم های کم داده ارائه شده است.ما یک تکنیک مؤثر برای طراحی MLP ها با توابع فعال سازی منحصر به فرد و پارامتری برای هر نورون معرفی می کنیم و امکان مقایسه متعادل تر با KANS را فراهم می کنیم.با استفاده از ارزیابی های تجربی در مورد داده های شبیه سازی شده و دو مجموعه داده در دنیای واقعی از پزشکی و مهندسی ، ما با توجه ویژه به نقش عمق شبکه ، تجارت بین پیچیدگی و صحت مدل را بررسی می کنیم.یافته های ما نشان می دهد که MLP ها با توابع فعال سازی فردی به دقت پیش بینی قابل توجهی بالاتر با تنها افزایش متوسط ​​در پارامترها می رسند ، به خصوص هنگامی که اندازه نمونه به حدود صد محدود باشد.به عنوان مثال ، در یک مشکل طبقه بندی سه طبقه در تولید افزودنی ، MLP ها به دقت متوسط ​​0.91 دست می یابند ، به طور قابل توجهی از KANS بهتر عمل می کنند ، که فقط به دقت متوسط ​​0.53 با هایپر پارامترهای پیش فرض می رسد.این نتایج بینش ارزشمندی در مورد تأثیر انتخاب عملکرد فعال سازی در شبکه های عصبی ارائه می دهد.