ترجمه فارسی مقاله نزول گرادیان وانیلی برای درختان تصمیم مایل

چکیده

Decision Trees (DTs) constitute one of the major highly non-linear AI models, valued, e.g., for their efficiency on tabular data. Learning accurate DTs is, however, complicated, especially for oblique DTs, and does take a significant training time. Further, DTs suffer from overfitting, e.g., they proverbially “do not generalize” in regression tasks. Recently, some works proposed ways to make (oblique) DTs differentiable. This enables highly efficient gradient-descent algorithms to be used to learn DTs. It also enables generalizing capabilities by learning regressors at the leaves simultaneously with the decisions in the tree. Prior approaches to making DTs differentiable rely either on probabilistic approximations at the tree’s internal nodes (soft DTs) or on approximations in gradient computation at the internal node (quantized gradient descent). In this work, we propose DTSemNet, a novel semantically equivalent and invertible encoding for (hard, oblique) DTs as Neural Networks (NNs), that uses standard vanilla gradient descent. Experiments across various classification and regression benchmarks show that oblique DTs learned using DTSemNet are more accurate than oblique DTs of similar size learned using state-of-the-art techniques. Further, DT training time is significantly reduced. We also experimentally demonstrate that DTSemNet can learn DT policies as efficiently as NN policies in the Reinforcement Learning (RL) setup with physical inputs (dimensions $\leq32$). The code is available at {\color{blue}\textit{\url{https://github.com/CPS-research-group/dtsemnet}}}.

چکیده به فارسی (ترجمه ماشینی)

درختان تصمیم گیری (DTS) یکی از مهمترین مدلهای هوش مصنوعی بسیار غیرخطی را تشکیل می دهند ، به عنوان مثال ، برای کارآیی آنها در داده های جدولی ، ارزشمند است.با این حال ، یادگیری DTS دقیق ، به ویژه برای DTS مورب پیچیده است و زمان آموزشی قابل توجهی را به خود اختصاص می دهد.علاوه بر این ، DTS از فشار بیش از حد رنج می برد ، به عنوان مثال ، آنها ضرب المثل “در کارهای رگرسیون تعمیم نمی دهند”.به تازگی ، برخی از آثار روشهای ارائه شده (مورب) DTS را ارائه می دهند.این امر باعث می شود الگوریتم های بسیار کارآمد-شیب-برای یادگیری DTS استفاده شود.همچنین با یادگیری رگرسیون در برگها به طور همزمان با تصمیمات موجود در درخت ، قابلیت های عمومی سازی را امکان پذیر می کند.رویکردهای قبلی برای ایجاد DTS متفاوت یا متکی به تقریب احتمالی در گره های داخلی درخت (DTS نرم) یا در تقریب در محاسبات شیب در گره داخلی (نزول شیب کم).در این کار ، ما dtemnet را پیشنهاد می کنیم ، یک رمزگذاری معنایی معنایی و قابل استفاده برای DTS (سخت ، مورب) به عنوان شبکه های عصبی (NNS) ، که از نزول شیب وانیلی استاندارد استفاده می کند.آزمایشات در معیارهای مختلف طبقه بندی و رگرسیون نشان می دهد که DT های مورب آموخته شده با استفاده از DTENMENT دقیق تر از DT های مورب با اندازه مشابه با استفاده از تکنیک های پیشرفته هستند.علاوه بر این ، زمان آموزش DT به طور قابل توجهی کاهش می یابد.ما همچنین به طور تجربی نشان می دهیم که DTSNEMET می تواند سیاست های DT را به همان اندازه که سیاست های NN در تنظیم یادگیری تقویت (RL) با ورودی های فیزیکی (ابعاد $ \ leq32 $) یاد می گیرد ، بیاموزد.کد در {\ color {blue} \ textit {\ url {https://github.com/cps-research-group/dtsemnet}}} در دسترس است.