ترجمه فارسی مقاله بهینه‌سازی خطی عدد صحیح مختلط بهینه، درخت‌های طبقه‌بندی چند متغیره آموزش‌دیده

چکیده

Multivariate decision trees are powerful machine learning tools for classification and regression that attract many researchers and industry professionals. An optimal binary tree has two types of vertices, (i) branching vertices which have exactly two children and where datapoints are assessed on a set of discrete features and (ii) leaf vertices at which datapoints are given a prediction, and can be obtained by solving a biobjective optimization problem that seeks to (i) maximize the number of correctly classified datapoints and (ii) minimize the number of branching vertices. Branching vertices are linear combinations of training features and therefore can be thought of as hyperplanes. In this paper, we propose two cut-based mixed integer linear optimization (MILO) formulations for designing optimal binary classification trees (leaf vertices assign discrete classes). Our models leverage on-the-fly identification of minimal infeasible subsystems (MISs) from which we derive cutting planes that hold the form of packing constraints. We show theoretical improvements on the strongest flow-based MILO formulation currently in the literature and conduct experiments on publicly available datasets to show our models’ ability to scale, strength against traditional branch and bound approaches, and robustness in out-of-sample test performance. Our code and data are available on GitHub.

چکیده به فارسی (ترجمه ماشینی)

درختان تصمیم گیری چند متغیره ابزارهای قدرتمند یادگیری ماشین برای طبقه بندی و رگرسیون هستند که بسیاری از محققان و متخصصان صنعت را به خود جلب می کنند.یک درخت باینری بهینه دارای دو نوع راس است ، (i) راس های انشعاب که دقیقاً دو فرزند دارند و در جایی که داده ها بر روی مجموعه ای از ویژگی های گسسته ارزیابی می شوند و (ب) راس های برگ که در آن به پایگاه داده ها پیش بینی می شود ، و می توانند توسطحل یک مشکل بهینه سازی بیوژژیکی که به دنبال (i) حداکثر تعداد داده های طبقه بندی شده به درستی و (ب) تعداد راس های انشعاب را به حداقل می رساند.راس های انشعاب ترکیبی خطی از ویژگی های آموزشی هستند و بنابراین می توان به عنوان هایپرپل ها تصور شد.در این مقاله ، ما دو فرمولاسیون بهینه سازی خطی عدد صحیح مخلوط مبتنی بر برش (MILO) را برای طراحی درختان طبقه بندی بهینه باینری پیشنهاد می کنیم (رئوس برگ کلاس های گسسته را اختصاص می دهد).مدلهای ما از شناسایی پروازهای کمترین زیر سیستم های غیرقابل نفوذ (MISS) استفاده می کنند که از آن ما هواپیماهای برش را که شکل محدودیت های بسته بندی را نگه می دارد ، استخراج می کنیم.ما پیشرفتهای نظری را در قویترین فرمولاسیون MILO مبتنی بر جریان در حال حاضر در ادبیات نشان می دهیم و آزمایش هایی را در مورد مجموعه داده های عمومی انجام می دهیم تا توانایی مدل های خود را در مقیاس ، قدرت در برابر شاخه های سنتی و رویکردهای محدود و استحکام در عملکرد آزمون خارج از نمونه نشان دهیم.بشرکد و داده های ما در GitHub موجود است.