مقاله یادگیری طبقه بندی و پردازش با محدودیت ها از طریق بهینه سازی هیوساید (Heaviside) کامپوزیت: یک روش MIP مترقی

چکیده

This paper proposes a Heaviside composite optimization approach and presents a progressive (mixed) integer programming (PIP) method for solving multi-class classification and multi-action treatment problems with constraints. A Heaviside composite function is a composite of a Heaviside function (i.e., the indicator function of either the open $( \, 0,\infty )$ or closed $[ \, 0,\infty \, )$ interval) with a possibly nondifferentiable function. Modeling-wise, we show how Heaviside composite optimization provides a unified formulation for learning the optimal multi-class classification and multi-action treatment rules, subject to rule-dependent constraints stipulating a variety of domain restrictions. A Heaviside composite function has an equivalent discrete formulation, and the resulting optimization problem can in principle be solved by integer programming (IP) methods. Nevertheless, for constrained learning problems with large data sets, a straightforward application of off-the-shelf IP solvers is usually ineffective in achieving global optimality. To alleviate such a computational burden, our major contribution is the proposal of the PIP method by leveraging the effectiveness of state-of-the-art IP solvers for problems of modest sizes. We provide the theoretical advantage of the PIP method with the connection to continuous optimization and show that the computed solution is locally optimal for a broad class of Heaviside composite optimization problems. The numerical performance of the PIP method is demonstrated by extensive computational experimentation.

چکیده به فارسی (ترجمه ماشینی)

این مقاله یک رویکرد بهینه سازی کامپوزیت سنگین را ارائه می دهد و یک روش برنامه نویسی عدد صحیح (مختلط) (PIP) را برای حل طبقه بندی چند طبقه و مشکلات درمانی چند عمل با محدودیت ها ارائه می دهد.یک تابع کامپوزیت Heaviside یک کامپوزیت از یک تابع Heaviside است (به عنوان مثال ، عملکرد شاخص یا $ Open $ (\ ، 0 ، \ inttty) $ یا بسته $ [\ ، 0 ، \ infty \ ،) $) با احتمالاً $)عملکرد غیر تمایز.از نظر مدل سازی ، ما نشان می دهیم که چگونه بهینه سازی کامپوزیت Heaviside یک فرمولاسیون یکپارچه برای یادگیری طبقه بندی بهینه چند طبقه و قوانین درمانی چند عمل ، با توجه به محدودیت های وابسته به قانون که انواع مختلفی از محدودیت های دامنه را تعیین می کند ، فراهم می کند.یک تابع کامپوزیت Heaviside دارای یک فرمولاسیون گسسته معادل است و مشکل بهینه سازی حاصل در اصل می تواند با روش های برنامه نویسی عدد صحیح (IP) حل شود.با این وجود ، برای مشکلات یادگیری محدود با مجموعه داده های بزرگ ، کاربرد ساده ای از حل کننده های IP خارج از قفسه معمولاً در دستیابی به بهینه جهانی بی اثر است.برای کاهش چنین بار محاسباتی ، سهم عمده ما پیشنهاد روش PIP با استفاده از اثربخشی حل کننده های پیشرفته IP برای مشکلات در اندازه های متوسط است.ما مزیت نظری روش PIP را با اتصال به بهینه سازی مداوم ارائه می دهیم و نشان می دهیم که راه حل محاسبه شده برای یک طبقه گسترده از مشکلات بهینه سازی کامپوزیت Heaviside بهینه است.عملکرد عددی روش PIP با آزمایش محاسباتی گسترده نشان داده شده است.