ترجمه فارسی مقاله کسری ساده بیز (FNB): بهینه سازی غیر محدب برای طبقه بندی کننده بیز ساده انتخابی وزن دار

چکیده

We study supervised classification for datasets with a very large number of input variables. The naïve Bayes classifier is attractive for its simplicity, scalability and effectiveness in many real data applications. When the strong naïve Bayes assumption of conditional independence of the input variables given the target variable is not valid, variable selection and model averaging are two common ways to improve the performance. In the case of the naïve Bayes classifier, the resulting weighting scheme on the models reduces to a weighting scheme on the variables. Here we focus on direct estimation of variable weights in such a weighted naïve Bayes classifier. We propose a sparse regularization of the model log-likelihood, which takes into account prior penalization costs related to each input variable. Compared to averaging based classifiers used up until now, our main goal is to obtain parsimonious robust models with less variables and equivalent performance. The direct estimation of the variable weights amounts to a non-convex optimization problem for which we propose and compare several two-stage algorithms. First, the criterion obtained by convex relaxation is minimized using several variants of standard gradient methods. Then, the initial non-convex optimization problem is solved using local optimization methods initialized with the result of the first stage. The various proposed algorithms result in optimization-based weighted naïve Bayes classifiers, that are evaluated on benchmark datasets and positioned w.r.t. to a reference averaging-based classifier.

چکیده به فارسی (ترجمه ماشینی)

ما طبقه بندی نظارت شده را برای مجموعه داده ها با تعداد بسیار زیادی از متغیرهای ورودی مطالعه می کنیم.طبقه بندی کننده Naïve Bayes به دلیل سادگی ، مقیاس پذیری و اثربخشی در بسیاری از برنامه های داده واقعی جذاب است.هنگامی که فرض قوی بیس از استقلال مشروط از متغیرهای ورودی با توجه به متغیر هدف معتبر نیست ، انتخاب متغیر و میانگین مدل دو روش مشترک برای بهبود عملکرد است.در مورد طبقه بندی کننده Naïve Bayes ، طرح وزنی حاصل از مدل ها به یک طرح وزنه برداری در متغیرها کاهش می یابد.در اینجا ما بر برآورد مستقیم وزن متغیر در چنین طبقه بندی کننده وزن ساده و لاویز تمرکز می کنیم.ما یک تنظیم پراکنده از احتمال ورود به سیستم مدل را پیشنهاد می کنیم ، که هزینه های مجازات قبلی مربوط به هر متغیر ورودی را در نظر می گیرد.در مقایسه با طبقه بندی کننده های مبتنی بر میانگین که تاکنون استفاده شده است ، هدف اصلی ما بدست آوردن مدلهای قوی پارسا با متغیرهای کمتر و عملکرد معادل آن است.تخمین مستقیم وزن متغیر به یک مشکل بهینه سازی غیر Convex است که ما برای آن چندین الگوریتم دو مرحله ای پیشنهاد و مقایسه می کنیم.اول ، معیار به دست آمده با آرامش محدب با استفاده از چندین نوع روش شیب استاندارد به حداقل می رسد.سپس ، مشکل اولیه بهینه سازی غیر CONVEX با استفاده از روشهای بهینه سازی محلی که با نتیجه مرحله اول آغاز می شود ، حل می شود.الگوریتم های مختلف پیشنهادی منجر به طبقه بندی کننده های ساده لوح و ساده وزن مبتنی بر بهینه سازی می شوند ، که در مجموعه داده های معیار ارزیابی می شوند و W.R.T.به یک طبقه بندی کننده مبتنی بر مرجع.