ترجمه فارسی مقاله آموزش مخلوط های سافت مکس بزرگ با EM شروع گرم

چکیده

Mixed multinomial logits are discrete mixtures introduced several decades ago to model the probability of choosing an attribute from $p$ possible candidates, in heterogeneous populations. The model has recently attracted attention in the AI literature, under the name softmax mixtures, where it is routinely used in the final layer of a neural network to map a large number $p$ of vectors in $\mathbb{R}^L$ to a probability vector. Despite its wide applicability and empirical success, statistically optimal estimators of the mixture parameters, obtained via algorithms whose running time scales polynomially in $L$, are not known. This paper provides a solution to this problem for contemporary applications, such as large language models, in which the mixture has a large number $p$ of support points, and the size $N$ of the sample observed from the mixture is also large. Our proposed estimator combines two classical estimators, obtained respectively via a method of moments (MoM) and the expectation-minimization (EM) algorithm. Although both estimator types have been studied, from a theoretical perspective, for Gaussian mixtures, no similar results exist for softmax mixtures for either procedure. We develop a new MoM parameter estimator based on latent moment estimation that is tailored to our model, and provide the first theoretical analysis for a MoM-based procedure in softmax mixtures. Although consistent, MoM for softmax mixtures can exhibit poor numerical performance, as observed other mixture models. Nevertheless, as MoM is provably in a neighborhood of the target, it can be used as warm start for any iterative algorithm. We study in detail the EM algorithm, and provide its first theoretical analysis for softmax mixtures. Our final proposal for parameter estimation is the EM algorithm with a MoM warm start.

چکیده به فارسی (ترجمه ماشینی)

ورود به سیستم های چند منظوره مخلوط های گسسته ای است که چندین دهه پیش برای مدل سازی احتمال انتخاب یک ویژگی از کاندیداهای احتمالی $ p ، در جمعیت های ناهمگن معرفی شده است.این مدل اخیراً در ادبیات AI ، تحت عنوان Mixtures SoftMax ، مورد توجه قرار گرفته است ، جایی که به طور معمول در لایه نهایی یک شبکه عصبی مورد استفاده قرار می گیرد تا تعداد زیادی از بردارها را در $ \ Mathbb {r}^l $ ترسیم کند.به یک بردار احتمال.علیرغم کاربرد گسترده و موفقیت تجربی ، برآوردگرهای آماری بهینه از پارامترهای مخلوط ، از طریق الگوریتم هایی که مقیاس زمان کار آنها چند جمله ای در $ L $ است ، به دست می آید.این مقاله راه حلی برای این مشکل برای برنامه های معاصر ، مانند مدل های بزرگ زبان ، که در آن مخلوط دارای تعداد زیادی P $ از نقاط پشتیبانی است ، و اندازه N $ $ نمونه مشاهده شده از مخلوط نیز بزرگ است.برآوردگر پیشنهادی ما دو برآوردگر کلاسیک را به ترتیب از طریق یک روش از لحظات (MOM) و الگوریتم انتظار-استخراج (EM) به دست می آورد.اگرچه هر دو نوع برآوردگر ، از دیدگاه نظری ، برای مخلوط های گاوسی مورد مطالعه قرار گرفته است ، هیچ نتیجه مشابهی برای مخلوط های SoftMax برای هر دو روش وجود ندارد.ما یک برآوردگر پارامتر جدید MOM را بر اساس تخمین لحظه نهان که متناسب با مدل ما است ، تهیه می کنیم و اولین تجزیه و تحلیل نظری را برای یک روش مبتنی بر MOM در مخلوط های SoftMax ارائه می دهیم.اگرچه سازگار است ، MOM برای مخلوط های SoftMax می تواند عملکرد عددی ضعیفی را نشان دهد ، همانطور که سایر مدل های مخلوط مشاهده شده است.با این وجود ، از آنجا که مادر به طور واقعی در یک محله هدف قرار دارد ، می تواند به عنوان شروع گرم برای هر الگوریتم تکراری استفاده شود.ما با جزئیات الگوریتم EM را مطالعه می کنیم و اولین تجزیه و تحلیل نظری آن را برای مخلوط های SoftMax ارائه می دهیم.پیشنهاد نهایی ما برای برآورد پارامتر ، الگوریتم EM با شروع گرم مادر است.