مقاله یک مدار عصبی فرایادگیری آموخته برای استنباط بیزی غیرپارامتری

چکیده

Most applications of machine learning to classification assume a closed set of balanced classes. This is at odds with the real world, where class occurrence statistics often follow a long-tailed power-law distribution and it is unlikely that all classes are seen in a single sample. Nonparametric Bayesian models naturally capture this phenomenon, but have significant practical barriers to widespread adoption, namely implementation complexity and computational inefficiency. To address this, we present a method for extracting the inductive bias from a nonparametric Bayesian model and transferring it to an artificial neural network. By simulating data with a nonparametric Bayesian prior, we can metalearn a sequence model that performs inference over an unlimited set of classes. After training, this “neural circuit” has distilled the corresponding inductive bias and can successfully perform sequential inference over an open set of classes. Our experimental results show that the metalearned neural circuit achieves comparable or better performance than particle filter-based methods for inference in these models while being faster and simpler to use than methods that explicitly incorporate Bayesian nonparametric inference.

چکیده به فارسی (ترجمه ماشینی)

بیشتر برنامه های یادگیری ماشین به طبقه بندی مجموعه ای بسته از کلاس های متعادل را فرض می کنند.این با دنیای واقعی مغایرت دارد ، جایی که آمار وقوع کلاس اغلب از توزیع قدرت طولانی قانون پیروی می کند و بعید است که همه کلاس ها در یک نمونه واحد مشاهده شوند.مدلهای بیزی غیرپارامتری به طور طبیعی این پدیده را ضبط می کنند ، اما موانع عملی قابل توجهی برای پذیرش گسترده ، یعنی پیچیدگی اجرای و ناکارآمدی محاسباتی دارند.برای پرداختن به این موضوع ، ما روشی را برای استخراج تعصب القایی از یک مدل بیزی غیر پارامتری و انتقال آن به یک شبکه عصبی مصنوعی ارائه می دهیم.با شبیه سازی داده ها با یک بیزی غیر پارامتری قبلی ، می توانیم یک مدل دنباله ای را انجام دهیم که استنتاج را بر روی مجموعه ای نامحدود از کلاس ها انجام می دهد.پس از آموزش ، این “مدار عصبی” تعصب القایی مربوطه را تقطیر کرده و می تواند با موفقیت استنتاج پی در پی را بر روی یک مجموعه باز از کلاس انجام دهد.نتایج تجربی ما نشان می دهد که مدار عصبی با استفاده از روشهای مبتنی بر فیلتر ذرات برای استنتاج در این مدل ها ، عملکرد قابل مقایسه یا بهتری را به دست می آورد ، در حالی که سریعتر و ساده تر از روش هایی است که صریحاً استنتاج غیر پارامتری بیزی را در بر می گیرد.