ترجمه فارسی مقاله استنتاج بیزی IS به سبک De Finetti، پیش آموزش و یادگیری در متن

چکیده

Accurately gauging uncertainty on the underlying environment is a longstanding goal of intelligent systems. We characterize which latent concepts pre-trained sequence models are naturally able to reason with. We go back to De Finetti’s predictive view of Bayesian reasoning: instead of modeling latent parameters through priors and likelihoods like topic models do, De Finetti has long advocated for modeling exchangeable (permutation invariant) sequences of observables. According to this view, pre-training autoregressive models formulates informed beliefs based on prior observations (“empirical Bayes”), and forward generation is a simulated instantiation of an environment (“posterior inference”). This connection allows extending in-context learning (ICL) beyond predictive settings, highlighting sequence models’ ability to perform explicit statistical inference. In particular, we show the sequence prediction loss over exchangeable documents controls performance on downstream tasks where uncertainty quantification is key. Empirically, we propose and demonstrate several approaches for encoding exchangeability in sequence model architectures: data augmentation, regularization, and causal masking.

چکیده به فارسی (ترجمه ماشینی)

عدم اطمینان از عدم اطمینان در محیط اساسی ، هدف دیرینه سیستم های هوشمند است.ما توصیف می کنیم که کدام مدل های توالی از پیش آموزش داده شده به طور طبیعی قادر به استدلال هستند.ما به دیدگاه پیش بینی کننده De Finetti در مورد استدلال بیزی برمی گردیم: به جای مدل سازی پارامترهای نهفته از طریق مقدماتی و احتمال مانند مدل های موضوع ، De Finetti مدتهاست که از مدل سازی توالی قابل تعویض (تغییر مکان) از مشاهده ها دفاع می کند.با توجه به این دیدگاه ، مدل های اتورسگر قبل از آموزش ، اعتقادات آگاهانه را بر اساس مشاهدات قبلی (“Bayes تجربی”) تدوین می کند ، و نسل رو به جلو یک فوری شبیه سازی شده از یک محیط (“استنتاج خلفی”) است.این ارتباط اجازه می دهد تا یادگیری درون متن (ICL) فراتر از تنظیمات پیش بینی شده ، توانایی مدل های توالی را در انجام استنتاج آماری صریح برجسته کند.به طور خاص ، ما از دست دادن پیش بینی توالی نسبت به اسناد قابل تعویض عملکرد را در کارهای پایین دست کنترل می کنیم که در آن کمیت عدم اطمینان مهم است.از نظر تجربی ، ما چندین روش برای رمزگذاری مبادله در معماری های مدل توالی پیشنهاد و نشان می دهیم: افزایش داده ها ، تنظیم مجدد و ماسک های علی.