ترجمه فارسی مقاله نویدها و دام‌های مدل‌سازی زبان زایشی نقاب‌دار: چارچوب نظری و دستورالعمل‌های عملی

چکیده

Autoregressive language models are the currently dominant paradigm for text generation, but they have some fundamental limitations that cannot be remedied by scale-for example inherently sequential and unidirectional generation. While alternate classes of models have been explored, we have limited mathematical understanding of their fundamental power and limitations. In this paper we focus on Generative Masked Language Models (GMLMs), a non-autoregressive paradigm in which we train a model to fit conditional probabilities of the data distribution via masking, which are subsequently used as inputs to a Markov Chain to draw samples from the model, These models empirically strike a promising speed-quality trade-off as each step can be typically parallelized by decoding the entire sequence in parallel. We develop a mathematical framework for analyzing and improving such models which sheds light on questions of sample complexity and inference speed and quality. Empirically, we adapt the T5 model for iteratively-refined parallel decoding, achieving 2-3x speedup in machine translation with minimal sacrifice in quality compared with autoregressive models. We run careful ablation experiments to give recommendations on key design choices, and make fine-grained observations on the common error modes in connection with our theory. Our mathematical analyses and empirical observations characterize both potentials and limitations of this approach, and can be applied to future works on improving understanding and performance of GMLMs. Our codes are released at https://github.com/google-research/google-research/tree/master/padir

چکیده به فارسی (ترجمه ماشینی)

مدل های زبان خودجوش الگوی غالب در حال حاضر برای تولید متن هستند ، اما آنها محدودیت های اساسی دارند که نمی توان آنها را به عنوان مثال به عنوان مثال ذاتاً پی در پی و یک طرفه اصلاح کرد.در حالی که کلاس های متناوب مدل ها مورد بررسی قرار گرفته است ، ما درک ریاضی محدود از قدرت و محدودیت های اساسی آنها داریم.در این مقاله ما بر روی مدلهای زبان ماسک شده مولد (GMLMS) ، یک الگوی غیر خودپسندانه که در آن یک مدل آموزش می دهیم تا احتمالات مشروط توزیع داده را از طریق ماسک ، که متعاقباً به عنوان ورودی به زنجیره مارکوف استفاده می شود ، تمرکز می کنیم تا نمونه ها را از آن استفاده کنند تا نمونه ها را از آن استفاده کنند.این مدل ، این مدلها به صورت تجربی به یک تجارت با کیفیت امیدوارکننده اعتصاب می کنند زیرا هر مرحله می تواند به طور معمول با رمزگشایی کل دنباله به صورت موازی موازی شود.ما یک چارچوب ریاضی برای تجزیه و تحلیل و بهبود چنین مدلهایی ایجاد می کنیم که به سؤالات پیچیدگی نمونه و سرعت و کیفیت استنباط می پردازد.از نظر تجربی ، ما مدل T5 را برای رمزگشایی موازی تکراری اصلاح شده تطبیق می دهیم ، و به سرعت 2-3 برابر در ترجمه ماشین با حداقل فداکاری در کیفیت در مقایسه با مدل های خودکار دست می یابیم.ما آزمایش های دقیق فرسایش را انجام می دهیم تا در مورد گزینه های کلیدی طراحی توصیه هایی ارائه دهیم و مشاهدات ریز و درشت در مورد حالت های خطای مشترک را در ارتباط با تئوری خود انجام دهیم.تجزیه و تحلیل ریاضی و مشاهدات تجربی ما هم پتانسیل ها و هم محدودیت های این رویکرد را مشخص می کند و می تواند در آثار آینده در زمینه بهبود درک و عملکرد GMLM ها استفاده شود.کدهای ما در https://github.com/google-research/google-research/tree/master/padir منتشر می شود