ترجمه فارسی مقاله مدل‌سازی زبان هدایت‌شده با انتشار

چکیده

Current language models demonstrate remarkable proficiency in text generation. However, for many applications it is desirable to control attributes, such as sentiment, or toxicity, of the generated language — ideally tailored towards each specific use case and target audience. For auto-regressive language models, existing guidance methods are prone to decoding errors that cascade during generation and degrade performance. In contrast, text diffusion models can easily be guided with, for example, a simple linear sentiment classifier — however they do suffer from significantly higher perplexity than auto-regressive alternatives. In this paper we use a guided diffusion model to produce a latent proposal that steers an auto-regressive language model to generate text with desired properties. Our model inherits the unmatched fluency of the auto-regressive approach and the plug-and-play flexibility of diffusion. We show that it outperforms previous plug-and-play guidance methods across a wide range of benchmark data sets. Further, controlling a new attribute in our framework is reduced to training a single logistic regression classifier.

چکیده به فارسی (ترجمه ماشینی)

مدل های زبان فعلی مهارت قابل توجهی در تولید متن نشان می دهد.با این حال ، برای بسیاری از برنامه های کاربردی مطلوب است که ویژگی ها ، مانند احساسات یا سمیت ، زبان تولید شده را کنترل کنید – از نظر ایده آل متناسب با هر مورد استفاده خاص و مخاطبان هدف.برای مدلهای زبان بازپرداخت خودکار ، روشهای راهنمایی موجود مستعد ابتلا به خطاهای رمزگشایی هستند که در طول تولید آبشار و عملکرد را تخریب می کنند.در مقابل ، مدل های انتشار متن به راحتی می توانند با یک طبقه بندی کننده احساسات خطی ساده هدایت شوند-اما آنها از دچار احتراق قابل توجهی بالاتر از گزینه های جبران خسارت خودکار رنج می برند.در این مقاله ما از یک مدل انتشار هدایت شده برای تهیه یک پیشنهاد نهفته استفاده می کنیم که یک مدل زبانی خودکار را برای تولید متن با خواص مورد نظر هدایت می کند.مدل ما تسلط بی نظیر رویکرد مجدد خودکار و انعطاف پذیری پلاگین و بازی انتشار را به ارث می برد.ما نشان می دهیم که این روش از روشهای قبلی راهنمایی های پلاگین و بازی در طیف گسترده ای از مجموعه داده های معیار استفاده می کند.علاوه بر این ، کنترل یک ویژگی جدید در چارچوب ما به آموزش یک طبقه بندی کننده رگرسیون لجستیک واحد کاهش می یابد.