مقاله وارونگی مدل زبان

چکیده

Language models produce a distribution over the next token; can we use this information to recover the prompt tokens? We consider the problem of language model inversion and show that next-token probabilities contain a surprising amount of information about the preceding text. Often we can recover the text in cases where it is hidden from the user, motivating a method for recovering unknown prompts given only the model’s current distribution output. We consider a variety of model access scenarios, and show how even without predictions for every token in the vocabulary we can recover the probability vector through search. On Llama-2 7b, our inversion method reconstructs prompts with a BLEU of $59$ and token-level F1 of $78$ and recovers $27\%$ of prompts exactly. Code for reproducing all experiments is available at http://github.com/jxmorris12/vec2text.

چکیده به فارسی (ترجمه ماشینی)

مدل های زبانی توزیع بر روی نشانه بعدی تولید می کنند.آیا می توانیم از این اطلاعات برای بازیابی نشانه های سریع استفاده کنیم؟ما مشکل وارونگی مدل زبان را در نظر می گیریم و نشان می دهیم که احتمالات بعدی در حال حاضر حاوی اطلاعات غافلگیرکننده ای در مورد متن قبلی است.غالباً می توانیم متن را در مواردی که از کاربر پنهان است ، بازیابی کنیم و با توجه به تنها خروجی توزیع فعلی مدل ، یک روش برای بازیابی پیام های ناشناخته ایجاد می کنیم.ما انواع سناریوهای دسترسی به مدل را در نظر می گیریم و نشان می دهیم که چگونه حتی بدون پیش بینی برای هر نشانه در واژگان می توانیم بردار احتمال را از طریق جستجو بازیابی کنیم.در LLAMA-2 7B ، روش وارونگی ما با مبلغ 59 دلار و F1 در سطح 78 $ بازسازی می شود و 27 $ \ ٪ $ Prompts را بازیابی می کند.کد برای بازتولید همه آزمایشات در http://github.com/jxmorris12/vec2text در دسترس است.