ترجمه فارسی مقاله بهبود تنوع ساختاری LLM های Blackbox از طریق زنجیره ای از مشخصات فوری

چکیده

The capability to generate diverse text is a key challenge facing large language models (LLMs). Thus far, diversity has been studied via metrics such as $n$-gram diversity or diversity of BERT embeddings. However, for these kinds of diversity, the user has little control over the dimensions along which diversity is considered. For example, in the poetry domain, one might desire diversity in terms of rhyme and meter, whereas in the code domain, one might desire diversity in terms of the kinds of expressions used to solve a problem. We propose a diversity metric called structural diversity, where the user provides a mapping from generated text to features capturing the kinds of diversity that they care about. In addition, we propose a novel strategy called chain-of-specification (CoS) prompting for improving diversity by first having the LLM generate a specification encoding one instance of structural features, and then prompting the LLM to generate text that satisfies these features; notably, our strategy works with blackbox LLMs. In our experiments, we show that for structural diversity in the poetry and code domains, CoS significantly improves diversity compared to several baselines.

چکیده به فارسی (ترجمه ماشینی)

قابلیت تولید متن متنوع یک چالش اساسی است که با مدل های بزرگ زبان (LLMS) روبرو است.تاکنون ، تنوع از طریق معیارهایی مانند $ n $ -gram تنوع یا تنوع تعبیه های برت مورد مطالعه قرار گرفته است.با این حال ، برای این نوع تنوع ، کاربر کنترل کمی بر ابعاد دارد که در طی آن تنوع در نظر گرفته می شود.به عنوان مثال ، در حوزه شعر ، ممکن است از نظر قافیه و متر تنوع داشته باشد ، در حالی که در دامنه کد ، ممکن است از نظر انواع عبارات مورد استفاده برای حل یک مشکل ، تنوع داشته باشد.ما یک متریک تنوع به نام تنوع ساختاری پیشنهاد می کنیم ، جایی که کاربر نقشه برداری از متن تولید شده را به ویژگی های ضبط انواع تنوع که به آنها اهمیت می دهند ، ارائه می دهد.علاوه بر این ، ما یک استراتژی جدید به نام زنجیره ای از مشخصات (COS) پیشنهاد می کنیم و باعث می شود تا با داشتن LLM ، مشخصاتی را که یک نمونه از ویژگی های ساختاری را رمزگذاری می کند ، بهبود بخشد و سپس LLM را وادار کند تا متن را تولید کند که این ویژگی ها را برآورده کند.نکته قابل توجه ، استراتژی ما با Blackbox LLMS کار می کند.در آزمایشات ما ، ما نشان می دهیم که برای تنوع ساختاری در حوزه های شعر و کد ، COS به طور قابل توجهی تنوع را در مقایسه با چندین خط پایه بهبود می بخشد.