ترجمه فارسی مقاله پدال: تقویت رمزگشایی حریصانه با مدل‌های زبان بزرگ با استفاده از نمونه‌های متنوع

چکیده

Self-ensembling techniques with diverse reasoning paths such as Self-Consistency have demonstrated remarkable performance gains in text generation with Large Language Models (LLMs). However, such techniques depend on the availability of an accurate answer extraction process to aggregate across multiple outputs. Moreover, they acquire higher inference cost, in comparison to Greedy Decoding, due to generation of relatively higher number of output tokens. Research has shown that the free form text outputs from Self-Consistency can be aggregated reliably using LLMs to produce the final output. Additionally, recent advancements in LLM inference have demonstrated that usage of diverse exemplars in prompts have the ability to induce diversity in the LLM outputs. Such proven techniques can be easily extended to self-ensembling based approaches to achieve enhanced results in text generation. In this paper, we introduce PEDAL (Prompts based on Exemplar Diversity Aggregated using LLMs), a hybrid self-ensembling approach, that combines the strengths of diverse exemplar based prompts and LLM based aggregation to achieve improvement in overall performance. On the publicly available SVAMP and ARC datasets, our experiments reveal that PEDAL can achieve better accuracy than Greedy Decoding based strategies with lower inference cost compared to Self Consistency based approaches.

چکیده به فارسی (ترجمه ماشینی)

تکنیک های خودنمایی با مسیرهای استدلال متنوع مانند خودسازی ، سود عملکرد قابل توجهی را در تولید متن با مدل های زبان بزرگ (LLMS) نشان داده است.با این حال ، چنین تکنیک هایی به در دسترس بودن یک فرآیند استخراج پاسخ دقیق برای جمع آوری در چندین خروجی بستگی دارد.علاوه بر این ، آنها در مقایسه با رمزگشایی حریص ، به دلیل تولید تعداد نسبتاً بیشتری از نشانه های خروجی ، هزینه استنباط بالاتری کسب می کنند.تحقیقات نشان داده است که خروجی متن فرم رایگان از خودآموزی می تواند با استفاده از LLMS برای تولید خروجی نهایی به طور قابل اعتماد جمع شود.علاوه بر این ، پیشرفت های اخیر در استنباط LLM نشان داده است که استفاده از نمونه های متنوع در اعلان ها توانایی القاء تنوع در خروجی های LLM را دارد.چنین تکنیک های اثبات شده را می توان به راحتی در رویکردهای مبتنی بر خودکشی برای دستیابی به نتایج پیشرفته در تولید متن گسترش داد.در این مقاله ، ما پدال را معرفی می کنیم (بر اساس تنوع نمونه ای که با استفاده از LLMS جمع شده است) ، یک رویکرد خود سنجش ترکیبی ، که ترکیب نقاط قوت متنوع مبتنی بر نمونه های مبتنی بر نمونه و جمع آوری مبتنی بر LLM برای دستیابی به بهبود عملکرد کلی است.در مورد مجموعه داده های SVAMP و ARC در دسترس عموم ، آزمایشات ما نشان می دهد که پدال می تواند به دقت بهتری نسبت به استراتژی های مبتنی بر رمزگشایی حریص با هزینه استنتاج پایین تر در مقایسه با رویکردهای مبتنی بر سازگاری دست یابد.