مقاله مانند یک بومی صحبت کنید: ارائه مدل های زبانی بزرگ به سبک بومی

چکیده

Existing work has found that the prompt engineering heavily influences the performance of large language models (LLMs). Chain-of-thought (CoT), as a popular prompt engineering technique, prompted LLMs using in-context examples with reasoning steps. In current studies, the few-shot examples of CoT are generally handcrafted by humans. However, how the text style of in-context examples influence the outputs of LLMs still remains under-explored. This paper presents a novel and effective approach, named \textbf{AlignCoT}, to improve the reasoning capability of LLMs by aligning the in-context examples with the native style of LLMs. “Native” refers to the inherent characteristic style of LLMs which can be probed by original zero-shot scenarios. AlignCoT is orthogonal to other prompt engineering methods, making it easy to combine with state-of-the-art techniques to further improve the LLMs’ performance. We conduct extensive and comprehensive experiments on several benchmarks. The empirical results demonstrate that our AlignCoTsignificantly improves performance over the carefully handcrafted in-context examples. For instance, with GPT-3.5-turbo, we observed a +2.5\% improvement on GSM8K. Furthermore, our AlignCoT consistently improve the performance when combined with other state-of-the-art prompt engineering methods. The source code and dataset will be available at \href{https://github.com/yangzhch6/AlignCoT}{https://github.com/yangzhch6/AlignCoT}.

چکیده به فارسی (ترجمه ماشینی)

کار موجود نشان داده است که مهندسی سریع به شدت بر عملکرد مدلهای بزرگ زبان (LLMS) تأثیر می گذارد.زنجیره ای از فکر (COT) ، به عنوان یک تکنیک محبوب مهندسی سریع ، LLM ها را با استفاده از نمونه های درون متن با مراحل استدلال برانگیخت.در مطالعات فعلی ، نمونه های چند عکس از COT به طور کلی توسط انسان ساخته می شوند.با این حال ، چگونه سبک متن نمونه های درون متن بر خروجی های LLM ها تأثیر می گذارد ، هنوز تحت تأثیر قرار نمی گیرد.در این مقاله یک رویکرد جدید و مؤثر با نام \ textbf {aligncot} ، برای بهبود توانایی استدلال LLM ها با تراز کردن نمونه های درون متن با سبک بومی LLMS ارائه شده است.”بومی” به سبک مشخصه ذاتی LLM ها اشاره دارد که می تواند توسط سناریوهای اصلی صفر مورد بررسی قرار گیرد.AlignCot با سایر روشهای مهندسی سریع متعامد است ، و ترکیب آن با تکنیک های پیشرفته برای بهبود بیشتر عملکرد LLMS را آسان می کند.ما آزمایش های گسترده و جامع را در مورد چندین معیار انجام می دهیم.نتایج تجربی نشان می دهد که تراز ما به طور قابل توجهی عملکرد را در نمونه های با دقت دست ساز در متن بهبود می بخشد.به عنوان مثال ، با GPT-5.5 توربو ، ما یک پیشرفت +2.5 \ ٪ در GSM8K را مشاهده کردیم.علاوه بر این ، AlignCot ما به طور مداوم عملکرد را در هنگام ترکیب با سایر روشهای پیشرفته مهندسی سریع بهبود می بخشد.کد منبع و مجموعه داده ها در \ href {https://github.com/yangzhch6/aligncot} {https://github.com/yangzhch6/aligncot} در دسترس خواهد بود.