ترجمه فارسی مقاله با استفاده از LLM های پیشرفته برای تقویت LLM های کوچکتر: یک رویکرد تقطیر دانش قابل تفسیر

چکیده

Advanced Large language models (LLMs) like GPT-4 or LlaMa 3 provide superior performance in complex human-like interactions. But they are costly, or too large for edge devices such as smartphones and harder to self-host, leading to security and privacy concerns. This paper introduces a novel interpretable knowledge distillation approach to enhance the performance of smaller, more economical LLMs that firms can self-host. We study this problem in the context of building a customer service agent aimed at achieving high customer satisfaction through goal-oriented dialogues. Unlike traditional knowledge distillation, where the “student” model learns directly from the “teacher” model’s responses via fine-tuning, our interpretable “strategy” teaching approach involves the teacher providing strategies to improve the student’s performance in various scenarios. This method alternates between a “scenario generation” step and a “strategies for improvement” step, creating a customized library of scenarios and optimized strategies for automated prompting. The method requires only black-box access to both student and teacher models; hence it can be used without manipulating model parameters. In our customer service application, the method improves performance, and the learned strategies are transferable to other LLMs and scenarios beyond the training set. The method’s interpretabilty helps safeguard against potential harms through human audit.

چکیده به فارسی (ترجمه ماشینی)

مدلهای پیشرفته زبان بزرگ (LLM) مانند GPT-4 یا LLAMA 3 عملکرد برتر در تعامل پیچیده مانند انسان را ارائه می دهند.اما آنها برای دستگاه های لبه مانند تلفن های هوشمند و سخت تر برای خودآگاهی سخت تر هستند و یا باعث ایجاد امنیت خود می شوند و منجر به نگرانی های مربوط به امنیت و حریم خصوصی می شوند.در این مقاله یک رویکرد تقطیر دانش قابل تفسیر جدید برای تقویت عملکرد LLM های کوچکتر و اقتصادی تر که شرکت ها می توانند خود میزبان باشند ، معرفی می کند.ما این مشکل را در زمینه ایجاد یک نماینده خدمات مشتری با هدف دستیابی به رضایت بالای مشتری از طریق دیالوگ های هدف گرا مطالعه می کنیم.بر خلاف تقطیر دانش سنتی ، جایی که مدل “دانش آموز” مستقیماً از پاسخ های مدل “معلم” از طریق تنظیم دقیق یاد می گیرد ، رویکرد تدریس “استراتژی” قابل تفسیر ما شامل ارائه راهکارهایی برای بهبود عملکرد دانش آموز در سناریوهای مختلف است.این روش بین یک مرحله “نسل سناریو” و یک مرحله “استراتژی برای بهبود” ، ایجاد یک کتابخانه سفارشی از سناریوها و استراتژی های بهینه شده برای فرایند خودکار متناوب است.این روش فقط به دسترسی به جعبه سیاه به مدل های دانش آموز و معلم نیاز دارد.از این رو می توان بدون دستکاری پارامترهای مدل استفاده کرد.در برنامه خدمات مشتری ما ، این روش عملکرد را بهبود می بخشد و استراتژی های آموخته شده به سایر LLM ها و سناریوهای فراتر از مجموعه آموزش قابل انتقال است.تفسیر این روش به محافظت در برابر مضرات احتمالی از طریق حسابرسی انسانی کمک می کند.