ترجمه فارسی مقاله درک عملکرد و تخمین هزینه تنظیم دقیق LLM

چکیده

Due to the cost-prohibitive nature of training Large Language Models (LLMs), fine-tuning has emerged as an attractive alternative for specializing LLMs for specific tasks using limited compute resources in a cost-effective manner. In this paper, we characterize sparse Mixture of Experts (MoE) based LLM fine-tuning to understand their accuracy and runtime performance on a single GPU. Our evaluation provides unique insights into the training efficacy of sparse and dense versions of MoE models, as well as their runtime characteristics, including maximum batch size, execution time breakdown, end-to-end throughput, GPU hardware utilization, and load distribution. Our study identifies the optimization of the MoE layer as crucial for further improving the performance of LLM fine-tuning. Using our profiling results, we also develop and validate an analytical model to estimate the cost of LLM fine-tuning on the cloud. This model, based on parameters of the model and GPU architecture, estimates LLM throughput and the cost of training, aiding practitioners in industry and academia to budget the cost of fine-tuning a specific model.

چکیده به فارسی (ترجمه ماشینی)

با توجه به ماهیت هزینه ای از آموزش مدلهای بزرگ زبان (LLM) ، تنظیم دقیق به عنوان یک جایگزین جذاب برای تخصص LLM ها برای کارهای خاص با استفاده از منابع محاسباتی محدود به روشی مقرون به صرفه ظاهر شده است.در این مقاله ، ما مخلوط پراکنده متخصصان (MOE) مبتنی بر LLM را برای درک صحت و عملکرد زمان اجرا آنها در یک GPU واحد توصیف می کنیم.ارزیابی ما بینش های منحصر به فردی در مورد اثربخشی آموزش نسخه های پراکنده و متراکم از مدل های MOE و همچنین ویژگی های زمان اجرا آنها ، از جمله حداکثر اندازه دسته ای ، تجزیه زمان اجرای ، توان پایان به پایان ، استفاده از سخت افزار GPU و توزیع بار ارائه می دهد.مطالعه ما بهینه سازی لایه MOE را برای بهبود بیشتر عملکرد تنظیم دقیق LLM به عنوان مهم مشخص می کند.با استفاده از نتایج پروفایل خود ، ما همچنین یک مدل تحلیلی را برای برآورد هزینه تنظیم دقیق LLM بر روی ابر تهیه و اعتبار می دهیم.این مدل ، بر اساس پارامترهای مدل و معماری GPU ، تخمین توان LLM و هزینه آموزش ، کمک به پزشکان در صنعت و دانشگاه ها را برای تأمین هزینه های تنظیم دقیق یک مدل خاص.