ترجمه فارسی مقاله یک هرس‌کننده پس از آموزش لایه‌ای مبتنی بر بهینه‌سازی محدب برای مدل‌های زبانی بزرگ

چکیده

Pruning is a critical strategy for compressing trained large language models (LLMs), aiming at substantial memory conservation and computational acceleration without compromising performance. However, existing pruning methods often necessitate inefficient retraining for billion-scale LLMs or rely on heuristic methods such as the optimal brain surgeon framework, which degrade performance. In this paper, we introduce FISTAPruner, the first post-training pruner based on convex optimization models and algorithms. Specifically, we propose a convex optimization model incorporating $ell_1$ norm to induce sparsity and utilize the FISTA solver for optimization. FISTAPruner incorporates an intra-layer cumulative error correction mechanism and supports parallel pruning. We comprehensively evaluate FISTAPruner on models such as OPT, LLaMA, LLaMA-2, and LLaMA-3 with 125M to 70B parameters under unstructured and 2:4 semi-structured sparsity, demonstrating superior performance over existing state-of-the-art methods across various language benchmarks.

چکیده به فارسی (ترجمه ماشینی)

هرس یک استراتژی مهم برای فشرده سازی مدلهای آموزش دیده زبان بزرگ (LLMS) است ، با هدف حفاظت از حافظه قابل توجه و شتاب محاسباتی بدون به خطر انداختن عملکرد.با این حال ، روش های هرس موجود اغلب نیاز به آموزش ناکارآمد برای LLM های در مقیاس میلیارد یا متکی به روش های اکتشافی مانند چارچوب بهینه جراح مغز ، که عملکرد را کاهش می دهد.در این مقاله ، ما Fistapruner را معرفی می کنیم ، اولین هرس بعد از آموزش بر اساس مدلهای بهینه سازی محدب و الگوریتم ها.به طور خاص ، ما یک مدل بهینه سازی محدب را ارائه می دهیم که شامل هنجار $ ell_1 $ برای القاء کمبود و استفاده از حل کننده فیستا برای بهینه سازی است.Fistapruner یک مکانیسم تصحیح خطای تجمعی داخل لایه را شامل می شود و از هرس موازی پشتیبانی می کند.ما به طور جامع Fistapruner را در مدل هایی مانند Opt ، Llama ، Llama-2 و Llama-3 با پارامترهای 125m تا 70B تحت فشار بدون ساختار و 2: 4 نیمه ساختار یافته ارزیابی می کنیم ، و عملکرد برتر را نسبت به روشهای پیشرفته و پیشرفته موجود نشان می دهد.معیارهای مختلف زبان.