ترجمه فارسی مقاله LLM-Barber: Block-Aware Rebuilder for Sparsity Mask در یک شات برای مدل های زبان بزرگ

چکیده

Large language models (LLMs) have grown significantly in scale, leading to a critical need for efficient model pruning techniques. Existing post-training pruning techniques primarily focus on measuring weight importance on converged dense models to determine salient weights to retain. However, they often overlook the changes in weight importance during the pruning process, which can lead to performance degradation in the pruned models. To address this issue, we present LLM-Barber (Block-Aware Rebuilder for Sparsity Mask in One-Shot), a novel one-shot pruning framework that rebuilds the sparsity mask of pruned models without any retraining or weight reconstruction. LLM-Barber incorporates block-aware error optimization across Self-Attention and MLP blocks, ensuring global performance optimization. Inspired by the recent discovery of prominent outliers in LLMs, LLM-Barber introduces an innovative pruning metric that identifies weight importance using weights multiplied by gradients. Our experiments show that LLM-Barber can efficiently prune models like LLaMA and OPT families with 7B to 13B parameters on a single A100 GPU in just 30 minutes, achieving state-of-the-art results in both perplexity and zero-shot performance across various language benchmarks. Code is available at https://github.com/YupengSu/LLM-Barber.

چکیده به فارسی (ترجمه ماشینی)

مدل های بزرگ زبان (LLMS) در مقیاس به طور قابل توجهی رشد کرده اند و منجر به نیاز اساسی به تکنیک های هرس مدل کارآمد می شوند.تکنیک های موجود هرس بعد از آموزش در درجه اول بر اندازه گیری اهمیت وزن در مدلهای متراکم همگرا برای تعیین وزن برجسته برای حفظ متمرکز است.با این حال ، آنها غالباً از تغییرات در اهمیت وزن در طی فرآیند هرس غافل می شوند ، که می تواند منجر به تخریب عملکرد در مدل های هرس شود.برای پرداختن به این مسئله ، ما LLM-Barber (بازسازی کننده بلوک برای ماسک پراکنده در یک شات) را ارائه می دهیم ، یک چارچوب هرس یک شات رمان که ماسک کمتری از مدل های هرس شده را بدون هیچ گونه بازآموزی یا بازسازی وزن بازسازی می کند.LLM-Barber شامل بهینه سازی خطای بلوک آگاهی در بلوک های خود و بلوک های MLP است و بهینه سازی عملکرد جهانی را تضمین می کند.LLM-Barber با الهام از کشف اخیر مناطق برجسته در LLMS ، یک متریک هرس نوآورانه را معرفی می کند که اهمیت وزن را با استفاده از وزنهای ضرب شده توسط شیب ها مشخص می کند.آزمایشات ما نشان می دهد که LLM-Barber می تواند به طور موثر مدل هایی مانند Llama و خانواده های OPT با پارامترهای 7B تا 13B را در یک پردازنده گرافیکی A100 در تنها 30 دقیقه هر دو برطرف کند ، و به نتایج پیشرفته در هر دو عملکرد و عملکرد صفر در مختلف می رسدمعیارهای زبان.کد در https://github.com/yupengsu/llm-barber در دسترس است.