ترجمه فارسی مقاله تقویت مدل‌های زبانی از پیش آموزش‌دیده یک‌شات از طریق مکانیسم پراکنده- متراکم- پراکنده

چکیده

Pre-trained language models (PLMs) are engineered to be robust in contextual understanding and exhibit outstanding performance in various natural language processing tasks. However, their considerable size incurs significant computational and storage costs. Modern pruning strategies employ one-shot techniques to compress PLMs without the need for retraining on task-specific or otherwise general data; however, these approaches often lead to an indispensable reduction in performance. In this paper, we propose SDS, a Sparse-Dense-Sparse pruning framework to enhance the performance of the pruned PLMs from a weight distribution optimization perspective. We outline the pruning process in three steps. Initially, we prune less critical connections in the model using conventional one-shot pruning methods. Next, we reconstruct a dense model featuring a pruning-friendly weight distribution by reactivating pruned connections with sparse regularization. Finally, we perform a second pruning round, yielding a superior pruned model compared to the initial pruning. Experimental results demonstrate that SDS outperforms the state-of-the-art pruning techniques SparseGPT and Wanda under an identical sparsity configuration. For instance, SDS reduces perplexity by 9.13 on Raw-Wikitext2 and improves accuracy by an average of 2.05% across multiple zero-shot benchmarks for OPT-125M with 2:4 sparsity.

چکیده به فارسی (ترجمه ماشینی)

مدل های زبان از قبل آموزش دیده (PLMS) در درک متنی قوی هستند و عملکرد برجسته ای را در کارهای مختلف پردازش زبان طبیعی نشان می دهند.با این حال ، اندازه قابل توجه آنها هزینه های محاسباتی و ذخیره سازی قابل توجهی را متحمل می شود.استراتژی های هرس مدرن از تکنیک های یک شات برای فشرده سازی PLMS بدون نیاز به بازآموزی در مورد داده های خاص یا در غیر این صورت عمومی استفاده می کنند.با این حال ، این رویکردها اغلب منجر به کاهش ضروری در عملکرد می شوند.در این مقاله ، ما SDS را پیشنهاد می کنیم ، یک چارچوب هرس پراکنده پراکنده برای افزایش عملکرد PLM های هرس از دیدگاه بهینه سازی توزیع وزن.ما روند هرس را در سه مرحله تشریح می کنیم.در ابتدا ، ما با استفاده از روشهای هرس یک شات معمولی ، اتصالات کمتری را در مدل هرس می کنیم.در مرحله بعد ، ما یک مدل متراکم را که شامل یک توزیع وزن دوستانه هرس با فعال کردن اتصالات هرس شده با منظم سازی پراکنده است ، بازسازی می کنیم.سرانجام ، ما یک دور هرس دوم را انجام می دهیم و یک مدل هرس برتر را در مقایسه با هرس اولیه به دست می آوریم.نتایج تجربی نشان می دهد که SDS از تکنیک های هرس پیشرفته و پراکنده و واندا تحت یک پیکربندی یکسان استفاده می کند.به عنوان مثال ، SDS باعث کاهش 9.13 در Raw-Wikitext2 می شود و به طور متوسط ​​2.05 ٪ در معیارهای متعدد صفر برای OPT-125M با 2: 4 کمبود دقت می کند.