کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
چکیده
Large language models (LLMs) excel in language tasks, especially with supervised fine-tuning after pre-training. However, their substantial memory and computational requirements hinder practical applications. Structural pruning, which reduces less significant weight dimensions, is one solution. Yet, traditional post-hoc pruning often leads to significant performance loss, with limited recovery from further fine-tuning due to reduced capacity. Since the model fine-tuning refines the general and chaotic knowledge in pre-trained models, we aim to incorporate structural pruning with the fine-tuning, and propose the Pruning-Aware Tuning (PAT) paradigm to eliminate model redundancy while preserving the model performance to the maximum extend. Specifically, we insert the innovative Hybrid Sparsification Modules (HSMs) between the Attention and FFN components to accordingly sparsify the upstream and downstream linear modules. The HSM comprises a lightweight operator and a globally shared trainable mask. The lightweight operator maintains a training overhead comparable to that of LoRA, while the trainable mask unifies the channels to be sparsified, ensuring structural pruning. Additionally, we propose the Identity Loss which decouples the transformation and scaling properties of the HSMs to enhance training robustness. Extensive experiments demonstrate that PAT excels in both performance and efficiency. For example, our Llama2-7b model with a 25\% pruning ratio achieves 1.33$\times$ speedup while outperforming the LoRA-finetuned model by up to 1.26\% in accuracy with a similar training cost. Code: https://github.com/kriskrisliu/PAT_Pruning-Aware-Tuning
چکیده به فارسی (ترجمه ماشینی)
مدل های بزرگ زبان (LLMS) در کارهای زبانی ، به ویژه با تنظیم دقیق بعد از پیش از آموزش ، برتری دارند.با این حال ، حافظه و الزامات محاسباتی قابل توجه آنها مانع برنامه های عملی می شود.هرس ساختاری ، که ابعاد وزن کمتری را کاهش می دهد ، یک راه حل است.با این حال ، هرس سنتی بعد از تعادل اغلب منجر به از دست دادن عملکرد قابل توجهی می شود و بهبودی محدود از تنظیم دقیق بیشتر به دلیل کاهش ظرفیت.از آنجا که مدل تنظیم دقیق ، دانش کلی و هرج و مرج را در مدلهای از پیش آموزش داده شده تصحیح می کند ، ما هدف ما این است که هرس ساختاری را با تنظیم دقیق ترکیب کنیم و الگوی تنظیم تنظیم آگاه (PAT) را برای از بین بردن افزونگی مدل ضمن حفظ عملکرد مدل پیشنهاد کنیم.به حداکثر گسترشبه طور خاص ، ما ماژول های پراکندگی هیبریدی نوآورانه (HSM) را بین اجزای توجه و FFN وارد می کنیم تا بر این اساس ماژول های خطی بالادست و پایین دست را پراکنده کنیم.HSM شامل یک اپراتور سبک و ماسک قابل آموزش در سطح جهان است.اپراتور سبک وزن یک آموزش سربار قابل مقایسه با LORA را حفظ می کند ، در حالی که ماسک قابل آموزش کانال ها را به صورت پراکنده متحد می کند و از هرس ساختاری اطمینان می دهد.علاوه بر این ، ما از دست دادن هویت پیشنهاد می کنیم که از خصوصیات تحول و مقیاس گذاری HSMS برای تقویت استحکام آموزش استفاده می کند.آزمایش های گسترده نشان می دهد که PAT هم در عملکرد و هم در کارآیی برتری دارد.به عنوان مثال ، مدل LLAMA2-7B ما با نسبت هرس 25 \ ٪ به سرعت 1.33 $ \ برابر $ $ دست می یابد در حالی که از مدل LORA-FINETUNED با دقت با هزینه آموزش مشابه بهتر است.کد: https://github.com/kriskrisliu/pat_pruning-aware-tuning
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
