کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
چکیده
The rapid advancement in large language models (LLMs) comes with a significant increase in their parameter size, presenting challenges for adaptation and fine-tuning. Parameter-efficient fine-tuning (PEFT) methods are widely used to adapt LLMs for downstream tasks efficiently. In this paper, we propose Singular Values and Orthonormal Regularized Singular Vectors Adaptation, or SORSA, a novel PEFT method. We introduce a method to analyze the variation of the parameters by performing singular value decomposition (SVD) and discuss and analyze SORSA's superiority in minimizing the alteration in the SVD aspect. Each SORSA adapter consists of two main parts: trainable principal singular weights $W_p = U_p Σ_p V^\top_p$, and frozen residual weights $W_r = U_r Σ_r V^\top_r$. These parts are initialized by performing SVD on pre-trained weights. Moreover, we implement and analyze an orthonormal regularizer, which could effectively transfer the scaling information into $Σ_p$ and ultimately allows the training process to be more efficient. SORSA adapters could be merged during inference, thus eliminating any inference latency. After all, SORSA shows a faster convergence than PiSSA and LoRA in our experiments. On the MATH benchmark, Llama 2 7B adapted using SORSA achieved 10.36% accuracy, outperforming LoRA (5.50%), Full FT (7.22%), and PiSSA (7.44%). On the GSM-8K benchmark, SORSA achieved 56.03% accuracy, surpassing LoRA (42.30%), Full FT (49.05%), and PiSSA (53.07%). We conclude that SORSA offers a new perspective on parameter-efficient fine-tuning, demonstrating remarkable performance. The code is available at https://github.com/Gunale0926/SORSA.
چکیده به فارسی (ترجمه ماشینی)
پیشرفت سریع در مدلهای بزرگ زبان (LLMS) با افزایش قابل توجهی در اندازه پارامتر آنها همراه است و چالش هایی را برای سازگاری و تنظیم دقیق ارائه می دهد.روشهای تنظیم دقیق پارامتر (PEFT) به طور گسترده ای برای تطبیق LLM ها برای کارهای پایین دست به طور موثر استفاده می شود.در این مقاله ، ما مقادیر مفرد و سازگاری با بردارهای مفرد منظم و یا Sorsa را یک روش جدید PEFT پیشنهاد می کنیم.ما روشی را برای تجزیه و تحلیل تغییر پارامترها با انجام تجزیه ارزش مفرد (SVD) معرفی می کنیم و برتری SORSA را در به حداقل رساندن تغییر در جنبه SVD بحث و تجزیه و تحلیل می کنیم.هر آداپتور SORSA از دو بخش اصلی تشکیل شده است: وزن اصلی مفرد قابل آموزش $ W_P = U_P σ_p V^\ Top_p $ ، و وزنهای باقیمانده یخ زده $ w_r = u_r σ_r v^\ top_r $.این قسمت ها با انجام SVD بر روی وزنهای از قبل آموزش داده می شوند.علاوه بر این ، ما یک تنظیم کننده متعامد را اجرا و تجزیه و تحلیل می کنیم ، که می تواند به طور مؤثر اطلاعات مقیاس گذاری را به $ σ_p $ منتقل کند و در نهایت اجازه می دهد تا روند آموزش کارآمدتر باشد.آداپتورهای Sorsa می توانند در هنگام استنتاج ادغام شوند ، بنابراین هرگونه تأخیر استنتاج را از بین می برد.از این گذشته ، Sorsa در آزمایشات ما همگرایی سریعتر از Pissa و Lora را نشان می دهد.در معیار ریاضی ، Llama 2 7B با استفاده از SORSA به دقت 10.36 ٪ ، بهتر از LORA (5.50 ٪) ، FT کامل (7.22 ٪) و PISSA (7.44 ٪) دست یافت.در معیار GSM-8K ، Sorsa به دقت 56.03 ٪ ، از LORA (42.30 ٪) ، FT کامل (49.05 ٪) و PISSA (53.07 ٪) دست یافت.نتیجه می گیریم که SORSA دیدگاه جدیدی در مورد تنظیم دقیق پارامتر ارائه می دهد و عملکرد قابل توجهی را نشان می دهد.این کد در https://github.com/gunale0926/sorsa در دسترس است.
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
