ترجمه فارسی مقاله NoRA: سازگاری با رتبه پایین تودرتو برای مدل‌های بزرگ با تنظیم دقیق کارآمد

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

عنوان مقاله به انگلیسی NoRA: Nested Low-Rank Adaptation for Efficient Fine-Tuning Large Models
عنوان مقاله به فارسی NoRA: سازگاری با رتبه پایین تودرتو برای مدل‌های بزرگ با تنظیم دقیق کارآمد
نویسندگان Cheng Lin, Lujun Li, Dezhi Li, Jie Zou, Wei Xue, Yike Guo
فرمت مقاله انگلیسی PDF
تعداد صفحات 11
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Machine Learning,یادگیری ماشین ,
توضیحات Submitted 27 August, 2024; v1 submitted 18 August, 2024; originally announced August 2024. , Comments: Work in progress, revisions ongoing
توضیحات به فارسی ارسال شده در 27 اوت 2024 ؛V1 ارسال شده 18 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد. ، نظرات: کار در حال انجام ، تجدید نظر در حال انجام
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

In this paper, we introduce Nested Low-Rank Adaptation (NoRA), a novel approach to parameter-efficient fine-tuning that extends the capabilities of Low-Rank Adaptation (LoRA) techniques. Vanilla LoRA overlooks pre-trained weight inheritance and still requires fine-tuning numerous parameters. To addresses these issues, our NoRA adopts a dual-layer nested structure with Singular Value Decomposition (SVD), effectively leveraging original matrix knowledge while reducing tunable parameters. Specifically, NoRA freezes the outer LoRA weights and utilizes an inner LoRA design, providing enhanced control over model optimization. This approach allows the model to more precisely adapt to specific tasks while maintaining a compact parameter space. By freezing outer LoRA weights and using an inner LoRA design, NoRA enables precise task adaptation with a compact parameter space. Evaluations on tasks including commonsense reasoning with large language models, fine-tuning vision-language models, and subject-driven generation demonstrate NoRA's superiority over LoRA and its variants. Code will be released upon acceptance.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله ، ما سازگاری با رتبه پایین (NORA) تو در تو را معرفی می کنیم ، یک رویکرد جدید برای تنظیم دقیق پارامترهای کارآمد که قابلیت تکنیک های سازگاری با رتبه پایین (LORA) را گسترش می دهد.وانیل لورا از وراثت وزن از قبل آموزش دیده است و هنوز هم به تنظیم دقیق پارامترهای بی شماری نیاز دارد.برای پرداختن به این موضوعات ، نورا ما یک ساختار لانه دو لایه را با تجزیه ارزش مفرد (SVD) اتخاذ می کند ، و به طور موثری دانش ماتریس اصلی را در حالی که پارامترهای قابل تنظیم را کاهش می دهد ، استفاده می کند.به طور خاص ، نورا وزن های بیرونی LORA را منجمد می کند و از یک طراحی داخلی LORA استفاده می کند ، و کنترل پیشرفته ای بر بهینه سازی مدل ارائه می دهد.این روش به مدل اجازه می دهد تا ضمن حفظ فضای پارامتر جمع و جور ، به طور دقیق تر با کارهای خاص سازگار شود.NORA با انجماد وزنهای بیرونی LORA و استفاده از یک طراحی داخلی LORA ، سازگاری دقیق کار را با یک فضای پارامتر جمع و جور امکان پذیر می کند.ارزیابی در مورد وظایف از جمله استدلال عوام با مدل های بزرگ زبان ، مدل های تنظیم دقیق و بینایی ، و نسل سوژه محور ، برتری نورا نسبت به لورا و انواع آن را نشان می دهد.کد پس از پذیرش آزاد می شود.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.