ترجمه فارسی مقاله MoFO: بهینهساز فیلتر شده با مومنتوم برای کاهش فراموشی در تنظیم دقیق LLM
| عنوان مقاله به انگلیسی | MoFO: Momentum-Filtered Optimizer for Mitigating Forgetting in LLM Fine-Tuning |
| عنوان مقاله به فارسی | MoFO: بهینهساز فیلتر شده با مومنتوم برای کاهش فراموشی در تنظیم دقیق LLM |
| نویسندگان | Yupeng Chen, Senmiao Wang, Zhihang Lin, Zeyu Qin, Yushun Zhang, Tian Ding, Ruoyu Sun |
| فرمت مقاله انگلیسی | |
| تعداد صفحات | 21 |
| دسته بندی موضوعات | Machine Learning,Artificial Intelligence,یادگیری ماشین , هوش مصنوعی , |
| توضیحات | Submitted 31 July, 2024; v1 submitted 30 July, 2024; originally announced July 2024. |
| توضیحات به فارسی | ارسال 31 ژوئیه 2024 ؛V1 ارسال شده 30 ژوئیه 2024 ؛در ابتدا ژوئیه 2024 اعلام شد. |
قیمت: 19,000 تومان
دانلود مقاله اصل انگلیسی + خلاصه دو صفحه ای مقاله + پادکست صوتی فارسی خلاصه مقاله
با انتخاب این گزینه، علاوه بر دریافت مقاله اصلی، یک خلاصه دو صفحهای فارسی و پادکست صوتی فارسی خلاصه مقاله را نیز دریافت خواهید کرد.
قیمت: 99,000 تومان
سفارش + خلاصه دو صفحه ای مقاله + پادکست صوتی فارسی خلاصه مقاله
با انتخاب این گزینه، علاوه بر دریافت مقاله اصلی و ترجمه کامل آن، یک خلاصه دو صفحهای فارسی و پادکست صوتی فارسی خلاصه مقاله را نیز دریافت خواهید کرد.
قیمت: 840,000 تومان
زمان تحویل: 2 تا 3 روز کاری
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
-
کتاب صدها نکته فارسی (خودمونی) – نسخه PDF — زبان ساده و کاربردی
مشاهده نمونه نسخه نکات ساده -
کتاب صدها نکته رسمی فارسی – نسخه PDF — نگارش استاندارد و علمی
مشاهده نمونه نسخه نکات رسمی -
کتاب صدها پرسش و پاسخ تشریحی – نسخه PDF
— هر سؤال همراه با پاسخ کامل برای درک عمیق مفاهیم
مشاهده نمونه نسخه پرسش و پاسخ -
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع -
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
- این محصول به صورت فایل دانلودی کامل ارائه میشود.
- توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
- دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
- برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
- اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی:
واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248
تلگرام: @ma_limbs
چکیده
Recently, large language models (LLMs) have demonstrated remarkable capabilities in a wide range of tasks. Typically, an LLM is pre-trained on large corpora and subsequently fine-tuned on task-specific datasets. However, during fine-tuning, LLMs may forget the knowledge acquired in the pre-training stage, leading to a decline in general capabilities. To address this issue, we propose a new fine-tuning algorithm termed Momentum-Filtered Optimizer (MoFO). The key idea of MoFO is to iteratively select and update the model parameters with the largest momentum magnitudes. Compared to full-parameter training, MoFO achieves similar fine-tuning performance while keeping parameters closer to the pre-trained model, thereby mitigating knowledge forgetting. Unlike most existing methods for forgetting mitigation, MoFO combines the following two advantages. First, MoFO does not require access to pre-training data. This makes MoFO particularly suitable for fine-tuning scenarios where pre-training data is unavailable, such as fine-tuning checkpoint-only open-source LLMs. Second, MoFO does not alter the original loss function. This could avoid impairing the model performance on the fine-tuning tasks. We validate MoFO through rigorous convergence analysis and extensive experiments, demonstrating its superiority over existing methods in mitigating forgetting and enhancing fine-tuning performance.
چکیده به فارسی (ترجمه ماشینی)
اخیراً ، مدل های بزرگ زبان (LLMS) در طیف گسترده ای از کارها قابلیت های قابل توجهی را نشان داده اند.به طور معمول ، یک LLM در شرکت های بزرگ از قبل آموزش داده می شود و متعاقباً روی مجموعه داده های خاص کار تنظیم می شود.با این حال ، در هنگام تنظیم دقیق ، LLMS ممکن است دانش به دست آمده در مرحله قبل از آموزش را فراموش کند و منجر به کاهش قابلیت های عمومی شود.برای پرداختن به این مسئله ، ما یک الگوریتم تنظیم خوب جدید با عنوان Optimizer فیلتر شده Momentum (MOFO) را پیشنهاد می کنیم.ایده اصلی MOFO این است که به طور تکراری پارامترهای مدل را با بزرگترین بزرگی حرکت انتخاب و به روز کنید.در مقایسه با آموزش کامل پارامتر ، MOFO در حالی که پارامترها را به مدل از پیش آموزش داده شده نزدیکتر نگه می دارد ، عملکرد تنظیم دقیق مشابهی را به دست می آورد و بدین ترتیب دانش را فراموش می کند.بر خلاف اکثر روشهای موجود برای فراموش کردن کاهش ، MOFO دو مزیت زیر را ترکیب می کند.اول ، MOFO نیازی به دسترسی به داده های قبل از آموزش ندارد.این امر باعث می شود MOFO به ویژه برای سناریوهای تنظیم دقیق که در آن داده های قبل از آموزش در دسترس نیست ، مانند LLM های منبع باز فقط تنظیم شده ، در دسترس نیست.دوم ، MOFO عملکرد از دست دادن اصلی را تغییر نمی دهد.این می تواند از اختلال در عملکرد مدل در کارهای تنظیم دقیق جلوگیری کند.ما MOFO را از طریق تجزیه و تحلیل همگرایی دقیق و آزمایش های گسترده تأیید می کنیم ، و برتری آن را نسبت به روشهای موجود در کاهش فراموشی و تقویت عملکرد تنظیم دقیق نشان می دهیم.📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
-
کتاب صدها نکته فارسی (خودمونی) – نسخه PDF — زبان ساده و کاربردی
مشاهده نمونه نسخه نکات ساده -
کتاب صدها نکته رسمی فارسی – نسخه PDF — نگارش استاندارد و علمی
مشاهده نمونه نسخه نکات رسمی -
کتاب صدها پرسش و پاسخ تشریحی – نسخه PDF
— هر سؤال همراه با پاسخ کامل برای درک عمیق مفاهیم
مشاهده نمونه نسخه پرسش و پاسخ -
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع -
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
- این محصول به صورت فایل دانلودی کامل ارائه میشود.
- توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
- دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
- برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
- اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی:
واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248
تلگرام: @ma_limbs
نظرات
هنوز نظری ثبت نشده است.
وارد شوید تا نظر ثبت کنید.