ترجمه فارسی مقاله Localize-and-Stitch: ادغام مدل کارآمد از طریق محاسبات Sparse Task

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی Localize-and-Stitch: Efficient Model Merging via Sparse Task Arithmetic
عنوان مقاله به فارسی Localize-and-Stitch: ادغام مدل کارآمد از طریق محاسبات Sparse Task
نویسندگان Yifei He, Yuzheng Hu, Yong Lin, Tong Zhang, Han Zhao
فرمت مقاله انگلیسی PDF
تعداد صفحات 23
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Machine Learning,Computation and Language,Computer Vision and Pattern Recognition,یادگیری ماشین , محاسبات و زبان , چشم انداز رایانه و تشخیص الگوی ,
توضیحات Submitted 24 August, 2024; originally announced August 2024.
توضیحات به فارسی ارسال شده در 24 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد.
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Model merging offers an effective strategy to combine the strengths of multiple finetuned models into a unified model that preserves the specialized capabilities of each. Existing methods merge models in a global manner, performing arithmetic operations across all model parameters. However, such global merging often leads to task interference, degrading the performance of the merged model. In this work, we introduce Localize-and-Stitch, a novel approach that merges models in a localized way. Our algorithm works in two steps: i) Localization: identify tiny ($1\%$ of the total parameters) localized regions in the finetuned models containing essential skills for the downstream tasks, and ii) Stitching: reintegrate only these essential regions back into the pretrained model for task synergy. We demonstrate that our approach effectively locates sparse regions responsible for finetuned performance, and the localized regions could be treated as compact and interpretable representations of the finetuned models (tasks). Empirically, we evaluate our method on various vision and language benchmarks, showing that it outperforms existing model merging methods under different data availability scenarios. Beyond strong empirical performance, our algorithm also facilitates model compression and preserves pretrained knowledge, enabling flexible and continual skill composition from multiple finetuned models with minimal storage and computational overhead. Our code is available at https://github.com/yifei-he/Localize-and-Stitch.

چکیده به فارسی (ترجمه ماشینی)

ادغام مدل یک استراتژی مؤثر برای ترکیب نقاط قوت چندین مدل Finetuned در یک مدل متحد ارائه می دهد که قابلیت های تخصصی هر یک را حفظ می کند.روشهای موجود مدل ها را به روشی جهانی ادغام می کنند و عملیات حسابی را در تمام پارامترهای مدل انجام می دهند.با این حال ، چنین ادغام جهانی اغلب منجر به تداخل کار می شود و عملکرد مدل ادغام شده را تحقیر می کند.در این کار ، ما بومی سازی و بخیه را معرفی می کنیم ، یک رویکرد جدید که مدل ها را به روشی بومی سازی ادغام می کند.الگوریتم ما در دو مرحله کار می کند: i) بومی سازی: شناسایی کوچک (1 $ \ $ از کل پارامترها) مناطق بومی شده در مدلهای FinetUned حاوی مهارت های اساسی برای کارهای پایین دست ، و ب) دوخت: فقط این مناطق اساسی را مجدداً ادغام کنیدمدل پیش ساخته برای هم افزایی کار.ما نشان می دهیم که رویکرد ما به طور مؤثر مناطق پراکنده مسئول عملکرد Finetuned را پیدا می کند ، و مناطق بومی شده می توانند به عنوان بازنمایی های جمع و جور و قابل تفسیر از مدلهای FinetUned (وظایف) رفتار شوند.از نظر تجربی ، ما روش خود را در معیارهای مختلف دید و زبان ارزیابی می کنیم ، نشان می دهیم که از روشهای ادغام مدل موجود در سناریوهای مختلف در دسترس بودن داده ها بهتر است.فراتر از عملکرد تجربی قوی ، الگوریتم ما همچنین فشرده سازی مدل را تسهیل می کند و دانش پیش ساخته را حفظ می کند و باعث می شود ترکیب مهارت انعطاف پذیر و مداوم از چندین مدل Finetuned با حداقل ذخیره سازی و سربار محاسباتی فراهم شود.کد ما در https://github.com/yifei-he/localize-and-mitch در دسترس است.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.