ترجمه فارسی مقاله ادغام مدل در LLMS ، MLLMS و فراتر از آن: روش ها ، تئوری ها ، برنامه ها و فرصت ها

چکیده

Model merging is an efficient empowerment technique in the machine learning community that does not require the collection of raw training data and does not require expensive computation. As model merging becomes increasingly prevalent across various fields, it is crucial to understand the available model merging techniques comprehensively. However, there is a significant gap in the literature regarding a systematic and thorough review of these techniques. This survey provides a comprehensive overview of model merging methods and theories, their applications in various domains and settings, and future research directions. Specifically, we first propose a new taxonomic approach that exhaustively discusses existing model merging methods. Secondly, we discuss the application of model merging techniques in large language models, multimodal large language models, and 10+ machine learning subfields, including continual learning, multi-task learning, few-shot learning, etc. Finally, we highlight the remaining challenges of model merging and discuss future research directions. A comprehensive list of papers about model merging is available at \url{https://github.com/EnnengYang/Awesome-Model-Merging-Methods-Theories-Applications}.

چکیده به فارسی (ترجمه ماشینی)

ادغام مدل یک تکنیک توانمندسازی کارآمد در جامعه یادگیری ماشین است که نیازی به جمع آوری داده های آموزش خام ندارد و نیازی به محاسبات گران قیمت ندارد.از آنجا که ادغام مدل به طور فزاینده ای در زمینه های مختلف رواج می یابد ، درک روشهای ادغام مدل موجود به طور جامع بسیار مهم است.با این حال ، در ادبیات در مورد بررسی منظم و کامل این تکنیک ها شکاف قابل توجهی وجود دارد.این بررسی یک مرور کلی از روش ها و نظریه های ادغام مدل ، کاربردهای آنها در حوزه ها و تنظیمات مختلف و جهت های تحقیق آینده ارائه می دهد.به طور خاص ، ما ابتدا یک رویکرد طبقه بندی جدید را پیشنهاد می کنیم که به طور جامع در مورد روشهای ادغام مدل موجود بحث می کند.ثانیا ، ما در مورد کاربرد تکنیک های ادغام مدل در مدل های بزرگ زبان ، مدل های زبان بزرگ چند مدلی و زیر مجموعه های یادگیری ماشین 10+ ، از جمله یادگیری مداوم ، یادگیری چند کاره ، یادگیری چند شات و غیره بحث می کنیم. سرانجام ، ما چالش های باقی مانده را برجسته می کنیمادغام مدل و بحث در مورد مسیرهای تحقیق آینده.لیست کاملی از مقالات در مورد ادغام مدل در \ url {https://github.com/ennengyang/awesome-model-mething-methods-theories-pplications در دسترس است.