ترجمه فارسی مقاله SMILE: ترکیبی پراکنده صفر شات از ساخت و ساز متخصصان رده پایین از مدل های پایه از پیش آموزش دیده

چکیده

Deep model training on extensive datasets is increasingly becoming cost-prohibitive, prompting the widespread adoption of deep model fusion techniques to leverage knowledge from pre-existing models. From simple weight averaging to more sophisticated methods like AdaMerging, model fusion effectively improves model performance and accelerates the development of new models. However, potential interference between parameters of individual models and the lack of interpretability in the fusion progress remain significant challenges. Existing methods often try to resolve the parameter interference issue by evaluating attributes of parameters, such as their magnitude or sign, or by parameter pruning. In this study, we begin by examining the fine-tuning of linear layers through the lens of subspace analysis and explicitly define parameter interference as an optimization problem to shed light on this subject. Subsequently, we introduce an innovative approach to model fusion called zero-shot Sparse MIxture of Low-rank Experts (SMILE) construction, which allows for the upscaling of source models into an MoE model without extra data or further training. Our approach relies on the observation that fine-tuning mostly keeps the important parts from the pre-training, but it uses less significant or unused areas to adapt to new tasks. Also, the issue of parameter interference, which is intrinsically intractable in the original parameter space, can be managed by expanding the dimensions. We conduct extensive experiments across diverse scenarios, such as image classification and text generation tasks, using full fine-tuning and LoRA fine-tuning, and we apply our method to large language models (CLIP models, Flan-T5 models, and Mistral-7B models), highlighting the adaptability and scalability of SMILE. Code is available at https://github.com/tanganke/fusion_bench

چکیده به فارسی (ترجمه ماشینی)

آموزش مدل عمیق در مجموعه داده های گسترده به طور فزاینده ای در حال تبدیل شدن به هزینه است و باعث می شود که اتخاذ گسترده تکنیک های فیوژن مدل عمیق برای بهره گیری از دانش از مدل های از قبل موجود باشد.از میانگین وزن ساده گرفته تا روشهای پیچیده تر مانند Adamerging ، Fusion Model به طور موثری عملکرد مدل را بهبود می بخشد و پیشرفت مدل های جدید را تسریع می کند.با این حال ، تداخل بالقوه بین پارامترهای مدلهای فردی و عدم تفسیر در پیشرفت فیوژن همچنان چالش های مهمی است.روشهای موجود اغلب سعی می کنند با ارزیابی ویژگی های پارامترها ، مانند بزرگی یا علامت آنها یا با هرس پارامتر ، مسئله تداخل پارامتر را حل کنند.در این مطالعه ، ما با بررسی دقیق لایه های خطی از طریق لنزهای تجزیه و تحلیل زیر فضایی شروع می کنیم و به صراحت تداخل پارامتر را به عنوان یک مشکل بهینه سازی برای روشن کردن این موضوع تعریف می کنیم.پس از آن ، ما یک رویکرد نوآورانه برای فیوژن مدل به نام مخلوط پراکنده صفر از کارشناسان درجه پایین (SMILE) ساخت و ساز را معرفی می کنیم ، که امکان بالا بردن مدل های منبع را به یک مدل MOE بدون داده های اضافی یا آموزش بیشتر امکان می دهد.رویکرد ما به این مشاهدات متکی است که تنظیم دقیق بیشتر قسمتهای مهم را از قبل از آموزش نگه می دارد ، اما از مناطق کمتری یا بلااستفاده برای سازگاری با کارهای جدید استفاده می کند.همچنین ، مسئله تداخل پارامتر ، که ذاتاً در فضای پارامتر اصلی قابل تحمل است ، می تواند با گسترش ابعاد مدیریت شود.ما آزمایش های گسترده ای را در سناریوهای متنوعی انجام می دهیم ، مانند طبقه بندی تصویر و کارهای تولید متن ، با استفاده از تنظیم کامل و تنظیم دقیق لورا ، و روش خود را در مدل های بزرگ زبان اعمال می کنیم (مدل های کلیپ ، مدل های FLAN-T5 و MISTRAL-7Bمدل ها) ، برجسته سازی سازگاری و مقیاس پذیری لبخند.کد در https://github.com/tanganke/fusion_bench در دسترس است