ترجمه فارسی مقاله تولید پارامتر LoRA شرطی

چکیده

Generative models have achieved remarkable success in image, video, and text domains. Inspired by this, researchers have explored utilizing generative models to generate neural network parameters. However, these efforts have been limited by the parameter size and the practicality of generating high-performance parameters. In this paper, we propose COND P-DIFF, a novel approach that demonstrates the feasibility of controllable high-performance parameter generation, particularly for LoRA (Low-Rank Adaptation) weights, during the fine-tuning process. Specifically, we employ an autoencoder to extract efficient latent representations for parameters. We then train a conditional latent diffusion model to synthesize high-performing model parameters from random noise based on specific task conditions. Experimental results in both computer vision and natural language processing domains consistently demonstrate that COND P-DIFF can generate high-performance parameters conditioned on the given task. Moreover, we observe that the parameter distribution generated by COND P-DIFF exhibits differences compared to the distribution obtained through normal optimization methods, indicating a certain level of generalization capability. Our work paves the way for further exploration of condition-driven parameter generation, offering a promising direction for task-specific adaptation of neural networks.

چکیده به فارسی (ترجمه ماشینی)

مدلهای تولیدی در حوزه های تصویر ، فیلم و متن به موفقیت چشمگیری رسیده اند.با الهام از این ، محققان با استفاده از مدل های تولیدی برای تولید پارامترهای شبکه عصبی ، کاوش کرده اند.با این حال ، این تلاش ها با اندازه پارامتر و عملی بودن تولید پارامترهای با کارایی بالا محدود شده است.در این مقاله ، ما Cond P-Diff را پیشنهاد می کنیم ، یک رویکرد جدید که امکان سنجی تولید پارامتر با کارایی بالا را نشان می دهد ، به ویژه برای وزن LORA (سازگاری با درجه پایین) ، در طی فرآیند تنظیم دقیق.به طور خاص ، ما از یک autoencoder برای استخراج بازنمایی های نهفته کارآمد برای پارامترها استفاده می کنیم.سپس ما یک مدل انتشار نهان مشروط را آموزش می دهیم تا پارامترهای مدل با کارایی بالا را از نویز تصادفی بر اساس شرایط کار خاص سنتز کنیم.نتایج تجربی هم در بینایی رایانه و هم در حوزه های پردازش زبان طبیعی به طور مداوم نشان می دهد که COND P-DIFF می تواند پارامترهای با کارایی بالا را با توجه به کار داده شده تولید کند.علاوه بر این ، ما مشاهده می کنیم که توزیع پارامتر تولید شده توسط COND P-DIFF در مقایسه با توزیع به دست آمده از طریق روش های بهینه سازی طبیعی ، تفاوت هایی را نشان می دهد ، که نشان دهنده سطح خاصی از قابلیت تعمیم است.کار ما راه را برای اکتشاف بیشتر تولید پارامترهای ناشی از شرایط هموار می کند و یک جهت امیدوارکننده برای سازگاری خاص کار از شبکه های عصبی ارائه می دهد.