ترجمه فارسی مقاله CoMMIT: تنظیم هماهنگ دستورالعمل‌ها برای مدل‌های زبانی بزرگ چندوجهی

چکیده

Instruction tuning in multimodal large language models (MLLMs) aims to smoothly integrate a backbone LLM with a pre-trained feature encoder for downstream tasks. The major challenge is how to efficiently find the synergy through cooperative learning where LLMs adapt their reasoning abilities in downstream tasks while feature encoders adjust their encoding to provide more relevant modal information. In this paper, we analyze the MLLM instruction tuning from both theoretical and empirical perspectives, where we find unbalanced learning between the two components, i.e., the feature encoder and the LLM, can cause diminishing learning gradients that slow the model convergence and often lead to sub-optimal results due to insufficient learning. Inspired by our findings, we propose a measurement to quantitatively evaluate the learning balance, based on which we further design a dynamic learning scheduler that better coordinates the learning. In addition, we introduce an auxiliary loss regularization method to promote updating of the generation distribution of MLLMs considering the learning state of each model component, which potentially prevents each component from gradient diminishing and enables a more accurate estimation of the learning balance coefficient. We conduct experiments with multiple LLM backbones and feature encoders, where our techniques are model-agnostic and can be generically integrated with various MLLM backbones. Experiment results on multiple downstream tasks and modalities in vision and audio, demonstrate the proposed method’s better efficiency and effectiveness in MLLM instruction tuning.

چکیده به فارسی (ترجمه ماشینی)

تنظیم دستورالعمل در مدل های زبان بزرگ چند حالته (MLLMS) با هدف ادغام یکپارچه سازی یک ستون فقرات LLM با یک رمزگذار ویژگی از پیش آموزش برای کارهای پایین دست است.چالش عمده این است که چگونه می توان هم افزایی را از طریق یادگیری تعاونی پیدا کرد که در آن LLM ها توانایی های استدلال خود را در کارهای پایین دست سازگار می کنند در حالی که رمزگذارهای ویژگی رمزگذاری خود را تنظیم می کنند تا اطلاعات معین بیشتری را ارائه دهند.در این مقاله ، ما تنظیم دستورالعمل MLLM را از هر دو دیدگاه نظری و تجربی مورد تجزیه و تحلیل قرار می دهیم ، جایی که یادگیری نامتعادل بین دو مؤلفه ، یعنی رمزگذار ویژگی و LLM ، می تواند باعث کاهش شیب های یادگیری شود که همگرایی مدل را کند می کند و اغلب منجر به آن می شودنتایج زیر بهینه به دلیل یادگیری ناکافی.با الهام از یافته های ما ، ما یک اندازه گیری را برای ارزیابی کمی تعادل یادگیری پیشنهاد می کنیم ، بر اساس آن ما بیشتر یک برنامه ریز یادگیری پویا را طراحی می کنیم که بهتر یادگیری را هماهنگ می کند.علاوه بر این ، ما یک روش تنظیم ضرر کمکی را برای ترویج به روزرسانی توزیع تولید MLLM با توجه به وضعیت یادگیری هر مؤلفه مدل معرفی می کنیم ، که به طور بالقوه مانع از کاهش شیب می شود و تخمین دقیق تر از ضریب تعادل یادگیری را امکان پذیر می کند.ما آزمایشاتی را با ستون فقرات LLM و رمزگذار ویژگی انجام می دهیم ، جایی که تکنیک های ما مدل-آگنوستیک هستند و می توانند به طور کلی با ستون فقرات مختلف MLLM ادغام شوند.نتایج آزمایش را در چندین کار و روشهای پایین دست در بینایی و صوتی ، نشان می دهد که کارآیی و اثربخشی بهتر روش پیشنهادی در تنظیم دستورالعمل MLLM.