ترجمه فارسی مقاله LPT++: آموزش کارآمد در مورد ترکیبی از متخصصان دم-بلند

چکیده

We introduce LPT++, a comprehensive framework for long-tailed classification that combines parameter-efficient fine-tuning (PEFT) with a learnable model ensemble. LPT++ enhances frozen Vision Transformers (ViTs) through the integration of three core components. The first is a universal long-tailed adaptation module, which aggregates long-tailed prompts and visual adapters to adapt the pretrained model to the target domain, meanwhile improving its discriminative ability. The second is the mixture of long-tailed experts framework with a mixture-of-experts (MoE) scorer, which adaptively calculates reweighting coefficients for confidence scores from both visual-only and visual-language (VL) model experts to generate more accurate predictions. Finally, LPT++ employs a three-phase training framework, wherein each critical module is learned separately, resulting in a stable and effective long-tailed classification training paradigm. Besides, we also propose the simple version of LPT++ namely LPT, which only integrates visual-only pretrained ViT and long-tailed prompts to formulate a single model method. LPT can clearly illustrate how long-tailed prompts works meanwhile achieving comparable performance without VL pretrained models. Experiments show that, with only ~1% extra trainable parameters, LPT++ achieves comparable accuracy against all the counterparts.

چکیده به فارسی (ترجمه ماشینی)

ما LPT ++ را معرفی می کنیم ، یک چارچوب جامع برای طبقه بندی بلند و طولانی که ترکیب دقیق پارامتر (PEFT) را با یک گروه مدل قابل یادگیری ترکیب می کند.LPT ++ از طریق ادغام سه مؤلفه اصلی ، ترانسفورماتورهای بینایی منجمد (VITS) را تقویت می کند.اولین مورد یک ماژول سازگاری با دم بلند جهانی است ، که باعث می شود تاس های بلند و آداپتورهای بصری برای تطبیق مدل پیش ساخته با دامنه هدف جمع شود ، در عین حال توانایی تبعیض آمیز آن را بهبود می بخشد.دوم ، مخلوط چارچوب متخصصان دم بلند با گلزن مخلوط کننده (MOE) است که به طور تطبیقی ​​ضرایب وزن گیری مجدد را برای نمرات اعتماد به نفس از هر دو مدل فقط بصری و بصری (VL) محاسبه می کند تا پیش بینی های دقیق تری ایجاد کند.بشرسرانجام ، LPT ++ از یک چارچوب آموزشی سه فاز استفاده می کند ، که در آن هر ماژول بحرانی به طور جداگانه آموخته می شود و در نتیجه یک الگوی آموزش طبقه بندی بلند و مؤثر و مؤثر ایجاد می شود.علاوه بر این ، ما همچنین نسخه ساده LPT ++ یعنی LPT را پیشنهاد می کنیم ، که فقط یکپارچه VIT و VIT از پیش تنظیم شده و با دم بلند برای تدوین یک روش مدل واحد ادغام می شود.LPT می تواند به وضوح نشان دهد که چه میزان سریع و دم مدت کار در ضمن دستیابی به عملکرد قابل مقایسه بدون مدل های پیش ساخته VL انجام می شود.آزمایشات نشان می دهد که ، تنها با 1 ~ پارامترهای قابل آموزش اضافی ، LPT ++ به دقت قابل مقایسه ای در برابر همه همتایان می رسد.