ترجمه فارسی مقاله مدل‌های زبان فیوزینگ: کشف آداپتور Zero-Shot برای بهینه‌سازی سریع در سراسر توکن‌سازها

چکیده

The widespread use of large language models has resulted in a multitude of tokenizers and embedding spaces, making knowledge transfer in prompt discovery tasks difficult. In this work, we propose FUSE (Flexible Unification of Semantic Embeddings), an inexpensive approach to approximating an adapter layer that maps from one model’s textual embedding space to another, even across different tokenizers. We introduce a third-order tensor-based representation of a model’s embedding space that aligns semantic embeddings that have been split apart by different tokenizers, and use this representation to derive an approximation of the gradient of one model’s outputs with respect to another model’s embedding space. We show the efficacy of our approach via multi-objective optimization over vision-language and causal language models for image captioning and sentiment-based image captioning.

چکیده به فارسی (ترجمه ماشینی)

استفاده گسترده از مدلهای بزرگ زبان منجر به تعداد زیادی از نشانه ها و فضاهای جاسازی شده است و انتقال دانش در کارهای کشف سریع را دشوار می کند.در این کار ، ما فیوز (اتحاد انعطاف پذیر تعبیه معنایی) را پیشنهاد می کنیم ، یک رویکرد ارزان برای تقریب یک لایه آداپتور که از فضای تعبیه شده متنی یک مدل به دیگری ، حتی در میان نشانه های مختلف نقشه می کند.ما یک بازنمایی مبتنی بر تانسور مرتبه سوم از فضای تعبیه یک مدل را معرفی می کنیم که تعبیه شده معنایی را که توسط نشانه های مختلف از هم جدا شده اند ، تراز می کند و از این نمایندگی برای به دست آوردن تقریب شیب خروجی های یک مدل با توجه به فضای تعبیه مدل دیگر استفاده می کنیم.بشرما اثربخشی رویکرد خود را از طریق بهینه سازی چند هدف بر روی مدلهای بینایی زبان و زبان علیت برای عنوان تصویر و عنوان تصویر مبتنی بر احساسات نشان می دهیم.