ترجمه فارسی مقاله کمتر صحبت کنید، بهتر تعامل کنید: ارزیابی انطباق مکالمه در متن در LLM های چندوجهی

چکیده

Humans spontaneously use increasingly efficient language as interactions progress, by adapting and forming ad-hoc conventions. This phenomenon has been studied extensively using reference games, showing properties of human language that go beyond relaying intents. It remains unexplored whether multimodal large language models (MLLMs) similarly increase communication efficiency during interactions, and what mechanisms they may adopt for this purpose. We introduce ICCA, an automated framework to evaluate such conversational adaptation as an in-context behavior in MLLMs. We evaluate several state-of-the-art MLLMs, and observe that while they may understand the increasingly efficient language of their interlocutor, they do not spontaneously make their own language more efficient over time. This latter ability can only be elicited in some models (e.g., GPT-4) with heavy-handed prompting. This shows that this property of linguistic interaction does not arise from current training regimes, even though it is a common hallmark of human language. ICCA is available at https://github.com/lil-lab/ICCA.

چکیده به فارسی (ترجمه ماشینی)

انسان با سازگاری و تشکیل کنوانسیون های موقت ، به طور خودجوش از زبان به طور فزاینده ای به عنوان پیشرفت تعامل استفاده می کند.این پدیده با استفاده از بازی های مرجع به طور گسترده مورد مطالعه قرار گرفته است و خصوصیات زبان انسانی را نشان می دهد که فراتر از اهداف رله است.این موضوع ناشناخته است که آیا مدل های بزرگ زبان چند حالته (MLLMS) به طور مشابه باعث افزایش بازده ارتباطات در حین تعامل می شوند و چه مکانیسم هایی را برای این منظور اتخاذ می کنند.ما ICCA را معرفی می کنیم ، یک چارچوب خودکار برای ارزیابی چنین سازگاری مکالمه به عنوان یک رفتار درون متن در MLLMS.ما چندین MLLM های پیشرفته را ارزیابی می کنیم و مشاهده می کنیم که اگرچه ممکن است زبان فزاینده ای از مداخله کننده خود را درک کنند ، آنها به طور خودجوش زبان خود را با گذشت زمان کارآمدتر نمی کنند.این توانایی دوم فقط در برخی از مدل ها (به عنوان مثال ، GPT-4) با فرایند دست سنگین قابل انتخاب است.این نشان می دهد که این خاصیت تعامل زبانی از رژیم های آموزشی فعلی بوجود نمی آید ، حتی اگر این یک ویژگی بارز زبان انسانی باشد.ICCA در https://github.com/lil-lab/icca در دسترس است.