ترجمه فارسی مقاله BI-MDRG: پل زدن تاریخچه تصویر در تولید گفتگوی چند حالته

چکیده

Multimodal Dialogue Response Generation (MDRG) is a recently proposed task where the model needs to generate responses in texts, images, or a blend of both based on the dialogue context. Due to the lack of a large-scale dataset specifically for this task and the benefits of leveraging powerful pre-trained models, previous work relies on the text modality as an intermediary step for both the image input and output of the model rather than adopting an end-to-end approach. However, this approach can overlook crucial information about the image, hindering 1) image-grounded text response and 2) consistency of objects in the image response. In this paper, we propose BI-MDRG that bridges the response generation path such that the image history information is utilized for enhanced relevance of text responses to the image content and the consistency of objects in sequential image responses. Through extensive experiments on the multimodal dialogue benchmark dataset, we show that BI-MDRG can effectively increase the quality of multimodal dialogue. Additionally, recognizing the gap in benchmark datasets for evaluating the image consistency in multimodal dialogue, we have created a curated set of 300 dialogues annotated to track object consistency across conversations.

چکیده به فارسی (ترجمه ماشینی)

تولید پاسخ گفتگوی چندمودال (MDRG) یک کار اخیراً پیشنهادی است که در آن مدل نیاز به ایجاد پاسخ در متون ، تصاویر یا ترکیبی از هر دو بر اساس زمینه گفتگو دارد.به دلیل عدم وجود یک مجموعه داده در مقیاس بزرگ به طور خاص برای این کار و مزایای استفاده از مدلهای قدرتمند از پیش آموزش ، کار قبلی به عنوان یک مرحله واسطه برای ورودی تصویر و خروجی مدل به جای اتخاذ یک مرحله متکی است.رویکرد پایان به پایانبا این حال ، این رویکرد می تواند از اطلاعات مهم در مورد تصویر غافل شود ، مانع 1) پاسخ متن مبتنی بر تصویر و 2) سازگاری اشیاء در پاسخ تصویر.در این مقاله ، ما BI-MDRG را پیشنهاد می کنیم که مسیر تولید پاسخ را به هم می زند به گونه ای که از اطلاعات تاریخچه تصویر برای ارتباط بیشتر پاسخ متن به محتوای تصویر و قوام اشیاء در پاسخ های تصویر متوالی استفاده می شود.از طریق آزمایش های گسترده در مورد مجموعه داده های معیار گفتگوی چند مدلی ، ما نشان می دهیم که BI-MDRG می تواند به طور موثری کیفیت گفتگوی چند مدلی را افزایش دهد.علاوه بر این ، با شناخت شکاف در مجموعه داده های معیار برای ارزیابی قوام تصویر در گفتگوی چند حالته ، ما یک مجموعه سرنوشت ساز از 300 دیالوگ حاشیه نویسی برای ردیابی سازگاری شیء در مکالمات ایجاد کرده ایم.