ترجمه فارسی مقاله reefknot: یک معیار جامع برای ارزیابی توهم ، تجزیه و تحلیل و کاهش در مدل های بزرگ زبان چند مدلی

چکیده

Hallucination issues persistently plagued current multimodal large language models (MLLMs). While existing research primarily focuses on object-level or attribute-level hallucinations, sidelining the more sophisticated relation hallucinations that necessitate advanced reasoning abilities from MLLMs. Besides, recent benchmarks regarding relation hallucinations lack in-depth evaluation and effective mitigation. Moreover, their datasets are typically derived from a systematic annotation process, which could introduce inherent biases due to the predefined process. To handle the aforementioned challenges, we introduce Reefknot, a comprehensive benchmark specifically targeting relation hallucinations, consisting of over 20,000 samples derived from real-world scenarios. Specifically, we first provide a systematic definition of relation hallucinations, integrating perspectives from perceptive and cognitive domains. Furthermore, we construct the relation-based corpus utilizing the representative scene graph dataset Visual Genome (VG), from which semantic triplets follow real-world distributions. Our comparative evaluation across three distinct tasks revealed a substantial shortcoming in the capabilities of current MLLMs to mitigate relation hallucinations. Finally, we advance a novel confidence-based mitigation strategy tailored to tackle the relation hallucinations problem. Across three datasets, including Reefknot, we observed an average reduction of 9.75% in the hallucination rate. We believe our paper sheds valuable insights into achieving trustworthy multimodal intelligence. Our dataset and code will be released upon paper acceptance.

چکیده به فارسی (ترجمه ماشینی)

مسائل توهم به طور مداوم مدلهای زبان بزرگ چند مدلی فعلی (MLLMS) را گرفتار می کند.در حالی که تحقیقات موجود در درجه اول بر توهم در سطح شیء یا ویژگی ها متمرکز است ، و توهمات روابط پیشرفته تری را که نیاز به توانایی های استدلال پیشرفته از MLLM ها دارند ، کنار می گذارد.علاوه بر این ، معیارهای اخیر در مورد توهم رابطه فاقد ارزیابی عمیق و کاهش مؤثر است.علاوه بر این ، مجموعه داده های آنها به طور معمول از یک فرآیند حاشیه نویسی سیستماتیک حاصل می شود ، که می تواند به دلیل فرآیند از پیش تعریف شده ، تعصبات ذاتی را معرفی کند.برای رسیدگی به چالش های فوق الذکر ، Reefknot را معرفی می کنیم ، یک معیار جامع که به طور خاص توهم رابطه را هدف قرار می دهد ، متشکل از بیش از 20،000 نمونه حاصل از سناریوهای دنیای واقعی.به طور خاص ، ما ابتدا یک تعریف سیستماتیک از توهم رابطه ارائه می دهیم ، و دیدگاه ها را از حوزه های ادراکی و شناختی ادغام می کنیم.علاوه بر این ، ما با استفاده از ژنوم بصری مجموعه داده های نمودار صحنه (VG) ، که از آن استفاده می کند ، از طریق روابط مبتنی بر نمودار نمایشگاه ، که از آن سه گانه معنایی از توزیع های دنیای واقعی پیروی می کنیم ، می سازیم.ارزیابی مقایسه ای ما در سه کار مجزا ، کمبود قابل توجهی در قابلیت های MLLM های فعلی برای کاهش توهم رابطه نشان داد.سرانجام ، ما یک استراتژی جدید برای کاهش اعتماد به نفس متناسب با مشکل توهم رابطه را پیش می بریم.در سه مجموعه داده ، از جمله Reefknot ، ما کاهش متوسط ​​9.75 ٪ در میزان توهم را مشاهده کردیم.ما معتقدیم که مقاله ما بینش ارزشمندی را در مورد دستیابی به هوش چند مدلی قابل اعتماد نشان می دهد.مجموعه داده ها و کد ما با پذیرش کاغذ منتشر می شود.