ترجمه فارسی مقاله یادگیری هذلولی با مدل‌های زبانی بزرگ چندوجهی

چکیده

Hyperbolic embeddings have demonstrated their effectiveness in capturing measures of uncertainty and hierarchical relationships across various deep-learning tasks, including image segmentation and active learning. However, their application in modern vision-language models (VLMs) has been limited. A notable exception is MERU, which leverages the hierarchical properties of hyperbolic space in the CLIP ViT-large model, consisting of hundreds of millions parameters. In our work, we address the challenges of scaling multi-modal hyperbolic models by orders of magnitude in terms of parameters (billions) and training complexity using the BLIP-2 architecture. Although hyperbolic embeddings offer potential insights into uncertainty not present in Euclidean embeddings, our analysis reveals that scaling these models is particularly difficult. We propose a novel training strategy for a hyperbolic version of BLIP-2, which allows to achieve comparable performance to its Euclidean counterpart, while maintaining stability throughout the training process and showing a meaningful indication of uncertainty with each embedding.

چکیده به فارسی (ترجمه ماشینی)

تعبیه هایپربولیک اثربخشی خود را در ضبط اقدامات عدم اطمینان و روابط سلسله مراتبی در کارهای مختلف یادگیری عمیق ، از جمله تقسیم تصویر و یادگیری فعال نشان داده است.با این حال ، کاربرد آنها در مدلهای مدرن بینایی زبان (VLM) محدود شده است.یک استثناء قابل توجه Meru است که از خصوصیات سلسله مراتبی فضای هیپربولیک در مدل کلیپ ویتس بزرگ استفاده می کند ، متشکل از صدها میلیون پارامتر.در کار خود ، ما به چالش های مقیاس گذاری مدلهای هایپربولیک چند منظوره با سفارشات از نظر پارامترها (میلیارد ها) و پیچیدگی آموزش با استفاده از معماری BLIP-2 می پردازیم.اگرچه تعبیه هایپربولیک بینش بالقوه ای را در مورد عدم اطمینان در تعبیه اقلیدسی ارائه می دهد ، تجزیه و تحلیل ما نشان می دهد که مقیاس بندی این مدل ها به ویژه دشوار است.ما یک استراتژی آموزش جدید را برای یک نسخه بیش از حد از BLIP-2 پیشنهاد می کنیم ، که امکان دستیابی به عملکرد قابل مقایسه با همتای اقلیدسی خود را فراهم می کند ، ضمن اینکه ثبات را در طول فرآیند آموزش حفظ می کند و نشانه ای معنی دار از عدم اطمینان با هر تعبیه نشان می دهد.