ترجمه فارسی مقاله یک سیستم خوشه بندی تصویر و متن کارآمد و توضیحی با معماری اتوآنکودر چند حالته

چکیده

We demonstrate the efficiencies and explanatory abilities of extensions to the common tools of Autoencoders and LLM interpreters, in the novel context of comparing different cultural approaches to the same international news event. We develop a new Convolutional-Recurrent Variational Autoencoder (CRVAE) model that extends the modalities of previous CVAE models, by using fully-connected latent layers to embed in parallel the CNN encodings of video frames, together with the LSTM encodings of their related text derived from audio. We incorporate the model within a larger system that includes frame-caption alignment, latent space vector clustering, and a novel LLM-based cluster interpreter. We measure, tune, and apply this system to the task of summarizing a video into three to five thematic clusters, with each theme described by ten LLM-produced phrases. We apply this system to two news topics, COVID-19 and the Winter Olympics, and five other topics are in progress.

چکیده به فارسی (ترجمه ماشینی)

ما در زمینه جدید مقایسه رویکردهای مختلف فرهنگی با همان رویداد خبری بین المللی ، کارآیی و توانایی های توضیحی پسوندها را به ابزارهای متداول خودرو و مفسران LLM نشان می دهیم.ما یک مدل جدید AutoEncoder متغیر متغیر (CRVAE) را توسعه می دهیم که با استفاده از لایه های نهفته کاملاً متصل به موازات رمزگذاری های CNN از قاب های ویدیویی ، به همراه رمزگذاری LSTM از متن LSTM که به دست می آید ، به همراه کد های LSTM مربوط به آنها مشتق شده است.از صوتیما این مدل را در یک سیستم بزرگتر قرار می دهیم که شامل تراز فریم ، خوشه بندی بردار فضای نهفته و یک مترجم خوشه ای مبتنی بر LLM است.ما این سیستم را برای خلاصه کردن یک فیلم در سه تا پنج خوشه موضوعی اندازه گیری ، تنظیم و اعمال می کنیم ، با هر موضوع که توسط ده عبارت تولید شده LLM شرح داده شده است.ما این سیستم را برای دو موضوع خبری ، COVID-19 و المپیک زمستانی اعمال می کنیم و پنج موضوع دیگر در حال انجام است.