ترجمه فارسی مقاله JPEG-LM: LLMS به عنوان ژنراتور تصویر با بازنمایی های کدک متعارف

چکیده

Recent work in image and video generation has been adopting the autoregressive LLM architecture due to its generality and potentially easy integration into multi-modal systems. The crux of applying autoregressive training in language generation to visual generation is discretization — representing continuous data like images and videos as discrete tokens. Common methods of discretizing images and videos include modeling raw pixel values, which are prohibitively lengthy, or vector quantization, which requires convoluted pre-hoc training. In this work, we propose to directly model images and videos as compressed files saved on computers via canonical codecs (e.g., JPEG, AVC/H.264). Using the default Llama architecture without any vision-specific modifications, we pretrain JPEG-LM from scratch to generate images (and AVC-LM to generate videos as a proof of concept), by directly outputting compressed file bytes in JPEG and AVC formats. Evaluation of image generation shows that this simple and straightforward approach is more effective than pixel-based modeling and sophisticated vector quantization baselines (on which our method yields a 31% reduction in FID). Our analysis shows that JPEG-LM has an especial advantage over vector quantization models in generating long-tail visual elements. Overall, we show that using canonical codec representations can help lower the barriers between language generation and visual generation, facilitating future research on multi-modal language/image/video LLMs.

چکیده به فارسی (ترجمه ماشینی)

کار اخیر در تولید تصویر و فیلم به دلیل کلی بودن و ادغام بالقوه آسان در سیستم های چند مدلی ، معماری خود را در LLM اتخاذ کرده است.نکته اصلی استفاده از آموزش های خودکار در تولید زبان برای تولید بصری ، گسسته سازی است – نشان دهنده داده های مداوم مانند تصاویر و فیلم ها به عنوان نشانه های گسسته.روشهای متداول برای گسسته سازی تصاویر و فیلم ها شامل مدل سازی مقادیر پیکسل خام است که به طور گسترده ای طولانی و یا اندازه گیری بردار هستند که نیاز به آموزش قبل از تعقیب و گریز دارد.در این کار ، ما پیشنهاد می کنیم تصاویر و فیلم ها را مستقیماً به عنوان فایلهای فشرده شده ذخیره شده در رایانه ها از طریق کدک های متعارف (به عنوان مثال ، JPEG ، AVC/H.264) مدل کنیم.با استفاده از معماری پیش فرض LLAMA و بدون هیچ گونه اصلاح خاص بینایی ، ما JPEG-LM را از ابتدا برای تولید تصاویر (و AVC-LM برای تولید فیلم به عنوان اثبات مفهوم) از قبل استفاده می کنیم ، با تهیه مستقیم بایت های فشرده شده در قالب های JPEG و AVC.ارزیابی تولید تصویر نشان می دهد که این رویکرد ساده و سر راست نسبت به مدل سازی مبتنی بر پیکسل و پایه های کمیت بردار پیشرفته (که روش ما کاهش 31 ٪ در FID را به همراه دارد) مؤثرتر است.تجزیه و تحلیل ما نشان می دهد که JPEG-LM در تولید عناصر بصری با دم بلند ، یک مزیت ویژه نسبت به مدلهای کمیت بردار دارد.به طور کلی ، ما نشان می دهیم که استفاده از بازنمایی های کدک متعارف می تواند به کاهش موانع بین تولید زبان و تولید بصری کمک کند ، و تحقیقات آینده را در مورد زبان/تصویر چند منظوره LLMS تسهیل کند.