مقاله ارزیابی کیفیت ویدیو بر اساس ترانسفورماتور Swin V2 و استراتژی درشت به ظریف

چکیده

The objective of non-reference video quality assessment is to evaluate the quality of distorted video without access to reference high-definition references. In this study, we introduce an enhanced spatial perception module, pre-trained on multiple image quality assessment datasets, and a lightweight temporal fusion module to address the no-reference visual quality assessment (NR-VQA) task. This model implements Swin Transformer V2 as a local-level spatial feature extractor and fuses these multi-stage representations through a series of transformer layers. Furthermore, a temporal transformer is utilized for spatiotemporal feature fusion across the video. To accommodate compressed videos of varying bitrates, we incorporate a coarse-to-fine contrastive strategy to enrich the model’s capability to discriminate features from videos of different bitrates. This is an expanded version of the one-page abstract.

چکیده به فارسی (ترجمه ماشینی)

هدف از ارزیابی کیفیت فیلم غیر مرجع ، ارزیابی کیفیت فیلم تحریف شده بدون دسترسی به منابع مرجع با کیفیت بالا است.در این مطالعه ، ما یک ماژول ادراک مکانی پیشرفته ، از پیش آموزش داده شده در مجموعه داده های ارزیابی کیفیت تصویر ، و یک ماژول فیوژن زمانی سبک وزن را برای پرداختن به کار ارزیابی کیفیت بینایی بدون مرجع (NR-VQA) معرفی می کنیم.این مدل ترانسفورماتور SWIN V2 را به عنوان یک استخراج کننده ویژگی فضایی در سطح محلی پیاده سازی می کند و این نمایش های چند مرحله ای را از طریق یک سری از لایه های ترانسفورماتور فیوز می کند.علاوه بر این ، یک ترانسفورماتور زمانی برای همجوشی ویژگی های مکانی و مکانی در سراسر فیلم استفاده می شود.برای قرار دادن فیلم های فشرده شده از بیت های مختلف ، ما یک استراتژی متضاد درشت به نام را برای غنی سازی توانایی مدل برای تبعیض از ویژگی های فیلم های بیت های مختلف درج می کنیم.این یک نسخه گسترده از چکیده یک صفحه است.