ترجمه فارسی مقاله یادگیری مستمر نمایش های بصری مزدوج از طریق جریان های حرکتی مرتبه بالاتر

چکیده

Learning with neural networks from a continuous stream of visual information presents several challenges due to the non-i.i.d. nature of the data. However, it also offers novel opportunities to develop representations that are consistent with the information flow. In this paper we investigate the case of unsupervised continual learning of pixel-wise features subject to multiple motion-induced constraints, therefore named motion-conjugated feature representations. Differently from existing approaches, motion is not a given signal (either ground-truth or estimated by external modules), but is the outcome of a progressive and autonomous learning process, occurring at various levels of the feature hierarchy. Multiple motion flows are estimated with neural networks and characterized by different levels of abstractions, spanning from traditional optical flow to other latent signals originating from higher-level features, hence called higher-order motions. Continuously learning to develop consistent multi-order flows and representations is prone to trivial solutions, which we counteract by introducing a self-supervised contrastive loss, spatially-aware and based on flow-induced similarity. We assess our model on photorealistic synthetic streams and real-world videos, comparing to pre-trained state-of-the art feature extractors (also based on Transformers) and to recent unsupervised learning models, significantly outperforming these alternatives.

چکیده به فارسی (ترجمه ماشینی)

یادگیری با شبکه های عصبی از یک جریان مداوم از اطلاعات بصری به دلیل عدم I.I.D چالش های مختلفی را ارائه می دهد.ماهیت داده ها.با این حال ، همچنین فرصت های جدیدی را برای توسعه بازنمایی هایی که مطابق با جریان اطلاعات است ، ارائه می دهد.در این مقاله ما مورد یادگیری مداوم بدون نظارت از ویژگی های پیکسل تحت تأثیر محدودیت های ناشی از حرکات متعدد ، بنابراین بازنمایی ویژگی های حرکتی با هم نامگذاری شده است.متفاوت از رویکردهای موجود ، حرکت یک سیگنال داده شده نیست (یا حقیقت زمینی یا توسط ماژول های خارجی تخمین زده می شود) ، اما نتیجه یک فرآیند یادگیری مترقی و خودمختار است که در سطوح مختلف سلسله مراتب ویژگی رخ می دهد.جریانهای حرکتی چندگانه با شبکه های عصبی تخمین زده می شوند و توسط سطوح مختلف انتزاع مشخص می شوند ، که از جریان نوری سنتی به سایر سیگنال های نهفته که از ویژگی های سطح بالاتر ناشی می شود ، مشخص می شود ، از این رو حرکات مرتبه بالاتر نامیده می شود.به طور مداوم یادگیری برای توسعه جریان و بازنمایی چند منظوره مستعد به راه حل های بی اهمیت است ، که ما با معرفی یک از دست دادن متضاد خودکشی ، آگاه از نظر مکانی و بر اساس شباهت ناشی از جریان ، مقابله می کنیم.ما مدل خود را در جریان های مصنوعی فوتورالیستی و فیلم های دنیای واقعی ارزیابی می کنیم ، در مقایسه با استخراج کننده های ویژگی ART از قبل آموزش دیده (همچنین بر اساس ترانسفورماتورها) و با مدل های یادگیری بدون نظارت اخیر ، به طور قابل توجهی از این گزینه ها بهتر است.