ترجمه فارسی مقاله ترانسفورماتور Set2Seq: یادگیری جایگشت، بازنمایی‌های آگاهانه‌ی توالی‌های هنری در مجموعه

چکیده

We propose Set2Seq Transformer, a novel sequential multiple instance architecture, that learns to rank permutation aware set representations of sequences. First, we illustrate that learning temporal position-aware representations of discrete timesteps can greatly improve static visual multiple instance learning methods that do not regard temporality and concentrate almost exclusively on visual content analysis. We further demonstrate the significant advantages of end-to-end sequential multiple instance learning, integrating visual content and temporal information in a multimodal manner. As application we focus on fine art analysis related tasks. To that end, we show that our Set2Seq Transformer can leverage visual set and temporal position-aware representations for modelling visual artists’ oeuvres for predicting artistic success. Finally, through extensive quantitative and qualitative evaluation using a novel dataset, WikiArt-Seq2Rank, and a visual learning-to-rank downstream task, we show that our Set2Seq Transformer captures essential temporal information improving the performance of strong static and sequential multiple instance learning methods for predicting artistic success.

چکیده به فارسی (ترجمه ماشینی)

ما Transformer SET2SEQ ، یک معماری چند نمونه متوالی را پیشنهاد می کنیم ، که یاد می گیرد بازنمایی های مجموعه آگاهانه آگاهانه را رتبه بندی کند.اول ، ما نشان می دهیم که یادگیری بازنمایی های آگاه از موقعیت زمانی از زمان های گسسته می تواند روشهای یادگیری چند نمونه بصری استاتیک را تا حد زیادی بهبود بخشد که موقتی را در نظر نمی گیرند و تقریباً به طور انحصاری در تجزیه و تحلیل محتوای بصری متمرکز می شوند.ما در ادامه مزایای قابل توجهی از یادگیری نمونه متوالی پایان به پایان ، ادغام محتوای بصری و اطلاعات زمانی را به روشی چندمادی نشان می دهیم.به عنوان کاربرد ، ما روی وظایف مرتبط با تجزیه و تحلیل هنرهای زیبا تمرکز می کنیم.برای این منظور ، ما نشان می دهیم که ترانسفورماتور SET2SEQ ما می تواند از مجموعه بصری و بازنمایی های آگاه موقعیت زمانی برای مدل سازی OEUVRES هنرمندان تجسمی برای پیش بینی موفقیت هنری استفاده کند.سرانجام ، از طریق ارزیابی کمی و کیفی گسترده با استفاده از یک مجموعه داده جدید ، Wikiart-Seq2rank و یک کار در پایین دست یادگیری بصری ، ما نشان می دهیم که ترانسفورماتور SET2SEQ ما اطلاعات زمانی اساسی را بهبود می بخشد و عملکرد روشهای یادگیری چند نمونه استاتیک و متوالی را بهبود می بخشد.برای پیش بینی موفقیت هنری.