یادگیری بازنمایی مکانی-زمانی به یک ابزار قدرتمند در زمینه‌های مختلف از جمله تشخیص عمل، قطعه‌بندی اشیاء ویدئویی و پیش‌بینی عمل تبدیل شده است. این مقاله، یک رویکرد جدید مبتنی بر ترانسفورمر را برای بهبود کارایی و دقت در این حوزه ارائه می‌دهد.

یادگیری بازنمایی مکانی-زمانی (Spatio-Temporal Representational Learning) به معنای استخراج و بازنمایی ویژگی‌های مهم از داده‌های ویدئویی است که هم اطلاعات مکانی (موقعیت اشیاء و افراد در هر فریم) و هم اطلاعات زمانی (تغییرات و روابط بین فریم‌ها در طول زمان) را در بر می‌گیرد. این نوع یادگیری، کاربردهای گسترده‌ای در بینایی ماشین و هوش مصنوعی دارد. برای مثال، در تشخیص عمل، هدف این است که با تحلیل یک ویدئو، عمل انجام شده (مانند دویدن، پریدن، یا صحبت کردن) را شناسایی کنیم. در قطعه‌بندی اشیاء ویدئویی، هدف جداسازی یک شیء خاص از پس‌زمینه در طول یک ویدئو است. و در نهایت، در پیش‌بینی عمل، تلاش بر این است که با مشاهده بخشی از یک ویدئو، بتوان عمل‌های بعدی را پیش‌بینی کرد. اهمیت این حوزه از آن جهت است که ویدئوها حجم عظیمی از داده‌ها را تولید می‌کنند و پردازش و تحلیل کارآمد آن‌ها، می‌تواند منجر به توسعه سیستم‌های هوشمندتری شود که قادر به درک و تعامل با دنیای واقعی هستند.

روش‌های سنتی یادگیری بازنمایی مکانی-زمانی، اغلب از شبکه‌های عصبی کانولوشنال (ConvNets) یا مدل‌های ترتیبی مانند LSTM (شبکه حافظه بلندمدت) استفاده می‌کردند. ConvNets در استخراج ویژگی‌های مکانی قوی هستند، اما در مدل‌سازی وابستگی‌های زمانی طولانی‌مدت محدودیت دارند. LSTM‌ها در مدل‌سازی وابستگی‌های زمانی عملکرد بهتری دارند، اما به دلیل ماهیت ترتیبی خود، می‌توانند کند و پرهزینه باشند. این مقاله با معرفی یک معماری جدید مبتنی بر ترانسفورمر، به دنبال رفع این محدودیت‌ها و ارائه یک راه حل کارآمدتر و دقیق‌تر است.

این مقاله توسط Xuefan Zha, Wentao Zhu, Tingxun Lv, Sen Yang, Ji Liu نوشته شده است. این محققان در زمینه‌های بینایی ماشین و یادگیری عمیق تخصص دارند و هدف آن‌ها توسعه الگوریتم‌های جدید برای پردازش و تحلیل داده‌های ویدئویی است. زمینه‌های تحقیقاتی مرتبط شامل موارد زیر است:

• تشخیص عمل ویدئویی
• قطعه‌بندی اشیاء ویدئویی
• یادگیری خود-نظارتی
• مدل‌های ترانسفورمر

این تحقیق در دسته‌بندی بینایی ماشین و تشخیص الگو (Computer Vision and Pattern Recognition) قرار می‌گیرد.

چکیده مقاله به این صورت است: یادگیری بازنمایی مکانی-زمانی به طور گسترده‌ای در زمینه‌های مختلف مانند تشخیص عمل، قطعه‌بندی اشیاء ویدئویی و پیش‌بینی عمل مورد استفاده قرار گرفته است. رویکردهای قبلی برای یادگیری بازنمایی مکانی-زمانی به طور عمده از ConvNets یا مدل‌های ترتیبی مانند LSTM برای یادگیری ویژگی‌های داخل فریم و بین فریم استفاده می‌کردند. اخیراً، مدل‌های ترانسفورمر با موفقیت بر مطالعه پردازش زبان طبیعی (NLP)، طبقه‌بندی تصویر و غیره تسلط یافته‌اند. با این حال، یادگیری مکانی-زمانی مبتنی بر ترانسفورمر خالص می‌تواند از نظر حافظه و محاسبات برای استخراج ویژگی‌های دقیق از یک پچ کوچک به طور غیرقابل تحملی پرهزینه باشد. برای مقابله با مشکل آموزش و افزایش یادگیری مکانی-زمانی، ما یک ترانسفورمر تکه‌های شیفت‌یافته را با بلوک‌های خود-توجهی خالص می‌سازیم. با استفاده از طراحی کارآمد ترانسفورمر در NLP، این ترانسفورمر تکه‌های شیفت‌یافته می‌تواند ویژگی‌های سلسله مراتبی مکانی-زمانی را از یک پچ کوچک محلی به یک کلیپ ویدئویی جهانی یاد بگیرد. خود-توجهی شیفت‌یافته ما همچنین می‌تواند به طور موثر واریانس‌های پیچیده بین فریم را مدل کند. علاوه بر این، ما یک رمزگذار کلیپ مبتنی بر ترانسفورمر برای مدل‌سازی وابستگی‌های زمانی طولانی مدت می‌سازیم. ما مطالعات حذف کاملی را برای اعتبارسنجی هر جزء و ابرپارامتر در ترانسفورمر تکه‌های شیفت‌یافته خود انجام می‌دهیم، و عملکرد آن از رویکردهای پیشرفته قبلی در Kinetics-400، Kinetics-600، UCF101 و HMDB51 بهتر است.

به طور خلاصه، این مقاله یک معماری جدید به نام “ترانسفورمر تکه‌های شیفت‌یافته” (Shifted Chunk Transformer) را برای یادگیری بازنمایی مکانی-زمانی ارائه می‌دهد. این معماری از بلوک‌های خود-توجهی (Self-Attention) استفاده می‌کند و با بهره‌گیری از ایده‌های موجود در پردازش زبان طبیعی (NLP)، کارایی و دقت مدل را بهبود می‌بخشد. ایده اصلی این است که به جای پردازش کل فریم‌ها به صورت یکجا، آن‌ها را به تکه‌های کوچکتر تقسیم کرده و سپس با استفاده از مکانیسم خود-توجهی، روابط بین این تکه‌ها را در طول زمان مدل‌سازی کرد. این روش، هم هزینه محاسباتی را کاهش می‌دهد و هم امکان یادگیری ویژگی‌های دقیق‌تر را فراهم می‌کند. همچنین، یک رمزگذار کلیپ (Clip Encoder) مبتنی بر ترانسفورمر برای مدل‌سازی وابستگی‌های زمانی طولانی‌مدت در ویدئو استفاده شده است.

روش‌شناسی تحقیق شامل موارد زیر است:

1. طراحی معماری: ارائه معماری ترانسفورمر تکه‌های شیفت‌یافته با استفاده از بلوک‌های خود-توجهی.
2. شیفت‌یافتگی تکه‌ها: پیاده‌سازی مکانیسم شیفت‌یافتگی تکه‌ها برای مدل‌سازی بهتر وابستگی‌های مکانی-زمانی.
3. رمزگذار کلیپ: استفاده از یک رمزگذار کلیپ مبتنی بر ترانسفورمر برای مدل‌سازی وابستگی‌های زمانی طولانی‌مدت.
4. مطالعات حذف: انجام مطالعات حذف (Ablation Studies) برای ارزیابی تاثیر هر یک از اجزای معماری.
5. ارزیابی تجربی: ارزیابی عملکرد مدل بر روی مجموعه‌داده‌های استاندارد مانند Kinetics-400، Kinetics-600، UCF101 و HMDB51 و مقایسه نتایج با روش‌های پیشین.

توضیحات بیشتر در مورد روش‌شناسی:

• ترانسفورمر تکه‌های شیفت‌یافته: این معماری با تقسیم هر فریم از ویدئو به تکه‌های کوچکتر (chunks) و سپس اعمال مکانیسم خود-توجهی بر روی این تکه‌ها، به مدل امکان می‌دهد تا روابط بین تکه‌های مختلف در یک فریم و همچنین روابط بین فریم‌های مختلف را در طول زمان یاد بگیرد. شیفت‌یافتگی تکه‌ها به این معنی است که در لایه‌های مختلف مدل، تکه‌ها به میزان کمی جابجا می‌شوند تا مدل بتواند دید وسیع‌تری از صحنه داشته باشد.
• بلوک‌های خود-توجهی: این بلوک‌ها نقش اصلی را در یادگیری وابستگی‌های بین تکه‌ها ایفا می‌کنند. مکانیسم خود-توجهی به مدل اجازه می‌دهد تا به طور انتخابی بر روی تکه‌های مختلف تمرکز کند و وزن بیشتری به تکه‌های مهم‌تر بدهد.
• رمزگذار کلیپ: از آنجایی که ترانسفورمر تکه‌های شیفت‌یافته بر روی بازه‌های زمانی کوتاه‌تر تمرکز دارد، یک رمزگذار کلیپ مبتنی بر ترانسفورمر برای مدل‌سازی وابستگی‌های زمانی طولانی‌مدت در کل ویدئو استفاده می‌شود.
• مطالعات حذف: این مطالعات برای بررسی اهمیت هر یک از اجزای معماری انجام می‌شوند. برای مثال، با حذف بلوک‌های خود-توجهی یا غیرفعال کردن مکانیسم شیفت‌یافتگی تکه‌ها، می‌توان میزان تاثیر این اجزا بر عملکرد کلی مدل را ارزیابی کرد.

یافته‌های کلیدی این تحقیق عبارتند از:

• معماری ترانسفورمر تکه‌های شیفت‌یافته، عملکرد بهتری نسبت به روش‌های پیشین در مجموعه‌داده‌های مختلف نشان داده است.
• شیفت‌یافتگی تکه‌ها به طور موثری به مدل کمک می‌کند تا واریانس‌های پیچیده بین فریم‌ها را مدل‌سازی کند.
• رمزگذار کلیپ، بهبود قابل توجهی در مدل‌سازی وابستگی‌های زمانی طولانی‌مدت ایجاد می‌کند.
• مطالعات حذف نشان می‌دهد که هر یک از اجزای معماری نقش مهمی در عملکرد کلی مدل ایفا می‌کنند.

به طور خاص، مقاله نشان می‌دهد که ترانسفورمر تکه‌های شیفت‌یافته توانسته است به نتایج بهتری در مجموعه‌داده‌های Kinetics-400، Kinetics-600، UCF101 و HMDB51 دست یابد. این بهبود عملکرد، نشان‌دهنده کارآمدی و دقت بالای معماری پیشنهادی است.

این تحقیق می‌تواند در زمینه‌های مختلفی کاربرد داشته باشد، از جمله:

• تشخیص عمل ویدئویی: بهبود دقت و کارایی سیستم‌های تشخیص عمل، که می‌تواند در کاربردهایی مانند نظارت تصویری، رباتیک و تعامل انسان و رایانه مفید باشد.
• قطعه‌بندی اشیاء ویدئویی: بهبود دقت و کارایی سیستم‌های قطعه‌بندی اشیاء ویدئویی، که می‌تواند در کاربردهایی مانند ویرایش ویدئو، واقعیت افزوده و رانندگی خودران مفید باشد.
• پیش‌بینی عمل: توسعه سیستم‌هایی که قادر به پیش‌بینی عمل‌های بعدی در یک ویدئو هستند، که می‌تواند در کاربردهایی مانند دستیارهای مجازی، آموزش آنلاین و ایمنی رانندگی مفید باشد.

از جمله دستاوردهای این تحقیق می‌توان به موارد زیر اشاره کرد:

• ارائه یک معماری جدید و کارآمد برای یادگیری بازنمایی مکانی-زمانی.
• بهبود عملکرد در مجموعه‌داده‌های استاندارد.
• ارائه یک رویکرد کلی برای مدل‌سازی وابستگی‌های مکانی و زمانی در ویدئوها.

در این مقاله، یک معماری جدید به نام ترانسفورمر تکه‌های شیفت‌یافته برای یادگیری بازنمایی مکانی-زمانی ارائه شد. این معماری با بهره‌گیری از بلوک‌های خود-توجهی و مکانیسم شیفت‌یافتگی تکه‌ها، توانسته است به عملکرد بهتری نسبت به روش‌های پیشین دست یابد. نتایج این تحقیق نشان می‌دهد که این معماری می‌تواند به عنوان یک ابزار قدرتمند در زمینه‌های مختلف مانند تشخیص عمل ویدئویی، قطعه‌بندی اشیاء ویدئویی و پیش‌بینی عمل مورد استفاده قرار گیرد. تحقیقات آینده می‌توانند بر روی بهبود بیشتر این معماری و توسعه کاربردهای جدید آن تمرکز کنند. به عنوان مثال، می‌توان از این معماری برای پردازش داده‌های ویدئویی با وضوح بالا یا برای یادگیری بازنمایی‌های مکانی-زمانی در سایر حوزه‌ها مانند پردازش سیگنال‌های صوتی استفاده کرد.