درک و تحلیل محتوای ویدئوها یکی از چالش‌برانگیزترین و در عین حال پرکاربردترین حوزه‌ها در بینایی کامپیوتر مدرن است. برخلاف تصاویر ثابت، ویدئوها دارای بعد زمان هستند و اطلاعات غنی و پویایی را در خود جای داده‌اند. یکی از وظایف بنیادین در این حوزه، تشخیص کنش زمانی (Temporal Action Detection) است که هدف آن نه‌تنها شناسایی نوع کنش (مانند دویدن، پریدن یا آشپزی) بلکه تعیین دقیق بازه‌ی زمانی شروع و پایان آن در ویدئوهای طولانی و ویرایش‌نشده است.

فرآیند تشخیص کنش معمولاً در دو مرحله انجام می‌شود: ابتدا، تولید پیشنهادهای کنش زمانی (Temporal Action Proposal Generation – TAPG) و سپس، طبقه‌بندی این پیشنهادها. مرحله اول، یعنی TAPG، نقشی حیاتی در عملکرد کلی سیستم دارد. در این مرحله، الگوریتم باید بخش‌هایی از ویدئو را که به احتمال زیاد حاوی یک کنش هستند، به‌عنوان «پیشنهاد» مشخص کند. یک سیستم TAPG کارآمد و دقیق می‌تواند با کاهش فضای جستجو برای طبقه‌بند، هم بار محاسباتی را به شدت کاهش دهد و هم دقت نهایی را بهبود بخشد.

مقاله “تولید پیشنهاد کنش‌های زمانی با ترانسفورمرها” یک رویکرد نوآورانه برای این وظیفه کلیدی ارائه می‌دهد. این مقاله با الهام از موفقیت‌های چشمگیر معماری ترانسفورمر (Transformer) در حوزه پردازش زبان طبیعی (NLP)، این معماری قدرتمند را برای مدل‌سازی وابستگی‌های پیچیده زمانی در ویدئوها به کار می‌گیرد. اهمیت این کار در ارائه یک چارچوب یکپارچه است که می‌تواند هم روابط بلندمدت بین فریم‌های ویدئو و هم تعاملات میان پیشنهادهای مختلف را به طور همزمان درک کند و در نتیجه به تولید پیشنهادهایی با کیفیت بسیار بالاتر منجر شود.

این مقاله توسط تیمی از محققان برجسته شامل Lining Wang، Haosen Yang، Wenhao Wu، Hongxun Yao و Hujie Huang به رشته تحریر درآمده است. این پژوهش در تقاطع حوزه‌های بینایی کامپیوتر (Computer Vision)، بازشناسی الگو (Pattern Recognition) و چندرسانه‌ای (Multimedia) قرار می‌گیرد.

زمینه اصلی این تحقیق، بهره‌گیری از پیشرفت‌های اخیر در یادگیری عمیق برای حل مسائل تحلیل ویدئو است. معماری ترانسفورمر که در ابتدا برای ترجمه ماشینی و سایر وظایف NLP طراحی شده بود، به دلیل توانایی فوق‌العاده‌اش در مدل‌سازی وابستگی‌های دوربرد در توالی‌ها، توجه محققان حوزه‌های دیگر را نیز به خود جلب کرد. این مقاله یکی از نمونه‌های موفق در تطبیق و استفاده از این معماری برای درک ساختار زمانی در ویدئوهاست.

به طور سنتی، وظیفه تولید پیشنهاد کنش (TAPG) به دو زیرمسئله اصلی تقسیم می‌شود: پیش‌بینی مرزها (تعیین نقاط شروع و پایان) و پیش‌بینی امتیاز اطمینان (ارزیابی اینکه یک بازه چقدر محتمل است که حاوی کنش باشد). روش‌های پیشین معمولاً این دو زیرمسئله را با استفاده از مدل‌هایی جداگانه یا با تمرکز بر روی یکی از سطوح وابستگی (سطح فریم یا سطح پیشنهاد) حل می‌کردند.

این مقاله یک چارچوب یکپارچه و نوآورانه به نام TAPG Transformer را معرفی می‌کند که برای درک وابستگی‌ها در سطوح مختلف طراحی شده است. این چارچوب از دو مؤلفه اصلی تشکیل شده است:

• ترانسفورمر مرزی (Boundary Transformer): این بخش وظیفه دارد وابستگی‌های زمانی بلندمدت بین فریم‌های ویدئو را مدل کند تا بتواند اطلاعات دقیقی از مرزهای کنش‌ها استخراج نماید.
• ترانسفورمر پیشنهاد (Proposal Transformer): پس از تولید پیشنهادهای اولیه، این بخش وارد عمل می‌شود تا روابط غنی و پیچیده میان این پیشنهادها (مانند هم‌پوشانی یا شمول) را یاد بگیرد و بر اساس آن، امتیاز اطمینان قابل اعتمادتری برای هر پیشنهاد تولید کند.

با ترکیب این دو ترانسفورمر در یک معماری واحد، مدل قادر است به طور همزمان به جزئیات سطح پایین (وابستگی فریم‌ها) و ساختار سطح بالا (روابط پیشنهادها) توجه کند و به درک جامع‌تری از محتوای زمانی ویدئو دست یابد.

معماری TAPG Transformer به صورت سرتاسری (end-to-end) طراحی شده است. ورودی مدل، دنباله‌ای از ویژگی‌های بصری است که از فریم‌های ویدئو توسط یک شبکه عصبی کانولوشنی (CNN) از پیش آموزش‌دیده استخراج شده‌اند. خروجی آن نیز لیستی از بازه‌های زمانی پیشنهادی به همراه امتیاز اطمینان هر یک است.

ترانسفورمر مرزی (Boundary Transformer)

این ماژول، قلب تپنده مدل برای درک زمینه زمانی است. این ترانسفورمر توالی فریم‌ها را به عنوان ورودی دریافت کرده و با استفاده از مکانیزم توجه خودی (Self-Attention)، به هر فریم اجازه می‌دهد تا به تمام فریم‌های دیگر در ویدئو “توجه” کند. این قابلیت به مدل امکان می‌دهد تا وابستگی‌های بسیار بلندمدت را کشف کند. برای مثال، برای تشخیص دقیق لحظه شروع کنش «پرتاب توپ»، مدل باید نه تنها فریم‌های مربوط به خود پرتاب، بلکه فریم‌های آماده‌سازی ورزشکار قبل از آن را نیز تحلیل کند. ترانسفورمر مرزی این کار را با ساختن یک نمایش غنی از هر فریم بر اساس کل زمینه ویدئو انجام می‌دهد. خروجی این ماژول، دو احتمال برای هر فریم است: احتمال اینکه آن فریم نقطه شروع یک کنش باشد و احتمال اینکه نقطه پایان باشد.

ترانسفورمر پیشنهاد (Proposal Transformer)

پس از آنکه ترانسفورمر مرزی، نقاط شروع و پایان محتمل را مشخص کرد، مجموعه‌ای از پیشنهادهای اولیه تولید می‌شود. با این حال، بسیاری از این پیشنهادها ممکن است هم‌پوشانی داشته باشند، تکراری باشند یا کیفیت پایینی داشته باشند. در اینجا، ترانسفورمر پیشنهاد وارد عمل می‌شود. این ماژول، هر پیشنهاد را به عنوان یک “توکن” در نظر گرفته و روابط متقابل بین آن‌ها را مدل می‌کند. به عنوان مثال:

• اگر دو پیشنهاد تقریباً یکسان باشند، مدل یاد می‌گیرد که امتیاز یکی را سرکوب کند تا از افزونگی جلوگیری شود.
• اگر یک پیشنهاد کوتاه (مثلاً «برداشتن کلید») کاملاً در درون یک پیشنهاد بلندتر (مثلاً «خروج از خانه») قرار گرفته باشد، مدل این رابطه سلسله‌مراتبی را درک کرده و امتیازدهی را متناسب با آن تنظیم می‌کند.

این ماژول با تحلیل زمینه سایر پیشنهادها، ارزیابی بسیار دقیق‌تری از کیفیت هر پیشنهاد ارائه می‌دهد و به طور مؤثری به حذف موارد مثبت کاذب (False Positives) کمک می‌کند. در نهایت، این ماژول یک امتیاز اطمینان نهایی و قابل اعتماد برای هر پیشنهاد تولید می‌کند.

عملکرد مدل TAPG Transformer بر روی دو مجموعه داده استاندارد و چالش‌برانگیز ارزیابی شده است:

• ActivityNet-1.3: شامل حدود ۲۰ هزار ویدئوی طولانی و ویرایش‌نشده از ۲۰۰ نوع فعالیت روزمره است که آن را به یک معیار عالی برای ارزیابی مدل‌ها در شرایط واقعی تبدیل می‌کند.
• THUMOS14: شامل ویدئوهای ورزشی است که کنش‌ها در آن‌ها اغلب کوتاه‌تر و با تراکم بیشتری رخ می‌دهند، و این امر تشخیص دقیق مرزها را دشوارتر می‌سازد.

نتایج آزمایش‌ها نشان داد که TAPG Transformer به طور قابل توجهی از روش‌های پیشرفته (state-of-the-art) پیشین عملکرد بهتری دارد. معیار اصلی ارزیابی، میانگین بازخوانی (Average Recall – AR) در آستانه‌های مختلف اشتراک بر اجتماع (Intersection over Union – IoU) بود. این معیار نشان می‌دهد که مدل چه درصدی از کنش‌های واقعی را با دقت مکانی مشخصی پیدا کرده است. نتایج نشان داد که این مدل در هر دو مجموعه داده، به ویژه در آستانه‌های IoU بالاتر که نیازمند دقت مرزی بیشتری هستند، برتری محسوسی دارد.

علاوه بر نتایج کمی، تحلیل‌های کیفی نیز نشان داد که مدل در تولید پیشنهادهایی با مرزهای بسیار دقیق و در عین حال پوشش بالا، موفق عمل می‌کند. یکی از مهم‌ترین یافته‌ها این بود که با اتصال خروجی این مدل به یک طبقه‌بند کنش ساده، عملکرد برجسته‌ای در وظیفه کامل تشخیص کنش زمانی (Temporal Action Localization) به دست آمد. این موضوع تأیید می‌کند که کیفیت بالای پیشنهادهای تولید شده، یک پایه محکم برای کل سیستم تشخیص کنش فراهم می‌کند.

توانایی تشخیص دقیق بازه‌های زمانی کنش در ویدئوها، کاربردهای عملی گسترده‌ای دارد. فناوری توسعه‌یافته در این مقاله می‌تواند در زمینه‌های زیر تأثیرگذار باشد:

• نظارت تصویری هوشمند: شناسایی خودکار رفتارهای مشکوک یا غیرعادی در دوربین‌های امنیتی، مانند رها کردن یک بسته، ورود غیرمجاز یا درگیری فیزیکی.
• تحلیل ورزشی: استخراج خودکار لحظات کلیدی یک مسابقه ورزشی، مانند گل‌ها، خطاها، یا حرکات تاکتیکی خاص برای تحلیل مربیان و تولید خودکار خلاصه‌ی بازی.
• جستجوی محتوای ویدئویی: امکان جستجوی دقیق برای یک کنش خاص در آرشیوهای عظیم ویدئویی، مثلاً «پیدا کردن تمام صحنه‌هایی که در آن افراد در حال دست دادن هستند».
• رباتیک و تعامل انسان و ربات: کمک به ربات‌ها برای درک کنش‌های انسانی در محیط و واکنش مناسب به آن‌ها، مانند دنبال کردن دستورالعمل‌های فیزیکی یک کاربر.

دستاورد علمی اصلی این مقاله، اثبات این است که معماری ترانسفورمر می‌تواند به طور مؤثری برای مدل‌سازی ساختارهای زمانی چندمقیاسی در ویدئوها به کار گرفته شود. این رویکرد یکپارچه، راه را برای طراحی نسل جدیدی از مدل‌های درک ویدئو که قادر به استدلال پیچیده‌تر در مورد رویدادهای زمانی هستند، هموار می‌سازد.

مقاله “تولید پیشنهاد کنش‌های زمانی با ترانسفورمرها” یک چارچوب قدرتمند و یکپارچه به نام TAPG Transformer را معرفی می‌کند که با موفقیت از معماری ترانسفورمر برای یکی از وظایف بنیادین در تحلیل ویدئو بهره می‌برد. با استفاده از دو ماژول ترانسفورمر تخصصی، این مدل قادر است هم وابستگی‌های زمانی بلندمدت در سطح فریم‌ها و هم روابط متقابل پیچیده در سطح پیشنهادها را به طور همزمان مدل کند.

نتایج برجسته بر روی بنچمارک‌های استاندارد، برتری این رویکرد را نسبت به روش‌های پیشین به اثبات رسانده و نشان می‌دهد که پیشنهادهای تولید شده توسط این مدل از کیفیت و دقت بالایی برخوردارند. این پژوهش نه تنها یک راه‌حل کارآمد برای مسئله TAPG ارائه می‌دهد، بلکه پتانسیل بالای ترانسفورمرها را برای حل مسائل پیچیده در حوزه بینایی کامپیوتر و تحلیل ویدئو به نمایش می‌گذارد. در دسترس بودن کدها و مدل‌های این تحقیق، به پیشرفت بیشتر جامعه علمی در این زمینه کمک شایانی خواهد کرد.