در عصر دیجیتال، حجم تولید محتوای ویدئویی به شکل سرسام‌آوری در حال افزایش است. این انفجار اطلاعات، نیاز به ابزارهای هوشمند برای جستجو و درک محتوای ویدئویی را بیش از پیش نمایان کرده است. یکی از چالش‌برانگیزترین وظایف در این حوزه، مکان‌یابی لحظه در ویدئو (Video Grounding) است. این وظیفه به معنای یافتن یک قطعه زمانی خاص در یک ویدئوی طولانی است که به بهترین شکل با یک توصیف متنی (پرسش زبانی) مطابقت دارد. به عبارت ساده‌تر، تصور کنید به یک سیستم می‌گویید «لحظه‌ای که زن عینکش را برمی‌دارد را پیدا کن» و سیستم به طور خودکار بازه زمانی دقیق آن رویداد را در ویدئو مشخص می‌کند.

اهمیت این فناوری در کاربردهای متعددی مانند موتورهای جستجوی ویدئویی پیشرفته، خلاصه‌سازی خودکار ویدئو، سیستم‌های نظارتی هوشمند و تعامل انسان و ربات نهفته است. مقاله «شبکه توجه موازی با تطبیق توالی برای مکان‌یابی لحظه در ویدئو» که با عنوان اصلی “Parallel Attention Network with Sequence Matching for Video Grounding” منتشر شده است، یک راهکار نوآورانه برای غلبه بر دو چالش اصلی این حوزه ارائه می‌دهد: یادگیری نمایش چندوجهی (ترکیب مؤثر اطلاعات بصری و متنی) و پیش‌بینی دقیق مرزهای زمانی لحظه مورد نظر. این مقاله با معرفی معماری جدیدی به نام SeqPAN، گامی مهم در جهت افزایش دقت و کارایی سیستم‌های مکان‌یابی لحظه برداشته است.

این مقاله حاصل تلاش گروهی از محققان برجسته به نام‌های Hao Zhang، Aixin Sun، Wei Jing، Liangli Zhen، Joey Tianyi Zhou و Rick Siow Mong Goh است. این پژوهشگران در مرز مشترک دو حوزه کلیدی هوش مصنوعی فعالیت می‌کنند: بینایی کامپیوتر (Computer Vision) و پردازش زبان طبیعی (Natural Language Processing).

حوزه تحقیقاتی این مقاله، که اغلب با عنوان «یادگیری چندوجهی» یا «پردازش زبان-بینایی» شناخته می‌شود، به توسعه مدل‌هایی می‌پردازد که قادر به درک و استدلال همزمان بر روی داده‌های بصری (مانند تصاویر و ویدئوها) و داده‌های متنی هستند. این زمینه یکی از داغ‌ترین و پویاترین شاخه‌های هوش مصنوعی است، زیرا توانایی درک مشترک از جهان بصری و زبانی، گامی اساسی به سوی هوش مصنوعی عمومی (AGI) محسوب می‌شود.

هدف اصلی وظیفه مکان‌یابی لحظه در ویدئو، بازیابی یک بازه زمانی از یک ویدئو است که از نظر معنایی با یک پرسش زبانی مطابقت دارد. در این مقاله، نویسندگان یک شبکه توجه موازی با تطبیق توالی (SeqPAN) را برای مقابله با چالش‌های کلیدی این وظیفه پیشنهاد می‌کنند. این چالش‌ها شامل یادگیری نمایش چندوجهی و پیش‌بینی مرزهای لحظه هدف است.

برای حل این مشکلات، یک ماژول توجه موازی خود-راهبر (self-guided parallel attention) طراحی شده است تا به طور مؤثر زمینه‌های درون‌وجهی (اطلاعات داخل ویدئو و داخل متن به صورت مجزا) و اطلاعات توجهی میان‌وجهی (ارتباط بین ویدئو و متن) را استخراج کند. علاوه بر این، با الهام از وظایف برچسب‌گذاری توالی در پردازش زبان طبیعی، نویسندگان لحظه زمانی صحیح را به سه ناحیه آغاز (Begin)، داخل (Inside) و پایان (End) تقسیم می‌کنند. سپس یک استراتژی تطبیق توالی برای هدایت پیش‌بینی‌های مرزهای شروع و پایان با استفاده از این برچسب‌های ناحیه‌ای ارائه می‌شود. نتایج آزمایش‌ها روی سه مجموعه داده معتبر نشان می‌دهد که مدل SeqPAN عملکردی برتر از روش‌های پیشرفته پیشین دارد و کارایی دو ماژول اصلی آن نیز به اثبات رسیده است.

معماری SeqPAN از چند بخش کلیدی تشکیل شده است که هر یک برای حل چالشی خاص طراحی شده‌اند. در ادامه، این بخش‌ها به تفصیل شرح داده می‌شوند:

• استخراج ویژگی‌های اولیه: در گام نخست، ویدئو به دنباله‌ای از قطعات (clips) و پرسش متنی به دنباله‌ای از کلمات تقسیم می‌شود. سپس از مدل‌های از پیش‌آموزش‌دیده قدرتمند مانند C3D یا I3D برای استخراج ویژگی‌های بصری از هر قطعه ویدئویی و از مدل‌هایی مانند GloVe یا BERT برای تبدیل کلمات به بردارهای عددی (ویژگی‌های متنی) استفاده می‌شود.
• ماژول توجه موازی خود-راهبر: این ماژول قلب تپنده مدل SeqPAN است و وظیفه یادگیری تعاملات پیچیده بین ویدئو و متن را بر عهده دارد. برخلاف روش‌های سنتی که اطلاعات را به صورت سریالی پردازش می‌کنند، این ماژول دارای دو مسیر موازی است:
  • توجه درون‌وجهی (Self-Modal Attention): در این بخش، مدل به طور مستقل روابط درون ویدئو (مثلاً ارتباط یک فریم با فریم‌های دیگر) و روابط درون متن (مثلاً ارتباط یک کلمه با سایر کلمات جمله) را یاد می‌گیرد. این کار به مدل کمک می‌کند تا درک عمیق‌تری از هر یک از ورودی‌ها به دست آورد.
  • توجه میان‌وجهی (Cross-Modal Attention): این بخش مسئول ایجاد پل ارتباطی بین دو دنیای بصری و زبانی است. مدل یاد می‌گیرد که کدام بخش‌های ویدئو با کدام کلمات پرسش ارتباط معنایی دارند. برای مثال، کلمه «پریدن» را به فریم‌هایی که در آن یک شخص در حال پریدن است، مرتبط می‌کند. عبارت “خود-راهبر” به این معناست که اطلاعات به دست آمده از توجه درون‌وجهی به هدایت بهتر فرآیند توجه میان‌وجهی کمک می‌کند.
• ماژول تطبیق توالی (Sequence Matching): پیش‌بینی دقیق نقاط شروع و پایان یک رویداد، یکی از دشوارترین بخش‌های این وظیفه است. نویسندگان با الهام از تکنیک برچسب‌گذاری توالی (Sequence Labeling) در NLP، رویکرد جدیدی را ابداع کرده‌اند. به جای اینکه مدل مستقیماً دو عدد (زمان شروع و پایان) را پیش‌بینی کند، وظیفه را به یک مسئله طبقه‌بندی برای هر فریم تبدیل می‌کند. هر فریم ویدئویی به یکی از سه دسته برچسب‌گذاری می‌شود:
  • B (Begin): فریمی که آغازگر لحظه مورد نظر است.
  • I (Inside): فریمی که در داخل بازه زمانی لحظه مورد نظر قرار دارد.
  • E (End): فریمی که پایان‌بخش لحظه مورد نظر است.
  • (فریم‌های دیگر به عنوان O یا Outside در نظر گرفته می‌شوند.)

  این رویکرد یک سیگنال آموزشی بسیار غنی‌تر برای مدل فراهم می‌کند. در نهایت، با استفاده از یک استراتژی تطبیق توالی، مدل محتمل‌ترین توالی B-I-…-I-E را پیدا کرده و مرزهای دقیق لحظه را مشخص می‌کند. این روش به طور قابل توجهی از پیش‌بینی‌های نادرست و لرزان جلوگیری می‌کند.

برای ارزیابی عملکرد مدل SeqPAN، آزمایش‌های گسترده‌ای بر روی سه مجموعه داده استاندارد در این حوزه یعنی ActivityNet Captions، Charades-STA و TACoS انجام شد. نتایج به وضوح برتری این مدل را نسبت به روش‌های پیشین نشان داد.

• عملکرد برتر (State-of-the-Art): مدل SeqPAN در تمامی مجموعه داده‌ها و با معیارهای ارزیابی مختلف، به ویژه معیار “R@k, IoU=m” (درصدی از پرسش‌ها که پیش‌بینی مدل دارای همپوشانی (IoU) حداقل m با واقعیت باشد)، به نتایج بهتری دست یافت. این امر نشان‌دهنده توانایی بالای مدل در درک چندوجهی و مکان‌یابی دقیق است.
• مطالعات حذف (Ablation Studies): برای اثبات اهمیت هر یک از اجزای پیشنهادی، نویسندگان آزمایش‌هایی را با حذف هر یک از ماژول‌ها انجام دادند. نتایج نشان داد که حذف ماژول توجه موازی یا ماژول تطبیق توالی، هر دو منجر به افت قابل توجهی در عملکرد مدل می‌شود. این یافته تأیید می‌کند که موفقیت SeqPAN مدیون ترکیب هوشمندانه هر دو نوآوری است.
• تحلیل کیفی: بررسی‌های کیفی نیز نشان داد که مدل در مواجهه با پرسش‌های پیچیده و ویدئوهای چالش‌برانگیز (مانند ویدئوهایی با رویدادهای متعدد و مشابه) عملکرد بسیار خوبی از خود نشان می‌دهد و مرزها را با دقت بالاتری نسبت به رقبا تشخیص می‌دهد.

دستاوردهای این مقاله هم در حوزه علمی و هم در کاربردهای عملی قابل توجه است.

کاربردهای عملی:

• جستجوی ویدئویی هوشمند: کاربران می‌توانند به جای جستجوی کلیدواژه‌های ساده، توصیفات دقیقی از یک صحنه را جستجو کنند (مثلاً «لحظه‌ای که دو نفر در پارک دست می‌دهند») و مستقیماً به آن بخش از ویدئو هدایت شوند.
• ویرایش و خلاصه‌سازی ویدئو: ابزارهای ویرایش ویدئو می‌توانند با استفاده از این فناوری، به طور خودکار بخش‌های مهم را بر اساس توصیفات متنی شناسایی کرده و برای ساخت کلیپ‌های خلاصه یا هایلایت‌ها استفاده کنند.
• رباتیک و تعامل انسان و ماشین: یک ربات خانگی می‌تواند دستورات پیچیده‌تری مانند «آن کتاب آبی را از قفسه دوم بردار» را درک کند، زیرا ابتدا می‌تواند عبارت «کتاب آبی در قفسه دوم» را در درک بصری خود مکان‌یابی کند.
• سیستم‌های کمک‌رسان: این فناوری می‌تواند برای تولید توصیفات صوتی دقیق از بخش‌های خاص یک ویدئو برای افراد کم‌بینا یا نابینا به کار رود.

دستاوردهای علمی:

• ارائه یک معماری جدید و کارآمد (SeqPAN) برای یادگیری چندوجهی که به خوبی از پس چالش‌های ترکیب اطلاعات بصری و زبانی برمی‌آید.
• معرفی یک رویکرد نوین برای پیش‌بینی مرزهای زمانی با الهام از حوزه پردازش زبان طبیعی، که نشان‌دهنده قدرت ایده‌های میان‌رشته‌ای است.

مقاله «شبکه توجه موازی با تطبیق توالی برای مکان‌یابی لحظه در ویدئو» یک گام مهم رو به جلو در زمینه درک چندوجهی هوش مصنوعی است. مدل پیشنهادی SeqPAN با بهره‌گیری از یک ماژول توجه موازی قدرتمند و یک استراتژی نوآورانه برای تطبیق توالی، موفق به دستیابی به نتایج پیشرفته و شکستن رکوردهای پیشین در وظیفه چالش‌برانگیز مکان‌یابی لحظه در ویدئو شده است. این پژوهش نه تنها یک راهکار عملی و مؤثر ارائه می‌دهد، بلکه درهای جدیدی را برای تحقیقات آینده در زمینه ترکیب عمیق‌تر بینایی کامپیوتر و پردازش زبان طبیعی می‌گشاید و ما را به سوی سیستم‌های هوش مصنوعی که قادر به درک جهان به شیوه‌ای مشابه انسان هستند، نزدیک‌تر می‌کند.