فلش‌کارت‌های آموزشی یادگیری ماشین در پردازش ترکیبی ویدئو و متن

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره یادگیری ماشین در پردازش ترکیبی ویدئو و متن

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: پردازش همزمان متن و ویدئو

📋 سرفصل‌های دوره

• 1. مبانی و تعاریف پایه در یادگیری ماشین و پردازش چندوجهی (Multimodal)
• 2. پیش‌پردازش و استخراج ویژگی‌های فریم‌های ویدئویی (Visual Features)
• 3. پیش‌پردازش، پاکسازی و توکنایزیشن متون متناظر با ویدئو
• 4. مفاهیم و اصول تعبیه‌سازی مشترک (Joint Embedding) برای متن و تصویر
• 5. استفاده از شبکه‌های کانولوشنی (CNN) برای استخراج ویژگی‌های فضایی ویدئو
• 6. بهره‌گیری از شبکه‌های بازگشتی (RNN و LSTM) در تحلیل توالی‌های ویدئویی
• 7. معماری ترنسفورمر (Transformer) و نقش آن در مدل‌سازی چندوجهی
• 8. مکانیسم توجه متقاطع (Cross-Attention) میان فریم‌های ویدئویی و توکن‌های متنی
• 9. آموزش مدل CLIP و نحوه هم‌محور کردن فضای برداری تصویر و متن
• 10. مدل‌های Video-Text Retrieval برای بازیابی ویدئو بر اساس متن و بالعکس
• 11. پاسخگویی به سوالات ویدئویی (Video Question Answering یا VideoQA)
• 12. خلاصه‌سازی خودکار ویدئو با استفاده از راهنمایی‌های متنی (Text-guided Video Summarization)
• 13. تولید زیرنویس و شرح صحنه خودکار برای ویدئو (Video Captioning)
• 14. تفسیر و بازشناسی حرکات و فعالیت‌ها (Action Recognition) با تطبیق متنی
• 15. مدل‌های پایه بزرگ چندوجهی (Large Multimodal Models - LMMs) در پردازش ویدئو
• 16. پیاده‌سازی و تنظیم دقیق (Fine-tuning) مدل‌های بازمانند Video-LLaVA و مشابه آن
• 17. مدیریت توالی‌های طولانی در ویدئو با استفاده از حافظه‌های بهینه در ترنسفورمرها
• 18. کاهش ابعاد و بهینه‌سازی محاسباتی در پردازش همزمان حجم بالای ویدئو و متن
• 19. تکنیک‌های یادگیری تطبیقی و انتقال دانش (Transfer Learning) در داده‌های ترکیبی
• 20. ارزیابی مدل‌های ترکیبی ویدئو و متن با استفاده از معیارهای استاندارد (Metrics)
• 21. پیاده‌سازی پروژه‌های عملی بازشناسی رویدادهای ویدئویی با جستجوی متنی
• 22. بهینه‌سازی، استقرار و پیاده‌سازی مدل‌های چندوجهی در محیط‌های عملیاتی (Production)