کتاب صوتی معماری‌ها و الگوریتم‌های پیشرو در LLMهای مولتی‌مودال

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره معماری‌ها و الگوریتم‌های پیشرو در LLMهای مولتی‌مودال

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: مدل‌های زبانی بزرگ چندوجهی (Multimodal LLMs)**

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مدل‌های زبانی بزرگ چندوجهی
• 2. چالش‌ها و فرصت‌های LLMهای مولتی‌مودال
• 3. معماری‌های پایه در LLMهای مولتی‌مودال: مروری کلی
• 4. مدل‌های Vision-Language: مفاهیم و کاربردها
• 5. معماری CLIP: اتصال تصویر و متن
• 6. معماری ALBEF: یادگیری نمایش چندوجهی
• 7. معماری Flamingo: مدل زبانی بصری با قابلیت تعمیم
• 8. معماری BLIP: Bootstrapping Language-Image Pre-training
• 9. معماری CoCa: Contrastive Captioners are Image-Text Foundation Models
• 10. ادغام اطلاعات صوتی در LLMهای مولتی‌مودال
• 11. معماری Whisper: تشخیص گفتار و ترجمه
• 12. مدل‌های Video-Language: درک و تولید محتوای ویدئویی
• 13. معماری VideoBERT: مدل BERT برای ویدئو و متن
• 14. معماری HERO: Human-Object-Relation Extraction
• 15. ادغام داده‌های جدولی در LLMهای مولتی‌مودال
• 16. استفاده از Knowledge Graphها در LLMهای مولتی‌مودال
• 17. معماری TAPAS: Table Parser
• 18. معماری RAT-SQL: Relation-Aware Transformer for SQL
• 19. یادگیری نمایش مشترک (Joint Embedding) در LLMهای مولتی‌مودال
• 20. روش‌های Alignment داده‌های چندوجهی
• 21. تقنیه‌های Attention در LLMهای مولتی‌مودال (Cross-Attention, Co-Attention)
• 22. مکانیسم‌های Fusion در LLMهای مولتی‌مودال (Early Fusion, Late Fusion)
• 23. Fine-tuning LLMهای مولتی‌مودال برای وظایف خاص
• 24. ارزیابی LLMهای مولتی‌مودال: معیارها و چالش‌ها
• 25. تولید تصویر از متن (Text-to-Image Generation)
• 26. تولید زیرنویس تصویر (Image Captioning)
• 27. پرسش و پاسخ بصری (Visual Question Answering)
• 28. تولید ویدئو از متن (Text-to-Video Generation)
• 29. خلاصه‌سازی ویدئو (Video Summarization)
• 30. تشخیص اشیاء و صحنه‌ها در ویدئو
• 31. تولید پاسخ‌های چندوجهی (Multimodal Dialogue Generation)
• 32. مدل‌های مولتی‌مودال برای رباتیک
• 33. LLMهای مولتی‌مودال در حوزه‌ی پزشکی
• 34. LLMهای مولتی‌مودال در حوزه‌ی آموزش
• 35. LLMهای مولتی‌مودال و متاورس
• 36. چالش‌های مقیاس‌پذیری در LLMهای مولتی‌مودال
• 37. بهینه‌سازی حافظه و محاسبات در LLMهای مولتی‌مودال
• 38. حریم خصوصی و امنیت در LLMهای مولتی‌مودال
• 39. تفسیرپذیری LLMهای مولتی‌مودال
• 40. آینده‌ی LLMهای مولتی‌مودال و جهت‌گیری‌های تحقیقاتی