کتاب صوتی تصاویر شهری سخن می‌گویند: یادگیری بازنمایی دقیق با LLM و حذف هوشمند نویز

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تصاویر شهری سخن می‌گویند: یادگیری بازنمایی دقیق با LLM و حذف هوشمند نویز

موضوع کلی: هوش مصنوعی و درک محیط شهری

موضوع میانی: یادگیری بازنمایی شهری با استفاده از مدل‌های زبان بزرگ

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر هوش مصنوعی و درک محیط شهری
• 2. اهمیت درک خودکار محیط شهری: از شهر هوشمند تا ناوبری خودران
• 3. معرفی دوره: تصاویر شهری سخن می‌گویند
• 4. معرفی مقاله الهام‌بخش و ایده کلیدی آن
• 5. بازنمایی (Representation) چیست و چرا در هوش مصنوعی مهم است؟
• 6. یادگیری بازنمایی (Representation Learning): از ویژگی‌های دستی تا یادگیری عمیق
• 7. داده‌های تصویری شهری: انواع، منابع و چالش‌ها (Google Street View, Mapillary)
• 8. مفهوم نظارت (Supervision) در یادگیری ماشین: قوی، ضعیف و خودنظارتی
• 9. چالش اصلی: نظارت با کپشن‌های طولانی و نویزی (Noisy Long-Caption Supervision)
• 10. ملاقات بینایی کامپیوتر و پردازش زبان طبیعی: یک اتحاد قدرتمند
• 11. نقشه راه دوره: از مبانی تا پروژه‌های عملی
• 12. یادآوری مبانی یادگیری عمیق و شبکه‌های عصبی
• 13. مقدمه‌ای بر شبکه‌های عصبی کانولوشنی (CNN) برای پردازش تصویر
• 14. معماری‌های کلیدی CNN: از LeNet و AlexNet تا ResNet
• 15. استخراج ویژگی از تصاویر با استفاده از CNNها
• 16. مفهوم پیش‌آموزش (Pre-training) و یادگیری انتقالی (Transfer Learning) در بینایی کامپیوتر
• 17. فراتر از طبقه‌بندی تصویر: تشخیص اشیاء (Object Detection)
• 18. بخش‌بندی معنایی (Semantic Segmentation) در تصاویر شهری
• 19. انقلاب ترنسفورمرها در بینایی کامپیوتر: معرفی Vision Transformers (ViT)
• 20. مقایسه ViT و CNN برای تحلیل تصاویر شهری
• 21. یادگیری بازنمایی برای کل تصویر در مقابل نواحی (Regions) تصویر
• 22. مبانی پردازش زبان طبیعی (NLP)
• 23. از شمارش کلمات تا نهان‌سازی کلمات (Word Embeddings): Word2Vec و GloVe
• 24. مروری بر شبکه‌های عصبی بازگشتی (RNN) و LSTM برای پردازش توالی
• 25. معماری ترنسفورمر: مکانیزم توجه (Attention) به عنوان هسته اصلی
• 26. رمزگذار (Encoder) و رمزگشا (Decoder) در ترنسفورمرها
• 27. آشنایی با مدل BERT: یادگیری بازنمایی دوطرفه از متن
• 28. آشنایی با خانواده مدل‌های GPT: قدرت تولید متن
• 29. مدل‌های زبان بزرگ (LLM) چه هستند و چگونه کار می‌کنند؟
• 30. توکنیزاسیون (Tokenization): تبدیل متن به ورودی قابل فهم برای مدل
• 31. توانمندی‌ها و محدودیت‌های LLMها در درک مفاهیم پیچیده
• 32. چرا به مدل‌های چندوجهی (Multimodal) نیاز داریم؟
• 33. مقدمه‌ای بر مدل‌های زبان-بینایی (Vision-Language Models)
• 34. معرفی مدل CLIP: اتصال متن و تصویر با یادگیری تضادگونه (Contrastive Learning)
• 35. فضای نهان مشترک (Joint Embedding Space) و قدرت آن
• 36. هم‌ترازی (Alignment) تصویر و متن: چگونه CLIP این کار را انجام می‌دهد؟
• 37. معرفی مدل‌های پیشرفته‌تر: BLIP و ALBEF
• 38. یادگیری صفر-شات (Zero-Shot Learning) با مدل‌های زبان-بینایی
• 39. تنظیم دقیق (Fine-tuning) مدل‌های زبان-بینایی برای وظایف خاص
• 40. کاربرد مدل‌های زبان-بینایی در تحلیل تصاویر شهری
• 41. تحلیل عمیق مشکل: نویز در کپشن‌های شهری چیست؟
• 42. انواع نویز: عدم تطابق مکانی، اطلاعات نامربوط، کلی‌گویی
• 43. چرا کپشن‌های طولانی هم یک فرصت و هم یک چالش هستند؟
• 44. ایده اصلی مقاله: استفاده از LLM به عنوان یک فیلتر هوشمند نویز
• 45. معماری پیشنهادی: یک رویکرد دو مرحله‌ای
• 46. مرحله اول: تولید جفت‌های کاندید (ناحیه-عبارت)
• 47. استخراج ویژگی‌های ناحیه‌ای از تصویر با استفاده از مدل‌های بینایی
• 48. تجزیه کپشن طولانی به عبارات معنادار (Phrase Grounding)
• 49. مرحله دوم: فیلتر کردن هوشمند جفت‌ها با استفاده از LLM
• 50. طراحی پرامپت (Prompt Engineering) برای هدایت LLM
• 51. چگونه LLM تصمیم می‌گیرد کدام عبارت به کدام ناحیه مرتبط است؟
• 52. ساختار مدل نهایی و تابع هزینه (Loss Function)
• 53. آموزش سرتاسری (End-to-End) مدل
• 54. وظایف پایین‌دستی (Downstream Tasks) برای ارزیابی کیفیت بازنمایی
• 55. معیارهای ارزیابی: طبقه‌بندی و بازیابی ناحیه‌ای
• 56. مقایسه نتایج با روش‌های پایه (Baseline)
• 57. تحلیل خطاها: مدل در چه مواردی شکست می‌خورد؟
• 58. اهمیت حذف نویز در بهبود بازنمایی نهایی
• 59. انتخاب مجموعه داده مناسب برای پروژه
• 60. پیش‌پردازش داده‌های تصویری: نرمال‌سازی و افزایش داده (Data Augmentation)
• 61. پیش‌پردازش داده‌های متنی: پاک‌سازی و توکنیزاسیون
• 62. ابزارها و کتابخانه‌ها: PyTorch, Hugging Face Transformers, OpenCV
• 63. ساختار کد و پایپ‌لاین آموزش مدل
• 64. انتخاب و تنظیم هایپرپارامترها: نرخ یادگیری، اندازه دسته و ...
• 65. چالش‌های محاسباتی و نیازمندی‌های سخت‌افزاری (GPU)
• 66. نظارت بر فرآیند آموزش: ابزارهای TensorBoard و Weights & Biases
• 67. اشکال‌زدایی (Debugging) مدل‌های چندوجهی
• 68. بصری‌سازی نتایج: نقشه‌های حرارتی توجه و هم‌ترازی ناحیه-عبارت
• 69. پروژه عملی: پیاده‌سازی یک نسخه ساده‌شده از مدل مقاله
• 70. مقایسه با روش‌های دیگر یادگیری بازنمایی شهری
• 71. محدودیت‌های رویکرد مبتنی بر LLM
• 72. ملاحظات اخلاقی: حریم خصوصی در تصاویر شهری
• 73. سوگیری (Bias) در داده‌ها و مدل‌ها و راه‌های مقابله با آن
• 74. کاربردهای فراتر از بازنمایی: جستجوی معنایی تصاویر شهری
• 75. تولید خودکار توصیفات شهری (Urban Captioning)
• 76. ادغام با داده‌های دیگر: نقشه، GPS و داده‌های حسگرهای لایدار (LiDAR)
• 77. روندهای آینده: مدل‌های پایه (Foundation Models) برای درک شهری
• 78. یادگیری مستمر (Continual Learning) در محیط‌های شهری در حال تغییر
• 79. جمع‌بندی نهایی و خلاصه دستاوردهای دوره
• 80. راهنمای پروژه پایانی: چالش درک یک محله شهری جدید