فلش‌کارت‌های آموزشی معماری ترنسفورمر: درک عمیق و کاربردهای عملی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره معماری ترنسفورمر: درک عمیق و کاربردهای عملی

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر معماری ترنسفورمر و جایگاه آن در هوش مصنوعی
• 2. شبکه‌های عصبی بازگشتی (RNN) و محدودیت‌های آن‌ها
• 3. مقدمه به توالی به توالی (Sequence-to-Sequence)
• 4. مکانیسم توجه (Attention Mechanism): مفهوم و ضرورت
• 5. انواع مختلف مکانیسم‌های توجه
• 6. توجه مقیاس‌دار نقطه‌ای (Scaled Dot-Product Attention)
• 7. محاسبه توجه چند-رأس (Multi-Head Attention)
• 8. معماری Encoder در ترنسفورمر
• 9. معماری Decoder در ترنسفورمر
• 10. اتصالات باقیمانده (Residual Connections) و نرمال‌سازی لایه (Layer Normalization)
• 11. انکدینگ موقعیتی (Positional Encoding): روش‌ها و اهمیت
• 12. مفهوم Self-Attention و کاربرد آن
• 13. Transformer Block: ترکیب اجزای اصلی
• 14. مدل ترنسفورمر کامل: Encoder-Decoder
• 15. کاربرد ترنسفورمر در ترجمه ماشینی
• 16. توکن‌سازی (Tokenization) و واژگان (Vocabulary)
• 17. Embedding لغات و نقش آن در ترنسفورمر
• 18. مفهوم ماسک (Masking) در ترنسفورمر
• 19. آموزش مدل ترنسفورمر: تابع زیان و بهینه‌سازی
• 20. تنظیم هایپرمترها (Hyperparameter Tuning)
• 21. ارزیابی مدل ترنسفورمر: معیارها و روش‌ها
• 22. ترنسفورمر در پردازش زبان طبیعی (NLP)
• 23. مدل BERT: مقدمه و معماری
• 24. Fine-tuning مدل BERT برای وظایف مختلف NLP
• 25. مدل GPT: مقدمه و معماری
• 26. تولید متن با مدل GPT
• 27. مدل T5: مقدمه و معماری
• 28. کاربرد ترنسفورمر در بینایی کامپیوتر (Computer Vision)
• 29. Vision Transformer (ViT): مقدمه و معماری
• 30. استخراج ویژگی با استفاده از ترنسفورمر
• 31. تشخیص اشیاء با استفاده از ترنسفورمر
• 32. Segmentation تصویر با استفاده از ترنسفورمر
• 33. ترنسفورمر در پردازش صدا (Audio Processing)
• 34. مدل Wav2Vec 2.0: مقدمه و معماری
• 35. تبدیل گفتار به متن (Speech-to-Text) با ترنسفورمر
• 36. ترنسفورمر در سری‌های زمانی (Time Series)
• 37. پیش‌بینی سری‌های زمانی با استفاده از ترنسفورمر
• 38. تحلیل احساسات (Sentiment Analysis) با ترنسفورمر
• 39. خلاصه‌سازی متن (Text Summarization) با ترنسفورمر
• 40. پرسش و پاسخ (Question Answering) با ترنسفورمر
• 41. ترنسفورمر و مدل‌های زبانی بزرگ (LLMs): مروری بر پیشرفت‌ها
• 42. محدودیت‌های ترنسفورمر و چالش‌های پیش رو
• 43. بهینه‌سازی ترنسفورمر برای منابع محدود
• 44. Quantization و Pruning در ترنسفورمر
• 45. Distillation در ترنسفورمر
• 46. آینده ترنسفورمر و تحقیقات جاری