فلش‌کارت‌های آموزشی ترنسفورمرها: از مبانی تا کاربردهای پیشرفته

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ترنسفورمرها: از مبانی تا کاربردهای پیشرفته

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر شبکه‌های عصبی ترنسفورمر
• 2. معماری ترنسفورمر: یک نمای کلی
• 3. مکانیسم توجه (Attention Mechanism): اصول اولیه
• 4. توجه مقیاس‌بندی شده به نقطه (Scaled Dot-Product Attention)
• 5. توجه چندگانه (Multi-Head Attention)
• 6. اتصالات باقیمانده (Residual Connections) و نرمال‌سازی لایه (Layer Normalization)
• 7. انکودر ترنسفورمر: ساختار و عملکرد
• 8. دیکودر ترنسفورمر: ساختار و عملکرد
• 9. موقعیت‌یابی در ترنسفورمرها (Positional Encoding)
• 10. خود-توجه (Self-Attention) در ترنسفورمرها
• 11. کاربرد خود-توجه در پردازش زبان طبیعی
• 12. ترنسفورمرها در مقابل شبکه‌های عصبی بازگشتی (RNNs)
• 13. مدل‌های مبتنی بر ترنسفورمر: BERT
• 14. BERT: معماری و پیش‌آموزش
• 15. BERT: تنظیم دقیق (Fine-tuning) برای وظایف مختلف
• 16. مدل‌های مبتنی بر ترنسفورمر: GPT
• 17. GPT: معماری و تولید متن
• 18. GPT: کاربردهای تولید محتوا و چت‌بات‌ها
• 19. مدل‌های مبتنی بر ترنسفورمر: T5
• 20. T5: معماری و رویکرد متن به متن
• 21. مدل‌های ترنسفورمر برای ترجمه ماشینی
• 22. مدل‌های ترنسفورمر برای خلاصه‌سازی متن
• 23. مدل‌های ترنسفورمر برای پاسخ به سوال
• 24. توجه در پردازش تصویر با ترنسفورمرها (Vision Transformer - ViT)
• 25. ترنسفورمرها و داده‌های سری زمانی
• 26. بهینه‌سازی ترنسفورمرها: کوانتیزاسیون
• 27. بهینه‌سازی ترنسفورمرها: هرس کردن (Pruning)
• 28. بهینه‌سازی ترنسفورمرها: تقطیر دانش (Knowledge Distillation)
• 29. ترنسفورمرها و حافظه طولانی‌مدت (Long-Range Dependencies)
• 30. محدودیت‌های ترنسفورمرها
• 31. روش‌های مقابله با محدودیت‌های ترنسفورمرها
• 32. ترنسفورمرهای پراکنده (Sparse Transformers)
• 33. ترنسفورمرهای خطی (Linear Transformers)
• 34. ترنسفورمرهای کارآمد (Efficient Transformers)
• 35. مدل‌های ترنسفورمر چندوجهی (Multimodal Transformers)
• 36. ترنسفورمرها در پردازش گفتار
• 37. کاربردهای ترنسفورمرها در بیوانفورماتیک
• 38. ترنسفورمرها و یادگیری تقویتی
• 39. ترنسفورمرها و تولید کد
• 40. ترنسفورمرها و استدلال
• 41. ترنسفورمرها و تشخیص ناهنجاری
• 42. آینده ترنسفورمرها و تحقیقات در حال انجام
• 43. پیاده‌سازی ترنسفورمرها با استفاده از TensorFlow/PyTorch
• 44. استفاده از کتابخانه‌های Hugging Face Transformers
• 45. تنظیم هایپرپارامترهای ترنسفورمر
• 46. عیب‌یابی و اشکال‌زدایی مدل‌های ترنسفورمر
• 47. استقرار مدل‌های ترنسفورمر