فلش‌کارت‌های آموزشی راهنمای عملی شبکه‌های عصبی ترنسفورمر

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره راهنمای عملی شبکه‌های عصبی ترنسفورمر

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر شبکه‌های عصبی ترنسفورمر
• 2. معماری اصلی ترنسفورمر: رمزگذار و رمزگشا
• 3. مکانیسم توجه (Attention Mechanism)
• 4. محاسبه‌ی توجه مقیاس‌دار (Scaled Dot-Product Attention)
• 5. توجه چندگانه (Multi-Head Attention)
• 6. اتصالات باقیمانده (Residual Connections) و نرمال‌سازی لایه (Layer Normalization)
• 7. رمزگذار ترنسفورمر: بررسی دقیق‌تر
• 8. رمزگشا ترنسفورمر: بررسی دقیق‌تر
• 9. انکودینگ موقعیتی (Positional Encoding)
• 10. تابع فعال‌سازی در ترنسفورمرها
• 11. شبکه‌های ترنسفورمر و پردازش زبان طبیعی (NLP)
• 12. مدل‌های پیش‌آموزش‌دیده ترنسفورمر (Pre-trained Transformer Models)
• 13. BERT: معماری، آموزش و کاربردها
• 14. GPT: معماری، آموزش و کاربردها
• 15. تفاوت‌های کلیدی بین BERT و GPT
• 16. Fine-tuning مدل‌های ترنسفورمر پیش‌آموزش‌دیده
• 17. کاربردهای ترنسفورمر در ترجمه ماشینی
• 18. کاربردهای ترنسفورمر در خلاصه‌سازی متن
• 19. کاربردهای ترنسفورمر در پاسخ به سوال (Question Answering)
• 20. کاربردهای ترنسفورمر در تولید متن
• 21. ترنسفورمرها و مدل‌های تصویر
• 22. Vision Transformer (ViT)
• 23. DeiT: Data-efficient Image Transformers
• 24. ترنسفورمرها در تشخیص اشیا
• 25. ترنسفورمرها در تقسیم‌بندی تصاویر
• 26. توجه خودکار (Self-Attention) در بینایی کامپیوتر
• 27. بهینه‌سازی مدل‌های ترنسفورمر
• 28. کوانتیزاسیون (Quantization) مدل‌های ترنسفورمر
• 29. هرس (Pruning) مدل‌های ترنسفورمر
• 30. تقطیر دانش (Knowledge Distillation)
• 31. ترنسفورمرها و سخت‌افزار: TPUها و GPUها
• 32. پیاده‌سازی ترنسفورمر با TensorFlow
• 33. پیاده‌سازی ترنسفورمر با PyTorch
• 34. ترنسفورمرها و حافظه: محدودیت‌ها و راهکارها
• 35. مدل‌های ترنسفورمر با حافظه طولانی
• 36. Sparse Attention
• 37. Longformer: توجه پراکنده برای متن‌های طولانی
• 38. Reformer: کاهش پیچیدگی محاسباتی
• 39. Performer: توجه سریع و دقیق
• 40. Transformer-XL: توجه بازگشتی
• 41. آینده‌ی ترنسفورمرها و تحقیقات فعلی
• 42. ترنسفورمرها در مدل‌های چندوجهی (Multimodal Models)
• 43. کاربردهای ترنسفورمر در زمینه‌های تخصصی (علوم پزشکی، مالی و غیره)