فلش‌کارت‌های آموزشی ترنسفورمرها: از مبانی تا مهندسی پیشرفته

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ترنسفورمرها: از مبانی تا مهندسی پیشرفته

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر شبکه‌های عصبی ترنسفورمر
• 2. معماری اصلی ترنسفورمر: رمزگذار و رمزگشا
• 3. مکانیسم توجه (Attention) در ترنسفورمرها
• 4. توجه چندگانه (Multi-Head Attention)
• 5. اتصالات باقیمانده (Residual Connections) و نرمال‌سازی لایه (Layer Normalization)
• 6. رمزگذاری موقعیتی (Positional Encoding)
• 7. مفهوم خود-توجهی (Self-Attention)
• 8. کاربردهای خود-توجهی در پردازش زبان طبیعی
• 9. شبکه‌های ترنسفورمر برای ترجمه ماشینی
• 10. مدل‌های زبان بزرگ (LLMs) مبتنی بر ترنسفورمر
• 11. پیش‌آموزش (Pre-training) و تنظیم دقیق (Fine-tuning) ترنسفورمرها
• 12. معماری BERT و کاربردهای آن
• 13. معماری GPT و کاربردهای آن
• 14. مدل‌های ترنسفورمر برای خلاصه‌سازی متن
• 15. مدل‌های ترنسفورمر برای پاسخ به سوال
• 16. تولید متن با استفاده از ترنسفورمرها
• 17. مدل‌های ترنسفورمر برای تشخیص موجودیت نام‌دار (NER)
• 18. مدل‌های ترنسفورمر برای تحلیل احساسات
• 19. شبکه‌های ترنسفورمر در بینایی کامپیوتر
• 20. Vision Transformer (ViT)
• 21. DeiT: Data-efficient Image Transformers
• 22. مدل‌های ترنسفورمر برای تشخیص اشیا
• 23. مدل‌های ترنسفورمر برای تقسیم‌بندی معنایی تصاویر
• 24. کاربردهای ترنسفورمرها در پردازش صدا
• 25. مدل‌های ترنسفورمر برای تشخیص گفتار
• 26. مدل‌های ترنسفورمر برای تولید صدا
• 27. بهینه‌سازی ترنسفورمرها: کاهش محاسبات
• 28. تکنیک‌های کوانتیزاسیون (Quantization) ترنسفورمرها
• 29. تکنیک‌های هرس (Pruning) ترنسفورمرها
• 30. تقطیر دانش (Knowledge Distillation) در ترنسفورمرها
• 31. ترنسفورمرهای کم‌حافظه (Memory-efficient Transformers)
• 32. معماری Transformer-XL
• 33. معماری Reformer
• 34. معماری Longformer
• 35. معماری Big Bird
• 36. معماری Performer
• 37. استفاده از ترنسفورمرها در یادگیری تقویتی
• 38. ترنسفورمرها و مدل‌های مولد تقابلی (GANs)
• 39. کاربردهای ترنسفورمرها در سری‌های زمانی
• 40. ترنسفورمرها برای پیش‌بینی سری‌های زمانی
• 41. ترنسفورمرها برای طبقه‌بندی سری‌های زمانی
• 42. ترنسفورمرها و مدل‌های ترکیبی (Ensemble Models)
• 43. انتخاب معماری ترنسفورمر مناسب برای کاربرد خاص
• 44. مراحل آماده‌سازی داده‌ها برای آموزش ترنسفورمرها
• 45. معیارهای ارزیابی عملکرد مدل‌های ترنسفورمر
• 46. ابزارهای محبوب برای آموزش و استقرار ترنسفورمرها (TensorFlow, PyTorch)
• 47. استفاده از Hugging Face Transformers
• 48. تنظیم ابرپارامترها (Hyperparameter Tuning) در ترنسفورمرها
• 49. جلوگیری از بیش‌برازش (Overfitting) در ترنسفورمرها
• 50. استفاده از ترنسفورمرها در محیط‌های با منابع محدود
• 51. مفاهیم پیشرفته در مکانیسم توجه
• 52. توجه پراکنده (Sparse Attention)
• 53. توجه خطی (Linear Attention)
• 54. توجه هسته‌ای (Kernel Attention)
• 55. ترنسفورمرهای چندوجهی (Multimodal Transformers)
• 56. ترنسفورمرها و پردازش گراف (Graph Transformers)
• 57. کاربردهای ترنسفورمرها در زمینه‌های علمی
• 58. ترنسفورمرها در ژنومیک و بیوانفورماتیک
• 59. ترنسفورمرها در شیمی و مواد
• 60. ترنسفورمرها در فیزیک
• 61. آینده ترنسفورمرها و جهت‌گیری‌های تحقیقاتی جدید
• 62. چالش‌ها و محدودیت‌های ترنسفورمرها
• 63. اخلاق و مسئولیت‌پذیری در استفاده از ترنسفورمرها