فلش‌کارت‌های آموزشی ترنسفورمرها: انقلابی در پردازش زبان و فراتر از آن

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ترنسفورمرها: انقلابی در پردازش زبان و فراتر از آن

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر ترنسفورمرها و تاریخچه آن‌ها
• 2. شبکه‌های عصبی بازگشتی (RNN) و محدودیت‌های آن‌ها
• 3. مقدمه‌ای بر مکانیسم توجه (Attention Mechanism)
• 4. توجه مقیاس‌بندی شده (Scaled Dot-Product Attention)
• 5. توجه چندگانه (Multi-Head Attention)
• 6. مکانیسم‌های رمزگذار-رمزگشا (Encoder-Decoder)
• 7. معماری ترنسفورمر: نمای کلی
• 8. بلوک رمزگذار ترنسفورمر
• 9. بلوک رمزگشا ترنسفورمر
• 10. اتصالات باقیمانده و نرمال‌سازی لایه (Residual Connections & Layer Normalization)
• 11. موقعیت‌یابی در ترنسفورمرها (Positional Encoding)
• 12. مدل‌های مبتنی بر رمزگذار (Encoder-only Models)
• 13. مدل‌های مبتنی بر رمزگشا (Decoder-only Models)
• 14. مدل‌های رمزگذار-رمزگشا (Encoder-Decoder Models)
• 15. کاربردهای ترنسفورمرها در پردازش زبان طبیعی (NLP)
• 16. ترنسفورمرها و تولید متن
• 17. ترنسفورمرها و ترجمه ماشینی
• 18. ترنسفورمرها و خلاصه‌سازی متن
• 19. ترنسفورمرها و پاسخ به سوال
• 20. مدل BERT: معماری و پیش‌آموزش
• 21. مدل BERT: تنظیم دقیق (Fine-tuning) برای وظایف مختلف
• 22. مدل GPT: معماری و تولید متن
• 23. مدل GPT: کاربردها و محدودیت‌ها
• 24. مدل‌های زبانی بزرگ (LLMs) و ترنسفورمرها
• 25. نحوه آموزش ترنسفورمرها: داده‌ها، بهینه‌سازها و معیارهای ارزیابی
• 26. تکنیک‌های بهینه‌سازی آموزش ترنسفورمرها
• 27. مفهوم گرادیان ناپدیدشونده و انفجاری در ترنسفورمرها
• 28. تنظیم ابرپارامترها در ترنسفورمرها
• 29. انتقال یادگیری (Transfer Learning) با ترنسفورمرها
• 30. مدل‌های ترنسفورمر پیشرفته: XLNet، RoBERTa، T5
• 31. توجه پراکنده (Sparse Attention)
• 32. توجه خطی (Linear Attention)
• 33. ترنسفورمرها در بینایی کامپیوتر (Computer Vision)
• 34. مدل Vision Transformer (ViT)
• 35. ترنسفورمرها در پردازش صوت (Speech Processing)
• 36. کاربردهای ترنسفورمرها در سایر حوزه‌ها (بیوانفورماتیک، شیمی و غیره)
• 37. چالش‌ها و محدودیت‌های ترنسفورمرها
• 38. مقایسه ترنسفورمرها با سایر معماری‌های شبکه‌های عصبی
• 39. آینده ترنسفورمرها و تحقیقات در حال انجام
• 40. پیاده‌سازی ترنسفورمرها با استفاده از کتابخانه‌های پایتون (TensorFlow, PyTorch)
• 41. استفاده از Hugging Face Transformers
• 42. آشنایی با مدل‌های از پیش آموزش‌دیده در Hugging Face
• 43. تنظیم دقیق مدل‌های از پیش آموزش‌دیده
• 44. استقرار (Deployment) مدل‌های ترنسفورمر
• 45. بهینه‌سازی مدل‌های ترنسفورمر برای استقرار
• 46. امنیت و ملاحظات اخلاقی در استفاده از ترنسفورمرها
• 47. تفسیرپذیری مدل‌های ترنسفورمر