فلش‌کارت‌های آموزشی ترنسفورمرها: انقلابی در مدل‌های زبانی بزرگ

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ترنسفورمرها: انقلابی در مدل‌های زبانی بزرگ

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر شبکه‌های عصبی و یادگیری عمیق
• 2. مفاهیم پایهٔ یادگیری ماشین
• 3. انواع یادگیری ماشین: نظارت‌شده، بدون نظارت، تقویتی
• 4. شبکه‌های عصبی مصنوعی: نورون‌ها و لایه‌ها
• 5. توابع فعال‌سازی در شبکه‌های عصبی
• 6. آموزش شبکه‌های عصبی: پس‌انتشار خطا
• 7. بهینه‌سازی شبکه‌های عصبی: گرادیان کاهشی
• 8. معماری‌های متداول شبکه‌های عصبی: MLP، CNN، RNN
• 9. مقدمه‌ای بر پردازش زبان طبیعی (NLP)
• 10. چالش‌های پردازش زبان طبیعی
• 11. روش‌های سنتی در NLP: Bag-of-Words، TF-IDF
• 12. مدل‌های زبانی آماری
• 13. مقدمه‌ای بر مدل‌های توزیع‌شدهٔ کلمات (Word Embeddings)
• 14. Word2Vec: CBOW و Skip-gram
• 15. GloVe: Global Vectors for Word Representation
• 16. FastText: یادگیری نمایش کلمات با کاراکترهای n-gram
• 17. محدودیت‌های مدل‌های مبتنی بر توالی ساده
• 18. نیاز به مدل‌های درک بهتر متن
• 19. معرفی مدل‌های ترنسفورمر
• 20. معماری پایهٔ ترنسفورمر
• 21. مکانیزم توجه (Attention Mechanism)
• 22. توجه خودی (Self-Attention)
• 23. توجه چندسر (Multi-Head Attention)
• 24. کدگذار (Encoder) و رمزگشا (Decoder) در ترنسفورمر
• 25. انتقال اطلاعات در معماری ترنسفورمر
• 26. مزایای ترنسفورمر نسبت به RNN و LSTM
• 27. کاربردهای اولیهٔ ترنسفورمرها
• 28. ترنسفورمرها در ترجمهٔ ماشینی
• 29. ترنسفورمرها در خلاصه‌سازی متن
• 30. ترنسفورمرها در پرسش و پاسخ
• 31. معرفی مدل‌های زبانی بزرگ (LLMs)
• 32. تفاوت LLMs با مدل‌های زبانی سنتی
• 33. مفاهیم کلیدی در LLMs: مقیاس‌پذیری و توانایی‌های نوظهور
• 34. آموزش پیش‌نمونه (Pre-training) در LLMs
• 35. مجموعه داده‌های عظیم برای پیش‌نمونه
• 36. اهداف پیش‌نمونه: پیش‌بینی کلمهٔ بعدی، پر کردن جاهای خالی
• 37. تنظیم دقیق (Fine-tuning) مدل‌های LLM
• 38. تنظیم دقیق برای وظایف خاص NLP
• 39. روش‌های تنظیم دقیق: انتقال یادگیری (Transfer Learning)
• 40. مدل‌های مبتنی بر ترنسفورمر: BERT
• 41. معماری BERT: دوطرفه بودن و ماسک کردن
• 42. کاربردهای BERT: طبقه‌بندی متن، تشخیص موجودیت نام‌گذاری‌شده
• 43. مدل‌های مبتنی بر ترنسفورمر: GPT
• 44. معماری GPT: یک‌طرفه بودن و تولید متن
• 45. کاربردهای GPT: تولید متن خلاقانه، تکمیل کد
• 46. مدل‌های مبتنی بر ترنسفورمر: RoBERTa، XLNet
• 47. تفاوت‌ها و بهبودهای نسبت به BERT
• 48. مدل‌های مبتنی بر ترنسفورمر: T5، BART
• 49. معماری‌های Encoder-Decoder برای وظایف مختلف
• 50. مدل‌های زبانی چندوجهی (Multimodal LLMs)
• 51. پردازش همزمان متن و تصویر
• 52. پردازش همزمان متن و صدا
• 53. کاربردهای مدل‌های چندوجهی
• 54. ملاحظات اخلاقی در LLMs
• 55. سوگیری (Bias) در مدل‌های زبانی
• 56. تولید محتوای مضر یا گمراه‌کننده
• 57. مسئولیت‌پذیری در توسعه و استفاده از LLMs
• 58. حریم خصوصی داده‌ها در LLMs
• 59. ارزیابی عملکرد LLMs
• 60. معیارهای ارزیابی برای وظایف مختلف NLP
• 61. بنچمارک‌های استاندارد برای LLMs
• 62. چالش‌های ارزیابی LLMs
• 63. روش‌های بهینه‌سازی و کوانتیزه‌سازی LLMs
• 64. کاهش حجم مدل‌ها برای استقرار
• 65. تکنیک‌های یادگیری فشرده (Knowledge Distillation)
• 66. کاربرد LLMs در سیستم‌های توصیه‌گر
• 67. شخصی‌سازی در سیستم‌های توصیه‌گر
• 68. تولید توضیحات محصول
• 69. کاربرد LLMs در تولید محتوای آموزشی
• 70. ایجاد سوالات، خلاصه‌ها و تمرین‌ها
• 71. تطبیق محتوا با سطوح مختلف یادگیری
• 72. کاربرد LLMs در تحلیل داده‌های متنی
• 73. استخراج اطلاعات کلیدی از اسناد
• 74. تحلیل احساسات و نظرات کاربران
• 75. کاربرد LLMs در توسعهٔ نرم‌افزار
• 76. تولید خودکار کد
• 77. اشکال‌زدایی و مستندسازی کد
• 78. کاربرد LLMs در خدمات مشتری
• 79. چت‌بات‌های هوشمند و پاسخگویی به سوالات متداول
• 80. ارائهٔ پشتیبانی شخصی‌سازی‌شده
• 81. محدودیت‌های فعلی LLMs
• 82. درک عمیق معنایی و استدلال
• 83. خلاقیت واقعی و نوآوری
• 84. نیاز به داده‌های زیاد برای تنظیم دقیق
• 85. آیندهٔ ترنسفورمرها و LLMs
• 86. معماری‌های جدید و بهبودیافته
• 87. قابلیت‌های پیشرفته‌تر در درک و تولید
• 88. نقش LLMs در پیشرفت‌های علمی و فناوری
• 89. توسعهٔ مدل‌های کارآمدتر و قابل دسترس‌تر
• 90. ترنسفورمرها و هوش مصنوعی عمومی (AGI)
• 91. چشم‌اندازهای بلندمدت
• 92. پیاده‌سازی ترنسفورمرها با استفاده از کتابخانه‌های استاندارد
• 93. PyTorch و TensorFlow
• 94. کار با مدل‌های از پیش آموزش‌دیده
• 95. تنظیم دقیق مدل‌ها برای وظایف سفارشی
• 96. آموزش ترنسفورمرها از ابتدا (در صورت نیاز و با منابع کافی)
• 97. پایان‌بندی و جمع‌بندی مباحث کلیدی.