فلش‌کارت‌های آموزشی اصول بنیادین LLMها: درک عمیق‌تر

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره اصول بنیادین LLMها: درک عمیق‌تر

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: مدل‌های زبانی بزرگ (LLMs) - مفاهیم و اصول**

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مدل‌های زبانی بزرگ (LLM)
• 2. تاریخچه و تکامل LLMها
• 3. معماری ترانسفورمر: بلوک‌های سازنده LLMها
• 4. مفهوم Attention Mechanism در ترانسفورمرها
• 5. Self-Attention: درک روابط در داده‌های متنی
• 6. Multi-Head Attention: افزایش ظرفیت مدل
• 7. Encoder-Decoder Architecture در LLMها
• 8. Embedding لغات و توکن‌سازی
• 9. Word2Vec و سایر روش‌های Embedding
• 10. مفهوم و کاربرد Subword Tokenization
• 11. تابع زیان (Loss Function) در آموزش LLMها
• 12. Gradient Descent و بهینه‌سازی
• 13. Backpropagation در شبکه‌های عصبی عمیق
• 14. Overfitting و Regularization در LLMها
• 15. Dropout و سایر تکنیک‌های جلوگیری از Overfitting
• 16. Pre-training و Fine-tuning: رویکرد اصلی آموزش LLMها
• 17. مجموعه داده‌های بزرگ برای Pre-training
• 18. انواع معماری‌های LLM: GPT، BERT، T5
• 19. GPT: تولید متن خودبازگشتی
• 20. BERT: درک متن با استفاده از Masked Language Modeling
• 21. T5: متن به متن (Text-to-Text)
• 22. Fine-tuning LLMها برای وظایف خاص
• 23. Transfer Learning در LLMها
• 24. ارزیابی LLMها: معیارها و روش‌ها
• 25. Perplexity: ارزیابی احتمال پیش‌بینی
• 26. BLEU Score: ارزیابی کیفیت ترجمه
• 27. ROUGE Score: ارزیابی خلاصه‌سازی متن
• 28. محدودیت‌های LLMها: سوگیری، توهم و مسائل اخلاقی
• 29. سوگیری در داده‌های آموزشی و تاثیر آن بر LLMها
• 30. رویکردهای کاهش سوگیری در LLMها
• 31. توهم (Hallucination) در LLMها و راه‌های مقابله با آن
• 32. مسائل اخلاقی مربوط به استفاده از LLMها
• 33. Prompt Engineering: هنر تعامل با LLMها
• 34. طراحی Promptهای موثر برای دریافت نتایج مطلوب
• 35. Few-shot Learning و Zero-shot Learning
• 36. Reinforcement Learning from Human Feedback (RLHF)
• 37. Quantization: کاهش حجم و افزایش سرعت LLMها
• 38. Pruning: حذف اتصالات غیرضروری در LLMها
• 39. Knowledge Distillation: انتقال دانش از مدل بزرگ به مدل کوچک
• 40. Distributed Training: آموزش LLMها در محیط‌های توزیع‌شده
• 41. Tensor Parallelism و Data Parallelism
• 42. مفاهیم پایه‌ای از Vector Databases و LLMها
• 43. RAG (Retrieval-Augmented Generation)
• 44. استفاده از LLMها در تولید محتوا
• 45. استفاده از LLMها در خلاصه‌سازی متن
• 46. استفاده از LLMها در ترجمه ماشینی
• 47. استفاده از LLMها در پاسخگویی به سوالات
• 48. کاربردهای LLMها در تحلیل احساسات
• 49. LLMها و چت‌بات‌ها: اصول و پیاده‌سازی
• 50. آینده LLMها و روندهای نوظهور