فلش‌کارت‌های آموزشی هوش مصنوعی مولد: قدرت ترنسفورمرها

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره هوش مصنوعی مولد: قدرت ترنسفورمرها

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر هوش مصنوعی مولد
• 2. کاربردهای هوش مصنوعی مولد در صنایع مختلف
• 3. آشنایی با مدل‌های زبانی بزرگ (LLMs)
• 4. مفهوم ترنسفورمرها و مزایای آن‌ها
• 5. تاریخچه شبکه‌های عصبی ترنسفورمر
• 6. معماری اصلی ترنسفورمر: Encoder و Decoder
• 7. مکانیسم Self-Attention: تشریح کامل
• 8. نقش Multi-Head Attention در ترنسفورمرها
• 9. محاسبه Attention Score
• 10. Position Encoding: افزودن اطلاعات مکانی به ورودی
• 11. Layer Normalization در ترنسفورمرها
• 12. Residual Connections و اهمیت آن‌ها
• 13. Feed Forward Networks در ترنسفورمرها
• 14. مدل BERT: مقدمه و معماری
• 15. Fine-tuning مدل BERT برای وظایف مختلف
• 16. مدل GPT: مقدمه و معماری
• 17. تفاوت‌های کلیدی بین BERT و GPT
• 18. Generative Pre-trained Transformer 2 (GPT-2)
• 19. Generative Pre-trained Transformer 3 (GPT-3) و قابلیت‌های آن
• 20. مدل‌های Transformer مبتنی بر Encoder
• 21. مدل‌های Transformer مبتنی بر Decoder
• 22. Encoder-Decoder Transformers برای ترجمه ماشینی
• 23. مفهوم Attention در ترجمه ماشینی
• 24. Transformer در پردازش زبان طبیعی (NLP)
• 25. Transformer در بینایی کامپیوتر
• 26. Transformer در پردازش صوت
• 27. روش‌های آموزش ترنسفورمرها
• 28. بهینه‌سازی ترنسفورمرها: تکنیک‌های مختلف
• 29. Regularization در ترنسفورمرها
• 30. Overfitting و Underfitting در آموزش ترنسفورمرها
• 31. استفاده از GPU و TPU برای آموزش ترنسفورمرها
• 32. مقدمه‌ای بر Hugging Face Transformers
• 33. کار با کتابخانه Transformers
• 34. بارگیری و استفاده از مدل‌های از پیش آموزش‌دیده
• 35. Fine-tuning مدل‌های Transformers با استفاده از Hugging Face
• 36. ساخت Dataset برای آموزش ترنسفورمرها
• 37. Tokenization و Vocabulary در ترنسفورمرها
• 38. مفهوم Embeddings و انواع آن
• 39. Word Embeddings: Word2Vec, GloVe
• 40. Subword Tokenization: Byte Pair Encoding (BPE)
• 41. SentencePiece و کاربردهای آن
• 42. استفاده از ترنسفورمرها برای تولید متن
• 43. کنترل کیفیت متن تولید شده توسط ترنسفورمرها
• 44. تکنیک‌های Decoding: Greedy Decoding, Beam Search
• 45. Temperature Scaling و تاثیر آن بر تولید متن
• 46. Top-k Sampling و Nucleus Sampling
• 47. ارزیابی مدل‌های زبانی بزرگ: Perplexity, BLEU Score
• 48. مقدمه‌ای بر Reinforcement Learning for Human Feedback (RLHF)
• 49. استفاده از RLHF برای بهبود کیفیت مدل‌های زبانی
• 50. محدودیت‌های مدل‌های زبانی بزرگ
• 51. چالش‌های اخلاقی در استفاده از هوش مصنوعی مولد
• 52. Bias در مدل‌های زبانی و روش‌های کاهش آن
• 53. مسائل مربوط به حریم خصوصی و امنیت در هوش مصنوعی مولد
• 54. آینده هوش مصنوعی مولد و ترنسفورمرها