دوره ترنسفورمرها: درک معماری و کاربردها همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ترنسفورمرها: درک معماری و کاربردها

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های دوره

• 1. مبانی شبکه‌های عصبی و نیاز به مدل‌های دنباله‌ای
• 2. محدودیت‌های RNN و LSTM و ضرورت ترنسفورمر
• 3. مکانیزم توجه self-attention
• 4. محاسبه اسکورهای توجه و masking
• 5. چندسره‌ای (multi-head) atención
• 6. جایگویی مکانیکی (positional encoding) و variantes آن
• 7. لایه Feed‑Forward پیش‌رو
• 8. نرمالیزیشن لایه و بقایایی (layer norm & residual)
• 9. معمار اینکودر ترنسفورمر (Encoder block)
• 10. معمار ديكودر ترنسفورمر (Decoder block)
• 11. ترکیب اینکودر‑ديكودر در seq2seq
• 12. آموزش الم previamente (pretraining) و objectifs
• 13. masking language model (MLM) در BERT
• 14. causal language model در GPT
• 15. توکن‌سازی (WordPiece, BPE, SentencePiece)
• 16. ساخت واژگان (vocabulary) و مدیریت OOV
• 17. Batch processing و padding
• 18. Optimization: AdamW، learning rate schedule (warmup, decay)
• 19. regularization: dropout, weight decay, label smoothing
• 20. ارزیابی مدل: perplexity, BLEU, ROUGE
• 21. fine-tuning برای طبقه‌بندی متنی
• 22. fine-tuning برای سؤال‑جواب (SQuAD)
• 23. fine-tuning برای خلاصه‌سازی متن
• 24. fine-tuning برای ترجمه ماشین
• 25. استفاده از adapters و LoRA برای بهینه‌سازی پارامترها
• 26. distillation و مدل‌های کوچک (DistilBERT, TinyBERT)
• 27. quantization و pruning برای استقرار در edge
• 28. parallelism: data parallel، model parallel، pipeline parallel
• 29. آموزش در محیط‌های توزیع‌شده (TPU, GPU clusters)
• 30. استفاده از کتابخانه‌های Hugging Face Transformers
• 31. پیاده‌سازی سفارشی با PyTorch/TensorFlow
• 32. تصویر کردن توجه heads و تفسیر آن
• 33. تحلیل خطاها و error analysis
• 34. اخلاق و bias در مدل‌های زبانی بزرگ
• 35. کاهش هلوسیناس و بهبود factuality
• 36. کاربردهای multimodal (ViLT, CLIP)
• 37. ترانسفورمر در پردازش صوت (Wave2Vec, Whisper)
• 38. تولید کد (Codex, Copilot)
• 39. استفاده در سیستم‌های پیشنهاد و جستجو
• 40. بهینه‌سازی inference: caching، KV‑cache، flash attention
• 41. مقیاس‌بندی مدل‌ها: از BERT-base تا GPT‑4
• 42. استخراج ویژگی‌ها (embeddings) برای downstream tasks
• 43. ترکیب با گراف‌های دانش (KG‑enhanced Transformers)
• 44. آموزش چند زبانه و cross‑lingual transfer
• 45. مدیریت دنباله‌های طولانی: sliding window، chunking، Longformer، BigBird
• 46. مکانیзмы sparse attention و linear attention
• 47. طراحی درس: طرح درسی، تمرین، پروژه پایانی
• 48. ارزیابی پروژه و ارائه نتایج