فلش‌کارت‌های آموزشی معماری ترنسفورمر: ستون فقرات LLMهای پیشرفته

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره معماری ترنسفورمر: ستون فقرات LLMهای پیشرفته

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: معماری ترنسفورمر برای LLMs

📋 سرفصل‌های دوره

• 1. ریشه‌های معماری ترنسفورمر: از RNN و LSTM تا توجه
• 2. معرفی مقاله "Attention Is All You Need" و ایده‌های بنیادین
• 3. جایگاه ترنسفورمر در سیر تکامل مدل‌های زبانی بزرگ
• 4. ساختار کلی رمزگذار-رمزگشا در ترنسفورمر اصلی
• 5. مکانیسم خودتوجهی (Self-Attention) و محاسبه آن
• 6. توجه چندسر (Multi-Head Attention) و هدف از چندسر کردن
• 7. رمزگذاری موقعیت (Positional Encoding) و روش‌های سینوسی و یادگیرنده
• 8. جمع‌سازی نرمال‌سازی (Add & Norm) و نقش Residual Connections
• 9. شبکه‌های پیش‌خور موضعی (Position-wise FFN) و نقش آن‌ها
• 10. تفاوت معماری رمزگذار و رمزگشا در ترنسفورمر
• 11. آشنایی با ماسک در ترنسفورمر: Padding Mask و Look-ahead Mask
• 12. توجه متقاطع (Cross-Attention) و نحوه اتصال رمزگذار به رمزگشا
• 13. لایه‌های نرمال‌سازی و تأثیر آن بر پایداری آموزش
• 14. مدیریت وزن‌ها و مقداردهی اولیه در ترنسفورمر
• 15. معماری ترنسفورمرهای تنها رمزگذار (مانند BERT)
• 16. معماری ترنسفورمرهای تنها رمزگشا (مانند GPT)
• 17. تفاوت‌های کلیدی در معماری مدل‌های رمزگذار-رمزگشا (مانند T5)
• 18. بررسی مقیاس‌پذیری ترنسفورمر و افزایش تعداد پارامترها
• 19. مفهوم پنجره‌های متنی و محدودیت طول توالی در ترنسفورمر
• 20. معرفی Positional Encoding با روش‌های جدید (RoPE، ALiBi)
• 21. بررسی لایه‌های Feed-Forward و انتخاب توابع فعال‌سازی (ReLU، GELU، Swish)
• 22. مدیریت حافظه و توجه در ترنسفورمرهای عظیم
• 23. مقایسه معماری ترنسفورمر با معماری‌های جایگزین (SSM، Mamba)
• 24. بررسی تغییرات معماری در مدل‌های اخیر (GPT-4، Claude، Gemini)
• 25. تکنیک‌های کاهش پیچیدگی محاسباتی (Flash Attention، Sparse Attention)
• 26. معماری گروهی و تقسیم توجه (Grouped Query Attention و Multi-Query Attention)
• 27. بررسی لایه‌های MoE (Mixture of Experts) در معماری ترنسفورمر
• 28. معماری ترنسفورمر در مدل‌های چندحالته (Multimodal Transformers)
• 29. نقش Normalization و LayerNorm در مقابل RMSNorm
• 30. استفاده از Bias در لایه‌های ترنسفورمر و تأثیر آن
• 31. راه‌های کاهش مصرف حافظه در طول آموزش ترنسفورمر (Gradient Checkpointing)
• 32. مدیریت Softmax و جایگزین‌های آن در لایه توجه
• 33. تکنیک‌های افزایش سرعت استنتاج در معماری ترنسفورمر (KV Caching)
• 34. مفهوم State Space Models و مقایسه با ترنسفورمر
• 35. بررسی معماری‌های هیبریدی (ترکیب CNN با ترنسفورمر)
• 36. نقش عمق شبکه و انتخاب تعداد لایه‌ها در مدل‌های بزرگ
• 37. بررسی معماری ترنسفورمر برای ورودی‌های طولانی (Longformer، BigBird)
• 38. مدیریت وزن‌ها و تکنیک‌های Quantization در معماری
• 39. ارتباط معماری ترنسفورمر با قابلیت‌های In-Context Learning
• 40. بررسی معماری ترنسفورمر در کاربردهای خاص (ترجمه، خلاصه‌سازی، تولید کد)
• 41. تحلیل هزینه‌های محاسباتی هر بخش از معماری ترنسفورمر
• 42. مطالعه موردی: بررسی معماری BERT و تفاوت آن با GPT
• 43. مطالعه موردی: تحلیل معماری T5 و رویکرد متن-به-متن
• 44. مطالعه موردی: معماری LLaMA و بهینه‌سازی‌های آن
• 45. پروژه نهایی: پیاده‌سازی گام‌به‌گام یک بلوک ترنسفورمر با PyTorch