فلش‌کارت‌های آموزشی مفاهیم کلیدی در LLMها: ترنسفورمرها و مکانیزم توجه

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مفاهیم کلیدی در LLMها: ترنسفورمرها و مکانیزم توجه

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: مدل‌های زبانی بزرگ (LLMs) - مفاهیم و اصول**

📋 سرفصل‌های دوره

• 1. مروری بر سیر تکامل مدل‌های زبانی از N-gram تا ترنسفورمرها
• 2. معماری کلی ترنسفورمر و جایگاه آن در خانواده مدل‌های عصبی
• 3. ورودی مدل ترنسفورمر: توکن‌سازی و تبدیل کلمات به بردارهای عددی
• 4. مفهوم position encoding و اهمیت ترتیب کلمات در پردازش زبان
• 5. معرفی مکانیزم توجه و دلیل نیاز به آن در مدل‌های زبانی
• 6. توجه نقطه‌ای (Dot-Product Attention) و نحوه محاسبه امتیازات شباهت
• 7. مکانیزم توجه مقیاس‌یافته (Scaled Dot-Product Attention) و دلیل مقیاس‌سازی
• 8. توجه چندسر (Multi-Head Attention) و تأثیر آن بر کیفیت خروجی
• 9. لایه نرمال‌سازی (Layer Normalization) در معماری ترنسفورمر
• 10. شبکه عصبی پیشخور (Feed-Forward) و نقش آن در هر بلوک ترنسفورمر
• 11. اتصال‌های باقیمانده (Residual Connections) و اهمیت آن‌ها در آموزش عمیق
• 12. مقایسه مکانیزم توجه با شبکه‌های بازگشتی (RNN و LSTM)
• 13. رمزگذار (Encoder) در ترنسفورمر: ساختار و جریان داده
• 14. رمزگشا (Decoder) در ترنسفورمر: تفاوت‌ها با رمزگذار و توجه پنهان‌شده
• 15. توجه متقاطع (Cross-Attention) در رمزگشا و نحوه ترکیب اطلاعات
• 16. مدل‌های تنها-رمزگذار: بررسی معماری BERT
• 17. مدل‌های تنها-رمزگشا: بررسی معماری GPT
• 18. مدل‌های رمزگذار-رمزگشا: بررسی معماری T5 و BART
• 19. نحوه آموزش مدل‌های ترنسفورمر با رویکردهای خودنظارتی
• 20. آموزش از طریق مدل‌سازی زبانی خودهمه‌زا (Autoregressive LM)
• 21. آموزش از طریق مدل‌سازی زبانی پوشانده (Masked LM)
• 22. پیش‌آموزش (Pre-training) و تنظیم دقیق (Fine-tuning) در LLMها
• 23. معیارهای ارزیابی مدل‌های زبانی بزرگ (پرسش‌پذیری، دقت، و ...)
• 24. چالش‌های حافظه و محاسباتی در ترنسفورمرهای بزرگ
• 25. معرفی معماری‌های بهینه‌شده: Longformer، BigBird و Reformer
• 26. مکانیزم توجه اسپارس (Sparse Attention) و کاربرد آن در متن‌های طولانی
• 27. مقیاس‌پذیری مکانیزم توجه و راهکارهای کاهش پیچیدگی محاسباتی
• 28. نقش مکانیزم توجه در درک روابط دوربرد بین کلمات
• 29. تفسیرپذیری توجه: چگونه می‌توان وزن‌های توجه را تحلیل کرد؟
• 30. استفاده از توجه برای توضیح‌پذیری و عیب‌یابی مدل‌های زبانی
• 31. موفقیت‌های عملی ترنسفورمرها در ترجمه ماشینی و خلاصه‌سازی متن
• 32. کاربرد ترنسفورمرها در پاسخ‌گویی به سؤال و سیستم‌های پرسش‌وپاسخ
• 33. نقش ترنسفورمرها در تولید متن و داستان‌سرایی با هوش مصنوعی
• 34. معرفی کتابخانه‌های پیاده‌سازی ترنسفورمر (Hugging Face Transformers)
• 35. کار با مدل‌های از پیش‌آموزش‌دیده و APIهای مربوطه
• 36. نحوه تنظیم دقیق یک مدل ترنسفورمر بر روی داده‌های سفارشی
• 37. بهینه‌سازی فراپارامترها در مدل‌های مبتنی بر ترنسفورمر
• 38. مقایسه عملکرد مدل‌های مختلف ترنسفورمر روی تسک‌های استاندارد
• 39. چالش‌های اخلاقی و سوگیری‌های موجود در مدل‌های زبانی بزرگ
• 40. راهکارهای کاهش سوگیری در خروجی مدل‌های ترنسفورمر
• 41. محدودیت‌های کنونی مکانیزم توجه در درک استدلال منطقی
• 42. نگاهی به آینده: معماری‌های جایگزین یا مکمل برای مکانیزم توجه
• 43. پروژه عملی: پیاده‌سازی مکانیزم توجه از صفر با پایتون و NumPy
• 44. پروژه عملی: تحلیل وزن‌های توجه در یک مدل ترجمه ماشینی
• 45. پروژه عملی: تنظیم دقیق یک مدل BERT برای تحلیل احساسات
• 46. جمع‌بندی نهایی و ارائه نقشه راه برای ادامه یادگیری در حوزه LLMها