فلش‌کارت‌های آموزشی ترنسفورمرها: از تئوری تا ساخت مدل‌های پرکاربرد

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ترنسفورمرها: از تئوری تا ساخت مدل‌های پرکاربرد

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مدل‌های توالی و محدودیت‌های RNN و LSTM
• 2. ظهور ترنسفورمر: مقاله «توجه همه آن چیزی است که شما نیاز دارید»
• 3. معماری کلی ترنسفورمر: رمزگذار (Encoder) و رمزگشا (Decoder)
• 4. ساختار ورودی: توکن‌سازی و تعبیه‌های کلمه (Word Embeddings)
• 5. رمزگذاری موقعیتی (Positional Encoding) و اهمیت ترتیب در ترنسفورمر
• 6. مکانیسم توجه چندسر (Multi-Head Attention) و عملکرد آن
• 7. توجه با مقیاس‌دهی (Scaled Dot-Product Attention) و فرمول ریاضی آن
• 8. لایه‌های شبکه عصبی پیش‌خور (Feed-Forward) در ترنسفورمر
• 9. اتصالات باقیمانده (Residual Connections) و نرمال‌سازی لایه (Layer Norm)
• 10. نحوه عبور داده از رمزگذار و رمزگشا در ترنسفورمر
• 11. تفاوت معماری رمزگذار-رمزگشا با رمزگذار تنها (مانند BERT)
• 12. معماری رمزگشا تنها (مانند GPT) و کاربردهای آن
• 13. پوشش ماسک‌شده (Masked Attention) و اهمیت آن در مدل‌های تولیدی
• 14. پیاده‌سازی مکانیسم توجه با استفاده از PyTorch و TensorFlow
• 15. پیاده‌سازی کامل یک بلوک رمزگذار از صفر
• 16. پیاده‌سازی کامل یک بلوک رمزگشا از صفر
• 17. آموزش ترنسفورمر: تابع هزینه، بهینه‌سازی و مدیریت گرادیان‌ها
• 18. معرفی BERT: پیش‌آموزش و تنظیم دقیق (Fine-Tuning) برای وظایف مختلف
• 19. معماری BERT و کاربردهای آن در درک زبان طبیعی
• 20. معرفی GPT: معماری، پیش‌آموزش و تولید متن
• 21. معماری T5 و رویکرد متن-به-متن در ترنسفورمرها
• 22. معرفی مدل‌های حافظه‌دار و توسعه‌یافته (مانند Transformer-XL و Longformer)
• 23. مدیریت پنجره زمینه (Context Window) و تکنیک‌های افزایش آن
• 24. کوانتیزاسیون و فشرده‌سازی مدل‌های ترنسفورمر
• 25. استفاده از کتابخانه Hugging Face Transformers برای کار با مدل‌های آماده
• 26. تنظیم دقیق (Fine-Tuning) BERT برای وظایف طبقه‌بندی متن
• 27. تنظیم دقیق (Fine-Tuning) GPT برای تولید متن و خلاصه‌سازی
• 28. تنظیم دقیق (Fine-Tuning) برای ترجمه ماشینی با مدل‌های ترنسفورمر
• 29. پاسخ‌گویی به پرسش (Question Answering) با مدل‌های ترنسفورمر
• 30. استفاده از ترنسفورمرها در خلاصه‌سازی متون
• 31. تولید کد با مدل‌های ترنسفورمر (Code Generation)
• 32. تولید تصویر با ترنسفورمرها (مانند DALL-E و ViT)
• 33. ترنسفورمرها در پردازش ویدئو و داده‌های چندوجهی
• 34. مدیریت داده‌های آموزشی حجیم و استراتژی‌های پیش‌آموزش کارآمد
• 35. ارزیابی مدل‌های ترنسفورمر: معیارهای سنجش (BLEU، ROUGE، Accuracy)
• 36. به‌روزرسانی و ارتقای مدل‌ها با روش‌های تنظیم دقیق کارآمد (LoRA، Adapters)
• 37. مدیریت حافظه و بهینه‌سازی مصرف GPU در آموزش ترنسفورمرها
• 38. استفاده از DeepSpeed و FSDP برای آموزش در مقیاس بزرگ
• 39. مقیاس‌پذیری و آموزش توزیع‌شده برای مدل‌های عظیم
• 40. مطالعه موردی: تنظیم دقیق یک مدل زبانی بزرگ برای یک کاربرد صنعتی
• 41. مطالعه موردی: استفاده از ترنسفورمر در سیستم‌های توصیه‌گر
• 42. مطالعه موردی: ترنسفورمر در تحلیل احساسات و نظرات کاربران
• 43. مطالعه موردی: ترنسفورمر در تشخیص ناهنجاری و وقایع غیرعادی در متن
• 44. روندهای پژوهشی و آینده ترنسفورمرها (مدل‌های کارآمدتر، معماری‌های جدید)
• 45. پروژه نهایی: پیاده‌سازی و تنظیم دقیق یک مدل ترنسفورمر برای یک وظیفه مشخص
• 46. ارائه و دفاع از پروژه‌های عملی و دریافت بازخورد