فلش‌کارت‌های آموزشی پیاده‌سازی، آموزش و تنظیم دقیق ترنسفورمرها

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پیاده‌سازی، آموزش و تنظیم دقیق ترنسفورمرها

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: شبکه‌های عصبی ترنسفورمر (Transformer Networks)

📋 سرفصل‌های دوره

• 1. مبانی شبکه‌های عصبی توالی‌محور
• 2. معماری ترنسفورمر در یک نگاه
• 3. مکانیزم توجه پایه
• 4. توجه چندسر (Multi-Head Attention)
• 5. کدگذاری موقعیتی (Positional Encoding)
• 6. لایه نرمال‌سازی و اتصال باقیمانده
• 7. شبکه عصبی پیش‌خوراند (Feed-Forward)
• 8. ساخت بلوک Encoder
• 9. ساخت بلوک Decoder
• 10. ماسک‌های توجه در Decoder
• 11. لایه خروجی و توزیع احتمالات
• 12. تابع هزینه Cross-Entropy
• 13. توکنایزر مبتنی بر BPE
• 14. توکنایزر SentencePiece
• 15. ساخت ورودی‌های مدل ترنسفورمر
• 16. پیش‌پردازش مجموعه‌داده‌های متنی
• 17. نمونه‌گیری و بسته‌بندی توالی‌ها
• 18. ماسک‌گذاری در بچ آموزش
• 19. پیاده‌سازی توجه با PyTorch
• 20. پیاده‌سازی ماژول چندسر
• 21. پیاده‌سازی بلوک Encoder
• 22. پیاده‌سازی بلوک Decoder
• 23. مقداردهی اولیه وزن‌ها
• 24. بهینه‌ساز AdamW
• 25. زمان‌بندی نرخ یادگیری و گرمایش
• 26. منظم‌سازی (Regularization) در ترنسفورمر
• 27. Dropout در لایه‌ها و توجه
• 28. مدیریت گرادیان‌های انفجاری
• 29. آموزش مدل از صفر: گام‌به‌گام
• 30. نظارت بر تابع ضرر در آموزش
• 31. ارزیابی مدل در حین آموزش
• 32. توقف زودهنگام و ذخیره بهترین مدل
• 33. پردازش موازی داده (Data Parallel)
• 34. پردازش موازی مدل (Model Parallel)
• 35. تکنیک‌های کاهش مصرف حافظه
• 36. آموزش با دقت مختلط (AMP)
• 37. استنتاج خودگرایانه (Autoregressive Generation)
• 38. الگوریتم جستجوی ویژه (Beam Search)
• 39. نمونه‌برداری در تولید متن
• 40. معیارهای ارزیابی زبان (Perplexity, BLEU)
• 41. معرفی مدل‌های از‌پیش‌آموزش‌دیده
• 42. استخراج ویژگی از ترنسفورمرها
• 43. تنظیم دقیق روی وظایف پایین‌دست
• 44. تنظیم دقیق با سر طبقه‌بندی
• 45. تنظیم دقیق برای پرسش و پاسخ
• 46. تنظیم دقیق برای طبقه‌بندی متن
• 47. تنظیم دقیق برای خلاصه‌سازی
• 48. تنظیم دقیق برای ترجمه ماشینی
• 49. یادگیری انتقالی در ترنسفورمرها
• 50. آماده‌سازی داده برای تنظیم دقیق
• 51. استراتژی نرخ یادگیری در تنظیم دقیق
• 52. جلوگیری از ازدست‌دادن دانش در تنظیم دقیق
• 53. تنظیم دقیق دستورالعمل‌محور (Instruction Tuning)
• 54. ساخت مجموعه‌داده دستورالعمل
• 55. یادگیری با بازخورد انسانی (RLHF)
• 56. مدل پاداش و بهینه‌سازی سیاست
• 57. تنظیم دقیق کارآمد با PEFT
• 58. تطبیق رتبه پایین (LoRA)
• 59. Adaptor و Prefix Tuning
• 60. کوانتیزه‌سازی برای تنظیم دقیق (QLoRA)
• 61. تنظیم دقیق چندمرحله‌ای
• 62. ارزیابی مدل‌های تنظیم‌شده
• 63. عیب‌یابی خطاهای رایج آموزش
• 64. ابزارهای پایش و اشکال‌زدایی آموزش
• 65. اعتبارسنجی و تست مدل
• 66. استقرار مدل ترنسفورمر
• 67. بهینه‌سازی استنتاج
• 68. فشرده‌سازی و هرس (Pruning)
• 69. تقطیر دانش (Knowledge Distillation)
• 70. کار با توالی‌های طولانی
• 71. ترنسفورمرهای کارآمد (Linformer, Performer)
• 72. مدل‌های فقط-انکودر (BERT)
• 73. مدل‌های فقط-دیکودر (GPT)
• 74. مدل‌های انکودر-دیکودر (T5)
• 75. تنظیم دقیق مدل‌های چندزبانه
• 76. آموزش چندوظیفه‌ای
• 77. مهندسی پرسش (Prompting)
• 78. تنظیم دقیق با مثال‌های کم‌شمار
• 79. ملاحظات اخلاقی در تنظیم دقیق
• 80. نسخه‌بندی و مستندسازی مدل
• 81. کاربرد عملی ترنسفورمر در محصول