کتاب صوتی DPO و کاهش هزینه‌های آموزش LLM

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره DPO و کاهش هزینه‌های آموزش LLM

موضوع کلی: توسعه و بهینه‌سازی مدل‌های زبانی بزرگ (LLM)

موضوع میانی: تکنیک‌های جایگزین RLHF (Direct Preference Optimization - DPO)

📋 سرفصل‌های دوره

• 1. بهینه‌سازی مدل‌های زبانی بزرگ: یک نمای کلی
• 2. مقدمه‌ای بر یادگیری عمیق برای پردازش زبان طبیعی
• 3. معماری ترانسفورمر و کاربردهای آن
• 4. مجموعه‌داده‌ها و پیش‌پردازش برای آموزش LLM
• 5. روش‌های Embedding کلمات و جملات
• 6. تکنیک‌های Fine-tuning مدل‌های LLM از پیش آموزش‌دیده
• 7. ارزیابی مدل‌های LLM: معیارها و روش‌ها
• 8. مفهوم DPO (Direct Preference Optimization)
• 9. هدف از DPO و مزایای آن نسبت به RLHF
• 10. جمع‌آوری داده‌های ترجیحی برای DPO
• 11. فرمول‌بندی مسئله بهینه‌سازی در DPO
• 12. پیاده‌سازی DPO با استفاده از فریم‌ورک‌های یادگیری عمیق
• 13. تنظیم Hyperparameter در DPO برای دستیابی به بهترین عملکرد
• 14. مقایسه DPO با روش‌های بهینه‌سازی دیگر مانند RLHF
• 15. کاهش هزینه‌های محاسباتی در آموزش LLM
• 16. تکنیک‌های Quantization برای کاهش حجم مدل
• 17. Pruning مدل‌های LLM برای کاهش پیچیدگی
• 18. Distillation دانش: انتقال دانش از مدل‌های بزرگ به کوچک
• 19. استفاده از سخت‌افزار تخصصی (GPU، TPU) برای آموزش LLM
• 20. بهینه‌سازی Memory Management در آموزش LLM
• 21. روش‌های موازی‌سازی آموزش LLM
• 22. استفاده از تکنیک‌های Gradient Accumulation
• 23. بهینه‌سازی Batch Size برای افزایش سرعت آموزش
• 24. مفهوم Learning Rate Scheduling
• 25. استراتژی‌های Warmup و Decay Learning Rate
• 26. Adaptive Learning Rate Methods (Adam, AdaGrad)
• 27. تنظیم وزن‌دهی regularization برای جلوگیری از Overfitting
• 28. استفاده از Dropout در آموزش LLM
• 29. Data Augmentation برای افزایش تنوع داده‌ها
• 30. تکنیک‌های Early Stopping برای جلوگیری از Overfitting
• 31. بهینه‌سازی Pipeline داده‌ها برای کاهش Bottleneck
• 32. استفاده از Cache برای ذخیره‌سازی داده‌های تکراری
• 33. Profiling و Debugging آموزش LLM
• 34. ابزارهای Monitoring و Visualization برای آموزش LLM
• 35. بهینه‌سازی مصرف انرژی در آموزش LLM
• 36. فشرده‌سازی مدل‌های LLM با استفاده از روش‌های هرسشی
• 37. استفاده از معماری‌های Sparse برای کاهش هزینه‌ها
• 38. بهینه‌سازی کد برای افزایش سرعت اجرا
• 39. استفاده از کتابخانه‌های بهینه‌سازی شده (TensorRT, ONNX Runtime)
• 40. استقرار مدل‌های LLM بهینه شده بر روی سخت‌افزار محدود
• 41. DPO برای تولید پاسخ‌های متنی با کیفیت بالاتر
• 42. DPO برای بهبود ایمنی و کاهش سوگیری در LLM
• 43. DPO برای شخصی‌سازی مدل‌های LLM
• 44. ارزیابی تاثیر DPO بر عملکرد مدل در وظایف مختلف
• 45. بهینه‌سازی DPO برای زبان فارسی