فلش‌کارت‌های آموزشی مجموعه تکنیک‌های PEFT برای تسلط بر مدل‌های زبانی بزرگ

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مجموعه تکنیک‌های PEFT برای تسلط بر مدل‌های زبانی بزرگ

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Fine-tuning با پارامترهای کم (Parameter-Efficient Fine-tuning - PEFT)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر Fine-tuning و ضرورت PEFT
• 2. مقایسه Fine-tuning کامل و PEFT
• 3. مزایای استفاده از تکنیک‌های PEFT
• 4. معرفی انواع تکنیک‌های PEFT
• 5. LoRA: معرفی و مبانی
• 6. LoRA: پیاده‌سازی عملی با PyTorch
• 7. LoRA: تنظیم هایپرپارامترها و بهینه‌سازی
• 8. LoRA: کاربردهای LoRA در پردازش زبان طبیعی
• 9. Adapters: معرفی و معماری
• 10. Adapters: پیاده‌سازی Adapters با Transformers
• 11. Adapters: ترکیب Adapters با لایه‌های مختلف مدل
• 12. Adapters: مزایا و معایب Adapters
• 13. Prefix Tuning: معرفی و عملکرد
• 14. Prefix Tuning: پیاده‌سازی Prefix Tuning
• 15. Prefix Tuning: بهینه‌سازی پیشوندها برای وظایف مختلف
• 16. P-Tuning v2: معرفی و تفاوت با Prefix Tuning
• 17. Prompt Tuning: معرفی و کاربردها
• 18. Prompt Tuning: طراحی Promptهای موثر
• 19. IA3: معرفی و اصول کار
• 20. IA3: پیاده‌سازی IA3 در مدل‌های زبانی بزرگ
• 21. BitFit: معرفی و کاربرد در Fine-tuning
• 22. Selective Fine-tuning: انتخاب لایه‌های مناسب برای Fine-tuning
• 23. LoRA + Adapters: ترکیب تکنیک‌ها برای بهبود عملکرد
• 24. LoRA + Prefix Tuning: ترکیب تکنیک‌ها برای نتایج بهتر
• 25. کاربرد PEFT در طبقه‌بندی متن
• 26. کاربرد PEFT در خلاصه‌سازی متن
• 27. کاربرد PEFT در تولید متن
• 28. کاربرد PEFT در ترجمه ماشینی
• 29. PEFT برای مدل‌های چندزبانه
• 30. PEFT و کاهش مصرف حافظه
• 31. PEFT و کاهش هزینه محاسباتی
• 32. PEFT و سرعت‌بخشیدن به فرآیند Fine-tuning
• 33. انتخاب تکنیک PEFT مناسب برای هر کاربرد
• 34. بهینه‌سازی PEFT برای منابع محدود
• 35. استفاده از PEFT برای یادگیری مداوم (Continual Learning)
• 36. PEFT و مقابله با فراموشی فاجعه‌بار (Catastrophic Forgetting)
• 37. PEFT و انتقال یادگیری (Transfer Learning)
• 38. پیاده‌سازی PEFT با استفاده از کتابخانه PEFT
• 39. مقایسه کتابخانه‌های PEFT موجود
• 40. بهترین روش‌ها برای ذخیره و بارگیری مدل‌های PEFT
• 41. استفاده از PEFT برای شخصی‌سازی مدل‌های زبانی بزرگ
• 42. ابزارهای مانیتورینگ و ارزیابی PEFT
• 43. آینده PEFT و تحقیقات در حال انجام
• 44. چالش‌های استفاده از PEFT در محیط‌های عملیاتی