فلش‌کارت‌های آموزشی بهینه‌سازی تنظیم دقیق مدل‌های زبانی بزرگ (Efficient Fine-Tuning for LLMs)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی تنظیم دقیق مدل‌های زبانی بزرگ (Efficient Fine-Tuning for LLMs)

موضوع کلی: هوش مصنوعی و یادگیری ماشین

موضوع میانی: مدل‌های زبانی بزرگ (Large Language Models - LLMs)

📋 سرفصل‌های دوره

• 1. چرا تنظیم دقیق (Fine-Tuning) برای LLMها ضروری است؟
• 2. مفهوم بهینه‌سازی کارآمد و کاهش هزینه‌های محاسباتی
• 3. معرفی روش‌های تنظیم دقیق کارآمد: مروری بر رویکردها
• 4. آشنایی با LoRA (Low-Rank Adaptation) و نحوه عملکرد
• 5. پیاده‌سازی عملی LoRA با استفاده از کتابخانه PEFT
• 6. تنظیم دقیق با استفاده از Adapters: معماری و کاربردها
• 7. مقایسه Adapters با LoRA و سایر روش‌ها
• 8. روش Prefix Tuning و Prompt Tuning: تنظیم با کمترین پارامتر
• 9. آشنایی با روش BitFit (تنظیم بایاس‌ها) و کاربرد آن
• 10. معرفی روش (IA)³ (Infused Adapter by Inhibiting and Amplifying Inner Activations)
• 11. مدیریت حافظه و بهینه‌سازی استفاده از GPU در تنظیم دقیق
• 12. انتخاب لایه‌های مناسب برای تنظیم دقیق در معماری Transformer
• 13. تأثیر تنظیم دقیق کارآمد بر عملکرد مدل در وظایف مختلف
• 14. مطالعه موردی: تنظیم دقیق LLaMA، Mistral و GPT-NeoX با روش‌های کارآمد
• 15. آموزش چندوظیفه‌ای (Multi-Task) با تنظیم دقیق کارآمد
• 16. استفاده از داده‌های کم‌حجم (Few-Shot) در تنظیم دقیق کارآمد
• 17. روش‌های داده‌افزایی و افزایش کیفیت داده‌های تنظیم دقیق
• 18. ارزیابی مدل تنظیم‌شده: معیارهای سنجش و تحلیل نتایج
• 19. بهینه‌سازی Hyperparameters خاص در روش‌های تنظیم کارآمد
• 20. ترکیب روش‌های مختلف تنظیم دقیق برای دستیابی به بهترین نتیجه
• 21. مقیاس‌پذیری روش‌های کارآمد به مدل‌های با بیش از ۱۰۰ میلیارد پارامتر
• 22. استفاده از DeepSpeed و FSDP برای تنظیم دقیق در مقیاس بزرگ
• 23. مدیریت وزن‌ها و به‌روزرسانی تفاضلی در روش‌های کارآمد
• 24. تنظیم دقیق کارآمد در سناریوهای چندزبان‌ (Multilingual)
• 25. کنترل Overfitting در تنظیم دقیق با پارامترهای محدود
• 26. تنظیم دقیق برای تولید کد (Code Generation) با روش‌های کارآمد
• 27. تنظیم دقیق برای پاسخ‌گویی به سوالات و Retrieval-Augmented Generation
• 28. تنظیم دقیق برای وظایف خلاصه‌سازی و تولید متن
• 29. کاربرد تنظیم دقیق کارآمد در سیستم‌های توصیه‌گر مبتنی بر متن
• 30. معرفی ابزارها و کتابخانه‌های متن‌باز (Hugging Face PEFT، Unsloth و Axolotl)
• 31. نصب و پیکربندی محیط توسعه برای تنظیم دقیق کارآمد
• 32. آماده‌سازی داده‌های آموزشی در فرمت‌های استاندارد (JSONL، Parquet)
• 33. مدیریت توکن‌ها و افزایش طول پنجره زمینه (Context Window)
• 34. تنظیم دقیق در محیط‌های ابری (AWS، GCP، Azure) با استفاده از نمونه‌های GPU
• 35. پیاده‌سازی پایپلاین کامل تنظیم دقیق با استفاده از Python و PyTorch
• 36. ارزیابی اقتصادی و هزینه‌های تنظیم دقیق کارآمد در مقابل تنظیم دقیق کامل
• 37. مدیریت نسخه‌گذاری مدل‌های تنظیم‌شده و ذخیره‌سازی آن‌ها
• 38. استفاده از کوانتیزاسیون (Quantization) همراه با تنظیم دقیق برای کاهش حافظه
• 39. روش QLoRA: ترکیب کوانتیزاسیون با LoRA
• 40. مقایسه عملکرد مدل تنظیم‌شده با مدل پایه (Zero-Shot)
• 41. ایجاد رابط کاربری ساده برای تعامل با مدل تنظیم‌شده
• 42. استقرار مدل تنظیم‌شده در محیط تولید با استفاده از Docker و API
• 43. نظارت و پایش عملکرد مدل پس از استقرار
• 44. رفع مشکلات رایج در حین تنظیم دقیق (OOM، ناپایداری Loss و ...)
• 45. به‌روزرسانی تدریجی (Incremental Fine-Tuning) با روش‌های کارآمد
• 46. بهینه‌سازی زمان آموزش با استفاده از تکنیک‌های ترکیبی
• 47. مطالعه موردی جامع: تنظیم دقیق یک مدل ۷ میلیاردی برای یک کاربرد خاص
• 48. نگاهی به آینده روش‌های تنظیم دقیق کارآمد و روندهای پژوهشی