فلش‌کارت‌های آموزشی دستیابی به حداکثر کارایی در آموزش مدل‌های زبانی با Vertex AI

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره دستیابی به حداکثر کارایی در آموزش مدل‌های زبانی با Vertex AI

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: Google AI Platform (Vertex AI)

📋 سرفصل‌های دوره

• 1. مبانی زیرساخت Vertex AI و تنظیمات اولویت‌بندی منابع پردازشی برای آموزش مدل‌های زبانی
• 2. پیکربندی گره‌های پردازشی با سخت‌افزارهای TPU v4/v5e و پردازنده‌های گرافیکی NVIDIA H100/A100
• 3. طراحی خطوط لوله داده (Data Pipelines) مقیاس‌پذیر با Vertex AI Pipelines برای پیش‌پردازش متون
• 4. بهینه‌سازی ذخیره‌سازی داده‌های متنی حجیم روی Cloud Storage جهت کاهش گلوگاه‌های I/O
• 5. استفاده از فرمت‌های بهینه داده مانند TFRecord و WebDataset برای بارگذاری سریع‌تر داده‌های زبانی
• 6. آموزش توزیع‌شده موازی‌سازی داده (Data Parallelism) در چندین گره پردازشی Vertex AI
• 7. پیاده‌سازی موازی‌سازی مدل (Model Parallelism) و موازی‌سازی خط لوله (Pipeline Parallelism) برای مدل‌های میلیاردی
• 8. آموزش با دقت مختلط (Mixed Precision Training) با استفاده از فرمت‌های FP16 و BF16 روی Vertex AI
• 9. استفاده از تکنیک‌های FlashAttention و بهینه‌سازی‌های حافظه توجه (Attention) در کدهای آموزش
• 10. تنظیم و بهینه‌سازی هایپرپارامترها به‌صورت خودکار با Vertex AI Vizier برای مدل‌های زبانی
• 11. تکنیک‌های بهینه‌سازی حافظه GPU شامل Gradient Checkpointing و CPU Offloading
• 12. پیاده‌سازی روش‌های Fine-Tuning کارآمد در مصرف پارامتر (PEFT) نظیر LoRA و QLoRA در Vertex AI
• 13. یکپارچه‌سازی DeepSpeed و Megatron-LM با سرویس Vertex AI Custom Training
• 14. پایش و مانیتورینگ عملکرد سخت‌افزار، مصرف حافظه و نرخ پردازش توکن‌ها با Cloud Monitoring
• 15. تشخیص و برطرف‌کردن گلوگاه‌های آموزش (Bottlenecks) با ابزار Vertex AI TensorBoard Profiler
• 16. استفاده از مکانیسم‌های Checkpointing خودکار و مدیریت قطع ناگهانی گره‌ها (Preemptible/Spot VMs)
• 17. بهینه‌سازی نرخ یادگیری (Learning Rate Schedulers) و بهینه‌سازهای AdamW/Adafactor برای همگرایی سریع‌تر
• 18. مدیریت هزینه‌های پردازش ابری و تخصیص بهینه منابع در پروژه‌های آموزش مدل زبانی
• 19. روش‌های فشرده‌سازی مدل پس از آموزش شامل کوانتایزاسیون (Quantization) و تقطیر دانش (Distillation)
• 20. ارزیابی خودکار عملکرد مدل زبانی آموزش‌دیده و آماده‌سازی برای استقرار بر روی Vertex AI Endpoints