دوره بهینه‌سازی و مدیریت بهره‌وری مدل‌های زبانی بزرگ (LLMs) در محیط کوبرنتیز (Kubernetes) همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی و مدیریت بهره‌وری مدل‌های زبانی بزرگ (LLMs) در محیط کوبرنتیز (Kubernetes)

موضوع کلی: علوم رایانه و فناوری اطلاعات

موضوع میانی: رایانش ابری و زیرساخت‌های هوش مصنوعی

📋 سرفصل‌های دوره

• 1. مبانی معماری مدل‌های زبانی بزرگ و چالش‌های استقرار
• 2. معرفی کوبرنتیز به عنوان بستر اجرای مدل‌های هوش مصنوعی
• 3. نصب و پیکربندی کلاستر کوبرنتیز برای بارهای کاری پردازشی
• 4. مدیریت منابع سخت‌افزاری و تخصیص GPU در کوبرنتیز
• 5. بررسی معماری Inference در مدل‌های زبانی بزرگ
• 6. کانتینری‌سازی مدل‌های زبانی با استفاده از Docker
• 7. مدیریت حافظه و بهینه‌سازی بارگذاری مدل در کانتینرها
• 8. استفاده از KubeVirt و ابزارهای مدیریت زیرساخت GPU
• 9. راهکارهای مقیاس‌پذیری خودکار در کوبرنتیز برای مدل‌های زبانی
• 10. بهینه‌سازی زمان پاسخ‌دهی (Latency) در استنتاج مدل
• 11. پیاده‌سازی مکانیزم کشینگ برای کاهش فراخوانی‌های تکراری
• 12. استفاده از KV Cache برای افزایش سرعت تولید متن
• 13. مدیریت هوشمند درخواست‌ها در محیط‌های توزیع‌شده
• 14. پیکربندی Ingress و Load Balancer برای ترافیک مدل‌های زبانی
• 15. استفاده از ابزارهای مانیتورینگ عملکرد در کوبرنتیز
• 16. بررسی گلوگاه‌های پردازشی در مدل‌های زبانی بزرگ
• 17. استفاده از کتابخانه‌های بهینه‌ساز مانند vLLM در کوبرنتیز
• 18. پیاده‌سازی استراتژی‌های Batching برای افزایش بهره‌وری GPU
• 19. مدیریت امنیت کانتینرها و دسترسی‌های شبکه در کلاستر
• 20. پیکربندی سیاست‌های شبکه برای جداسازی سرویس‌های هوش مصنوعی
• 21. ذخیره‌سازی پایدار (Persistent Storage) برای وزن‌های مدل
• 22. استفاده از Helm Charts برای استقرار خودکار مدل‌ها
• 23. مدیریت چرخه حیات مدل‌های هوش مصنوعی (MLOps)
• 24. ارزیابی پایداری سرویس‌های استنتاجی تحت بار بالا
• 25. تکنیک‌های کاهش هزینه‌های زیرساختی در ابر
• 26. بهینه‌سازی مصرف انرژی در سرورهای محاسباتی
• 27. استقرار مدل‌های چندگانه در یک کلاستر واحد
• 28. استفاده از تکنولوژی‌های Service Mesh برای مدیریت ارتباطات
• 29. عیب‌یابی و رفع خطاهای رایج در استقرار مدل‌های زبانی
• 30. امن‌سازی زیرساخت‌های ابری مطابق با استانداردهای داخلی
• 31. تست استرس و تحلیل کارایی مدل در مقیاس عملیاتی
• 32. به‌روزرسانی و جایگزینی مدل‌ها بدون قطعی سرویس
• 33. استفاده از GitOps برای مدیریت تغییرات زیرساخت
• 34. بهره‌گیری از پردازنده‌های گرافیکی مجازی در محیط‌های ابری
• 35. تأمین امنیت داده‌های ورودی و خروجی در فرآیند استنتاج
• 36. آینده‌نگری در توسعه زیرساخت‌های هوش مصنوعی بومی