کتاب صوتی راهکارهای بهینه‌سازی و استقرار موتورهای استنتاج متن‌باز برای مدل‌های زبانی بزرگ

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره راهکارهای بهینه‌سازی و استقرار موتورهای استنتاج متن‌باز برای مدل‌های زبانی بزرگ

موضوع کلی: علوم رایانه و مهندسی هوش مصنوعی

موضوع میانی: زیرساخت‌های پردازشی مدل‌های زبانی بزرگ (LLM)

📋 سرفصل‌های دوره

• 1. مبانی و معماری مدل‌های زبانی بزرگ و چالش‌های استنتاج
• 2. آشنایی با چرخه‌ی حیات مدل‌های زبانی بزرگ در محیط‌های عملیاتی
• 3. مفهوم استنتاج و تفاوت آن با فرآیند آموزش مدل
• 4. بررسی محدودیت‌های حافظه در استقرار مدل‌های زبانی بزرگ
• 5. مفهوم مدیریت حافظه در سیستم‌های توزیع‌شده
• 6. معرفی الگوریتم PagedAttention و نقش آن در بهینه‌سازی حافظه
• 7. ساختار بلوک‌بندی حافظه در موتورهای استنتاج
• 8. تکنیک‌های مدیریت حافظه پویا (Dynamic Memory Management)
• 9. کاهش قطعه‌قطعه‌شدن حافظه در استنتاج مدل‌های بزرگ
• 10. بررسی معماری vLLM و اجزای اصلی آن
• 11. پیاده‌سازی موتور استنتاج با استفاده از vLLM
• 12. مدیریت صف درخواست‌ها و زمان‌بندی در استنتاج
• 13. الگوریتم‌های زمان‌بندی درخواست‌ها (Request Scheduling)
• 14. بهینه‌سازی نرخ توان عملیاتی (Throughput) در مدل‌های زبانی
• 15. تکنیک Continuous Batching در موتورهای استنتاج
• 16. کاهش تأخیر در پاسخ‌دهی (Latency) مدل‌های زبانی بزرگ
• 17. استفاده از کوانتایزاسیون (Quantization) برای کاهش حجم مدل
• 18. بررسی تأثیر کوانتایزاسیون بر دقت خروجی و سرعت اجرا
• 19. به‌کارگیری سخت‌افزارهای شتاب‌دهنده (GPU) در استنتاج
• 20. مدیریت حافظه ویدئویی (VRAM) در پردازش‌های سنگین
• 21. توزیع بار پردازشی در خوشه‌های محاسباتی
• 22. استقرار مدل‌های زبانی در محیط‌های کانتینری (Docker)
• 23. مدیریت و ارکستراسیون مدل‌ها با استفاده از Kubernetes
• 24. معرفی رابط‌های برنامه‌نویسی (API) برای موتورهای استنتاج
• 25. یکپارچه‌سازی مدل‌های بهینه‌شده با اپلیکیشن‌های کاربردی
• 26. مانیتورینگ و پایش عملکرد موتور استنتاج در محیط عملیاتی
• 27. تحلیل گلوگاه‌های سیستم در فرآیند استنتاج
• 28. استراتژی‌های مقیاس‌پذیری (Scaling) برای سرویس‌های هوش مصنوعی
• 29. امنیت در استقرار مدل‌های زبانی و حفاظت از داده‌ها
• 30. رعایت حریم خصوصی در پردازش‌های محلی و ابری
• 31. تست و ارزیابی مدل‌های استنتاج شده (Benchmarking)
• 32. بهینه‌سازی مصرف انرژی در سرورهای استنتاج
• 33. مقایسه عملکرد موتورهای استنتاج متن‌باز مختلف
• 34. پیش‌بینی نیازهای سخت‌افزاری برای مدل‌های مقیاس‌بزرگ
• 35. راهکارهای ذخیره‌سازی کش (Caching) در موتورهای استنتاج
• 36. مدیریت نسخه‌های مختلف مدل (Model Versioning)
• 37. عیب‌یابی و رفع خطاهای متداول در استقرار مدل‌های زبانی
• 38. به‌روزرسانی و جایگزینی مدل‌ها بدون توقف سرویس
• 39. مستندسازی و استانداردهای توسعه در پروژه‌های هوش مصنوعی
• 40. چشم‌انداز آینده زیرساخت‌های پردازش مدل‌های زبانی بزرگ