دوره راهکارهای پیشرفته در افزایش سرعت و کارایی استنتاج مدل‌های هوش مصنوعی با استفاده از vLLM، SGLang و TensorRT همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره راهکارهای پیشرفته در افزایش سرعت و کارایی استنتاج مدل‌های هوش مصنوعی با استفاده از vLLM، SGLang و TensorRT

موضوع کلی: هوش مصنوعی و پردازش داده‌های کلان

موضوع میانی: بهینه‌سازی زیرساخت‌های استنتاج مدل‌های زبانی بزرگ (LLM)

📋 سرفصل‌های دوره

• 1. مبانی و مفاهیم استنتاج در مدل‌های زبانی بزرگ
• 2. چالش‌های محاسباتی در اجرای مدل‌های هوش مصنوعی
• 3. ساختار حافظه و مدیریت گراف محاسباتی در مدل‌های زبانی
• 4. آشنایی با معماری کتابخانه vLLM برای استنتاج بهینه
• 5. مفهوم PagedAttention و تأثیر آن بر مدیریت حافظه KV Cache
• 6. نصب و راه‌اندازی محیط عملیاتی vLLM
• 7. بررسی معماری SGLang و نقش آن در بهینه‌سازی جریان کنترل
• 8. مدیریت درخواست‌های همزمان در SGLang
• 9. مقایسه فنی vLLM و SGLang در سناریوهای استنتاج
• 10. مبانی TensorRT برای بهینه‌سازی مدل‌های یادگیری عمیق
• 11. فرآیند تبدیل مدل به فرمت TensorRT Engine
• 12. بهینه‌سازی هسته‌های محاسباتی برای پردازنده‌های گرافیکی NVIDIA
• 13. استفاده از Quantization در افزایش سرعت استنتاج
• 14. بررسی روش‌های کاهش دقت مدل بدون افت کارایی
• 15. تکنیک‌های FP8 و INT8 در استنتاج مدل‌های بزرگ
• 16. مدیریت صف درخواست‌ها و الگوریتم‌های زمان‌بندی
• 17. تأثیر Continuous Batching بر نرخ توان عملیاتی
• 18. تحلیل تأخیر در استنتاج مدل‌های چندوجهی
• 19. پیاده‌سازی استنتاج توزیع‌شده بر روی چند پردازنده گرافیکی
• 20. استفاده از تکنیک Tensor Parallelism در مقیاس‌گذاری
• 21. بررسی استراتژی‌های Pipeline Parallelism
• 22. پیکربندی سرورهای استنتاج برای محیط‌های عملیاتی
• 23. مانیتورینگ و سنجش شاخص‌های عملکردی استنتاج
• 24. تحلیل گلوگاه‌های سیستم با استفاده از ابزارهای پروفایلینگ
• 25. بهینه‌سازی نرخ تولید توکن در ثانیه
• 26. استفاده از Speculative Decoding برای افزایش سرعت پاسخ‌دهی
• 27. ارزیابی کارایی مدل در محیط‌های ابری و محلی
• 28. راهکارهای کاهش مصرف انرژی در سیستم‌های استنتاج
• 29. مدیریت خطاهای سیستم در حین پردازش‌های سنگین
• 30. مقایسه عملکرد مدل‌های متن‌باز در پلتفرم‌های مختلف
• 31. ارائه الگوهای طراحی برای مقیاس‌پذیری سیستم‌های هوش مصنوعی
• 32. مستندسازی و بهینه‌سازی چرخه‌های توسعه مدل در محیط سازمانی
• 33. مطالعه موردی: استقرار بهینه یک مدل زبانی روی زیرساخت بومی
• 34. آینده‌نگری در بهینه‌سازی استنتاج و سخت‌افزارهای تخصصی