اپلیکیشن اندرویدی فلش‌کارت آموزشی راهکارهای پیشرفته تسریع استنتاج مدل‌های هوش مصنوعی با استفاده از TensorRT-LLM در زیرساخت‌های محاسباتی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره راهکارهای پیشرفته تسریع استنتاج مدل‌های هوش مصنوعی با استفاده از TensorRT-LLM در زیرساخت‌های محاسباتی

موضوع کلی: هوش مصنوعی و پردازش داده‌های بزرگ

موضوع میانی: بهینه‌سازی و استقرار مدل‌های زبانی کلان (LLMs)

📋 سرفصل‌های دوره

• 1. مبانی و مفاهیم استنتاج در مدل‌های زبانی بزرگ
• 2. معماری سخت‌افزاری پردازنده‌های گرافیکی برای هوش مصنوعی
• 3. آشنایی با پلتفرم TensorRT و نقش آن در بهینه‌سازی
• 4. نصب و راه‌اندازی محیط توسعه برای TensorRT-LLM
• 5. ساختار و کامپوننت‌های اصلی کتابخانه TensorRT-LLM
• 6. تبدیل مدل‌های Hugging Face به فرمت TensorRT
• 7. مدیریت حافظه در استنتاج مدل‌های کلان
• 8. تکنیک‌های کوانتایزاسیون برای کاهش حجم مدل
• 9. پیاده‌سازی الگوریتم‌های FP8 و INT8 در استنتاج
• 10. آشنایی با موتورهای اجرای موازی در TensorRT
• 11. بهینه‌سازی توابع فعال‌ساز و لایه‌های ترنسفورمر
• 12. استراتژی‌های موازی‌سازی مدل در محیط‌های چند GPU
• 13. مفهوم In-flight Batching و تأثیر آن بر نرخ پاسخ‌دهی
• 14. مدیریت صف درخواست‌ها در سیستم‌های استنتاجی
• 15. پیاده‌سازی PagedAttention برای بهینه‌سازی حافظه KV Cache
• 16. استفاده از Triton Inference Server برای استقرار مدل
• 17. طراحی معماری کانتینری برای استقرار مدل‌های هوش مصنوعی
• 18. نظارت بر عملکرد (Monitoring) و تحلیل تأخیر استنتاج
• 19. روش‌های پروفایل‌گیری و شناسایی گلوگاه‌های محاسباتی
• 20. تکنیک‌های پیش‌پردازش و پس‌پردازش داده‌ها در استنتاج
• 21. مدیریت خطاهای رایج در اجرای مدل‌های بزرگ
• 22. مقیاس‌پذیری زیرساخت استنتاج در محیط‌های ابری بومی
• 23. امنیت و حریم خصوصی در پردازش داده‌های مدل‌های زبانی
• 24. ارزیابی دقت مدل پس از بهینه‌سازی و کوانتایزاسیون
• 25. بررسی موردی استقرار مدل‌های Llama در محیط‌های عملیاتی
• 26. تکنیک‌های کاهش زمان گرم‌شدن (Warm-up) مدل
• 27. مدیریت نسخه‌بندی و به‌روزرسانی مدل‌های مستقر
• 28. بهره‌گیری از حافظه مشترک در معماری‌های چند پردازنده
• 29. راهکارهای افزایش توان عملیاتی (Throughput) در محیط‌های تولیدی
• 30. تجزیه و تحلیل هزینه‌های عملیاتی استنتاج در مقیاس بزرگ
• 31. پشتیبانی از مدل‌های چندوجهی در TensorRT-LLM
• 32. بهینه‌سازی برای مدل‌های با طول متن ورودی بسیار بلند
• 33. تکنیک‌های پیش‌بینی بار کاری و مدیریت منابع پویا
• 34. یکپارچه‌سازی TensorRT-LLM با پایپ‌لاین‌های داده‌ای استاندارد
• 35. روش‌های تست واحد و تست یکپارچگی مدل‌های بهینه‌شده
• 36. مستندسازی و استانداردهای نگهداری مدل‌های هوش مصنوعی
• 37. اخلاق حرفه‌ای در توسعه و استقرار سیستم‌های هوشمند
• 38. چشم‌انداز آینده سخت‌افزارهای شتاب‌دهنده در هوش مصنوعی
• 39. جمع‌بندی و راهکارهای پیاده‌سازی پروژه‌های عملیاتی