فلش‌کارت‌های آموزشی بهینه‌سازی تأخیر مدل‌های زبانی برای تولید متن‌های بلند؛ از توکن‌سازی تا استنتاج سریع و مقیاس‌پذیر

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی تأخیر مدل‌های زبانی برای تولید متن‌های بلند؛ از توکن‌سازی تا استنتاج سریع و مقیاس‌پذیر

موضوع کلی: هوش مصنوعی و مهندسی سامانه‌های مولد

موضوع میانی: بهینه‌سازی کارایی و تأخیر مدل‌های زبانی بزرگ

📋 سرفصل‌های دوره

• 1. مبانی تأخیر در سامانه‌های تولید متن با هوش مصنوعی
• 2. معماری مدل‌های زبانی بزرگ و عوامل مؤثر بر زمان پاسخ
• 3. تفاوت Prefill و Decode در فرایند استنتاج
• 4. تحلیل Token Latency و زمان تولید هر توکن
• 5. معیارهای TTFT، TPOT و End-to-End Latency
• 6. رابطه طول ورودی و طول خروجی با تأخیر استنتاج
• 7. مدل‌سازی هزینه محاسباتی تولید متن بلند
• 8. پروفایل‌گیری از زمان اجرای مدل زبانی
• 9. شناسایی گلوگاه‌های CPU، GPU و حافظه
• 10. تحلیل Throughput در کنار Latency
• 11. موازنه بین کیفیت، سرعت و هزینه تولید متن
• 12. اثر اندازه مدل بر سرعت تولید خروجی
• 13. اثر Quantization بر سرعت و مصرف منابع
• 14. Quantization مدل‌های زبانی برای استنتاج سریع‌تر
• 15. کاهش Precision و پیامدهای آن بر کیفیت خروجی
• 16. بهینه‌سازی حافظه GPU برای مدل‌های بزرگ
• 17. مدیریت VRAM در تولید متن‌های طولانی
• 18. نقش KV Cache در شتاب‌دهی استنتاج
• 19. ساختار و هزینه حافظه KV Cache
• 20. بهینه‌سازی KV Cache برای Contextهای طولانی
• 21. Paged Attention و مدیریت کارآمد حافظه
• 22. FlashAttention و کاهش هزینه محاسبات Attention
• 23. بهینه‌سازی Attention برای دنباله‌های طولانی
• 24. کاهش سربار محاسباتی در Decode
• 25. بهینه‌سازی Kernelهای GPU برای استنتاج
• 26. استفاده از Tensor Core برای افزایش سرعت
• 27. Batching و اثر آن بر Latency
• 28. Dynamic Batching در سرویس‌های تولید متن
• 29. Continuous Batching برای مدل‌های زبانی
• 30. مقایسه Single-Request و Batched Inference
• 31. توزیع درخواست‌ها و مدیریت صف استنتاج
• 32. تأثیر Queueing بر زمان پاسخ
• 33. بهینه‌سازی زمان‌بندی درخواست‌های طولانی
• 34. Parallelism در استنتاج مدل‌های زبانی
• 35. Tensor Parallelism و کاهش زمان محاسبات
• 36. Pipeline Parallelism و محدودیت‌های آن
• 37. Data Parallelism برای سرویس‌دهی هم‌زمان
• 38. Model Parallelism در مدل‌های بزرگ
• 39. Speculative Decoding برای تولید سریع‌تر
• 40. انتخاب و بهینه‌سازی مدل Draft
• 41. تحلیل سود Speculative Decoding در متن‌های بلند
• 42. Early Exit و روش‌های کاهش محاسبات
• 43. کاهش تعداد توکن‌های غیرضروری خروجی
• 44. کنترل طول خروجی برای کاهش Latency
• 45. بهینه‌سازی Prompt برای کاهش هزینه ورودی
• 46. Prompt Compression در Contextهای طولانی
• 47. خلاصه‌سازی Context برای کاهش بار محاسباتی
• 48. مدیریت Context Window در تولید متن بلند
• 49. Chunking و پردازش بخش‌بندی‌شده متن
• 50. Streaming Generation برای بهبود زمان ادراک‌شده پاسخ
• 51. بهینه‌سازی Time-to-First-Token در پاسخ‌های Streaming
• 52. طراحی API کم‌تأخیر برای سرویس‌های LLM
• 53. استفاده بهینه از Connection Pooling و HTTP
• 54. کاهش Serialization و Deserialization Overhead
• 55. بهینه‌سازی شبکه در سرویس‌های مدل زبانی
• 56. استقرار مدل روی GPUهای چندگانه
• 57. مقیاس‌پذیری افقی سرویس‌های تولید متن
• 58. Load Balancing برای درخواست‌های استنتاج
• 59. Auto Scaling بر اساس Latency و Throughput
• 60. Caching در سامانه‌های تولید متن
• 61. Prefix Caching برای درخواست‌های مشابه
• 62. کش کردن Prompt و Contextهای پرتکرار
• 63. بهینه‌سازی Runtimeهای استنتاج مدل‌های زبانی
• 64. مقایسه رویکردهای مختلف Inference Engine
• 65. بهینه‌سازی حافظه و محاسبات در Serving Runtime
• 66. Benchmark طراحی‌شده برای تولید متن‌های بلند
• 67. ساخت مجموعه آزمون برای سنجش Latency
• 68. تحلیل Percentileهای Latency مانند P50 و P99
• 69. تشخیص Regressionهای عملکردی در استنتاج
• 70. پایش بلادرنگ Latency و Throughput
• 71. ردیابی مصرف GPU و Memory در محیط Production
• 72. طراحی آزمایش‌های قابل تکرار برای بهینه‌سازی
• 73. تحلیل Trade-offهای بهینه‌سازی‌های مختلف
• 74. بهینه‌سازی هم‌زمان Latency، Throughput و هزینه
• 75. طراحی معماری Production برای تولید متن بلند
• 76. بهینه‌سازی سرویس‌های چندمدلی و چندمستاجری
• 77. مدیریت منابع در بارهای کاری طولانی و متغیر
• 78. تحمل خطا و حفظ کارایی در مقیاس بالا
• 79. استراتژی‌های پیشرفته برای کاهش Tail Latency
• 80. طراحی Pipeline کامل برای استنتاج کم‌تأخیر
• 81. مطالعه موردی بهینه‌سازی یک سامانه تولید متن بلند
• 82. پیاده‌سازی یک سرویس LLM با تمرکز بر Latency
• 83. پروفایل‌گیری و بهینه‌سازی مرحله‌به‌مرحله یک سیستم واقعی