اپلیکیشن اندرویدی فلش‌کارت آموزشی کشینگ معنایی آگاه از دسته‌بندی: افزایش سرعت و دقت پاسخگویی LLM ها با رویکردی نوین

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کشینگ معنایی آگاه از دسته‌بندی: افزایش سرعت و دقت پاسخگویی LLM ها با رویکردی نوین

موضوع کلی: بهینه‌سازی سیستم‌های پاسخگویی مدل‌های زبانی بزرگ (LLM)

موضوع میانی: راهکارهای کشینگ معنایی برای بهبود عملکرد و کاهش هزینه در LLM Serving

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مدل‌های زبانی بزرگ (LLM) و چالش‌های پاسخگویی (Serving)
• 2. مفاهیم کلیدی در LLM Serving
• 3. محدودیت‌های فعلی LLM Serving
• 4. نیاز به بهینه‌سازی عملکرد در LLM Serving
• 5. معرفی کشینگ (Caching) در سیستم‌های نرم‌افزاری
• 6. انواع کشینگ و کاربردهای آن
• 7. چالش‌های اعمال کشینگ در LLM Serving
• 8. مفهوم کشینگ معنایی (Semantic Caching)
• 9. مزایای کشینگ معنایی برای LLM Serving
• 10. محدودیت‌های کشینگ معنایی سنتی
• 11. مقدمه‌ای بر مقاله‌ی Category-Aware Semantic Caching
• 12. اهداف اصلی مقاله الهام‌بخش
• 13. مروری بر معماری سیستم‌های LLM Serving
• 14. مراحل پردازش درخواست در LLM Serving
• 15. شناسایی الگوهای تکرار در درخواست‌های LLM
• 16. اهمیت درک معنایی درخواست‌ها
• 17. تعریف "دسته بندی" (Category) در زمینه LLM Workloads
• 18. چرا دسته‌بندی آگاهانه (Category-Aware) مهم است؟
• 19. چالش‌های دسته‌بندی خودکار درخواست‌ها
• 20. روش‌های شناسایی دسته‌بندی درخواست‌ها
• 21. نقش مدل‌های زبانی کوچک (SLM) در دسته‌بندی
• 22. استفاده از embeddings برای دسته‌بندی
• 23. تکنیک‌های خوشه‌بندی (Clustering) برای دسته‌بندی
• 24. معرفی مفهوم "کلاسور" (Classifier) برای دسته‌بندی
• 25. پیاده‌سازی یک کلاسور دسته‌بندی ساده
• 26. ارزیابی عملکرد کلاسور دسته‌بندی
• 27. مدل‌های زبانی بزرگ (LLM) چگونه کار می‌کنند؟ (مرور)
• 28. معماری ترنسفورمر (Transformer Architecture)
• 29. مکانیزم توجه (Attention Mechanism)
• 30. کاربرد Embedding ها در LLM
• 31. تولید پاسخ در LLM ها (Generation)
• 32. مفاهیم مرتبط با "معنا" (Semantics) در LLM
• 33. شباهت معنایی بین درخواست‌ها
• 34. اندازه‌گیری شباهت معنایی (Semantic Similarity)
• 35. کاربرد فاصله‌سنجی (Distance Metrics) برای شباهت معنایی
• 36. نحوه ذخیره‌سازی داده‌ها در کش (Cache Storage)
• 37. انواع ساختارهای داده برای کش
• 38. کش مبتنی بر هش (Hash-based Cache)
• 39. کش مبتنی بر درخت (Tree-based Cache)
• 40. کش مبتنی بر گراف (Graph-based Cache)
• 41. مفهوم "کلید" (Key) و "مقدار" (Value) در کش
• 42. چگونه کلیدهای معنایی را برای LLM ها ایجاد کنیم؟
• 43. استفاده از embeddings به عنوان کلید معنایی
• 44. چالش‌های اندازه‌ی embeddings به عنوان کلید
• 45. استفاده از summary یا خلاصه درخواست به عنوان کلید
• 46. بهینه‌سازی کلیدهای معنایی
• 47. چالش‌های "دقت" (Accuracy) در کشینگ معنایی
• 48. "خطاهای مثبت کاذب" (False Positives) در کشینگ
• 49. "خطاهای منفی کاذب" (False Negatives) در کشینگ
• 50. تاثیر دقت کش بر LLM Serving
• 51. معرفی "قابلیت اطمینان" (Reliability) کشینگ معنایی
• 52. استراتژی‌های انتخاب داده برای کش (Cache Eviction Policies)
• 53. LRU (Least Recently Used) و کاربرد آن
• 54. LFU (Least Frequently Used) و کاربرد آن
• 55. ARC (Adaptive Replacement Cache)
• 56. کاربرد سیاست‌های eviction در کشینگ معنایی
• 57. چالش‌های تطبیق سیاست‌های eviction با LLM Workloads
• 58. معرفی "فرکانس" (Frequency) درخواست‌ها
• 59. "تازگی" (Recency) درخواست‌ها
• 60. تأثیر دسته‌بندی بر فرکانس و تازگی
• 61. استراتژی eviction آگاه از دسته‌بندی (Category-Aware Eviction)
• 62. چگونه دسته‌بندی‌ها بر انتخاب داده برای کش تأثیر می‌گذارند؟
• 63. مدیریت حجم کش (Cache Size Management)
• 64. تنظیم اندازه کش برای دسته‌بندی‌های مختلف
• 65. اهمیت "پویایی" (Dynamism) در LLM Workloads
• 66. نوسانات در نوع و حجم درخواست‌ها
• 67. تأثیر پویایی بر اثربخشی کش
• 68. راهکارهای تطبیق کش با پویایی Workloads
• 69. معرفی "محدوده اعتبارسنجی" (Validity Window) برای کش
• 70. کش زمانی (Time-based Cache)
• 71. تأثیر طولانی بودن یا کوتاه بودن validity window
• 72. تنظیم validity window بر اساس دسته‌بندی
• 73. مفهوم "محتوای کش" (Cache Content)
• 74. انواع محتوا برای کش در LLM Serving
• 75. کش کردن ورودی‌ها (Input Caching)
• 76. کش کردن خروجی‌های تولید شده (Output Caching)
• 77. کش کردن embeddings
• 78. کش کردن پارامترهای مدل
• 79. چالش‌های کش کردن پارامترهای مدل
• 80. معرفی "مجموعه داده‌های آموزشی" (Training Datasets) و تاثیر آن
• 81. "توزیع دسته‌بندی" (Category Distribution) در Workloads
• 82. اهمیت درک توزیع دسته‌بندی
• 83. تاثیر عدم توازن دسته‌بندی بر کش
• 84. راهکارهای مقابله با عدم توازن دسته‌بندی
• 85. "داده‌های نادر" (Rare Categories) و چالش‌های کشینگ آنها
• 86. "داده‌های پرتکرار" (Frequent Categories) و اولویت‌بندی آنها
• 87. معرفی "بار کاری ترکیبی" (Heterogeneous Workloads)
• 88. انواع LLM Workloads (چت، خلاصه‌سازی، ترجمه،...)
• 89. پیاده‌سازی کشینگ معنایی آگاه از دسته‌بندی
• 90. طراحی معماری کشینگ معنایی آگاه از دسته‌بندی
• 91. جریان کاری (Workflow) در سیستم پیشنهادی
• 92. ماژول دسته‌بندی درخواست‌ها
• 93. ماژول ایجاد کلیدهای معنایی آگاه از دسته‌بندی
• 94. ماژول مدیریت کش آگاه از دسته‌بندی
• 95. ماژول بازیابی اطلاعات از کش
• 96. ارزیابی عملکرد سیستم کشینگ معنایی آگاه از دسته‌بندی
• 97. معیارهای سنجش عملکرد (Latency, Throughput, Cost)
• 98. مقایسه با رویکردهای سنتی کشینگ
• 99. مقایسه با کشینگ معنایی بدون دسته‌بندی
• 100. پیاده‌سازی عملیاتی (Practical Implementation)