کتاب تکنیکهای فشردهسازی و انتخاب اطلاعات برای پنجره زمینه طولانی با فرمت AZW3 برای کتابخوان کیندل و فرمت EPUB
🎓 دوره آموزشی جامع
📚 اطلاعات دوره
عنوان دوره: دوره تکنیکهای فشردهسازی و انتخاب اطلاعات برای پنجره زمینه طولانی
موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ
موضوع میانی: تکنیکهای Long Context Window
📋 سرفصل‌های دوره
- 1. مبانی پنجره زمینه طولانی و مسئله محدودیت بودجه توکن
- 2. هزینه محاسباتی و حافظه‌ای پردازش زمینه‌های طولانی
- 3. مفهوم Information Density در متن‌های طولانی
- 4. تفاوت فشردهسازی زمینه، انتخاب زمینه و خلاصه‌سازی
- 5. معیارهای سنجش ارزش اطلاعات در پنجره زمینه
- 6. ارتباط Relevance، Redundancy و Information Gain
- 7. تحلیل ساختار توکن‌ها و واحدهای قابل فشردهسازی
- 8. فشردهسازی سخت و فشردهسازی نرم Prompt
- 9. انتخاب توکن‌های مهم با روش‌های مبتنی بر امتیازدهی
- 10. Token Pruning و حذف توکن‌های کم‌اهمیت
- 11. Token Merging و ادغام اطلاعات توکن‌ها
- 12. Sentence-Level Compression و انتخاب جملات کلیدی
- 13. Paragraph-Level Compression برای اسناد طولانی
- 14. Document-Level Selection در مجموعه اسناد
- 15. استخراج اطلاعات کلیدی پیش از ورود به Context
- 16. Query-Aware Context Selection
- 17. فشردهسازی وابسته به پرس‌وجو
- 18. فشردهسازی مستقل از پرس‌وجو
- 19. Relevance Scoring برای انتخاب بخش‌های Context
- 20. رتبه‌بندی قطعات متن با Embedding Similarity
- 21. استفاده از Dense Retrieval برای انتخاب اطلاعات
- 22. استفاده از Sparse Retrieval برای کاهش حجم Context
- 23. ترکیب Retrieval و Context Compression
- 24. Reranking برای حذف اطلاعات کم‌ارزش
- 25. Contextual Compression در سیستم‌های RAG
- 26. LLMLingua و اصول Prompt Compression
- 27. LLMLingua-2 و فشردهسازی مبتنی بر مدل زبانی
- 28. LongLLMLingua برای بهینه‌سازی Contextهای طولانی
- 29. Selective Context و حذف توکن‌های زائد
- 30. فشردهسازی مبتنی بر Perplexity و Information Content
- 31. استفاده از Language Model کوچک برای امتیازدهی توکن‌ها
- 32. فشردهسازی مبتنی بر Entropy و Self-Information
- 33. فشردهسازی مبتنی بر Semantic Similarity
- 34. حذف اطلاعات تکراری با Semantic Deduplication
- 35. تشخیص و حذف جملات و قطعات تکراری
- 36. Clustering برای گروه‌بندی و فشردهسازی اطلاعات مشابه
- 37. Graph-Based Context Compression
- 38. فشردهسازی چندمرحله‌ای Context
- 39. Hierarchical Context Compression
- 40. انتخاب اطلاعات در معماری‌های Multi-Document
- 41. فشردهسازی اسناد طولانی برای Question Answering
- 42. فشردهسازی Context برای خلاصه‌سازی متون طولانی
- 43. فشردهسازی Context برای تحلیل اسناد
- 44. فشردهسازی Context برای پردازش کدهای طولانی
- 45. انتخاب بخش‌های مرتبط از Repositoryهای بزرگ کد
- 46. مدیریت Context در مکالمات طولانی
- 47. Conversation History Compression
- 48. خلاصه‌سازی تاریخچه مکالمه با حفظ اطلاعات مهم
- 49. حفظ Facts، Constraints و User Intent در فشردهسازی مکالمه
- 50. فشردهسازی حافظه بلندمدت Agentها
- 51. ترکیب Memory و Context Compression در Agentها
- 52. Budget-Aware Context Selection
- 53. تخصیص پویا و تطبیقی بودجه توکن
- 54. انتخاب Top-K اطلاعات تحت محدودیت توکن
- 55. بهینه‌سازی نسبت Compression Ratio و کیفیت پاسخ
- 56. حفظ اطلاعات حیاتی در فشردهسازی شدید
- 57. جلوگیری از حذف اطلاعات وابسته و غیرمستقیم
- 58. حفظ ارتباط میان بخش‌های پراکنده Context
- 59. مدیریت اطلاعات وابسته به ترتیب و موقعیت
- 60. مشکل Lost in the Middle در Contextهای طولانی
- 61. Reordering اطلاعات برای بهبود استفاده از Context
- 62. انتخاب و مرتب‌سازی قطعات Retrieved Context
- 63. مقابله با Hard Negativeها در Context طولانی
- 64. فشردهسازی چندزبانه و تفاوت‌های زبانی
- 65. تأثیر Tokenization بر کارایی فشردهسازی
- 66. فشردهسازی متن فارسی و چالش‌های آن
- 67. فشردهسازی بدون تغییر معنای اصلی
- 68. حفظ Entailment و Faithfulness پس از فشردهسازی
- 69. کنترل Hallucination ناشی از حذف اطلاعات
- 70. فشردهسازی با استفاده از LLM به‌عنوان Compressor
- 71. فشردهسازی با مدل‌های کوچک‌تر و ارزان‌تر
- 72. Prompt-Based Context Compression
- 73. Fine-Tuned Context Compressor
- 74. Knowledge Distillation برای فشردهسازی Context
- 75. فشردهسازی ترکیبی مبتنی بر Retrieval و Generation
- 76. آموزش مدل برای انتخاب اطلاعات مهم
- 77. Learning-to-Rank برای Context Selection
- 78. Reinforcement Learning برای بهینه‌سازی انتخاب Context
- 79. فشردهسازی تطبیقی بر اساس نوع پرس‌وجو
- 80. انتخاب متفاوت Context برای پرسش‌های تک‌مرحله‌ای و چندمرحله‌ای
- 81. Context Compression برای Multi-Hop Reasoning
- 82. حفظ زنجیره استدلال در فشردهسازی اطلاعات
- 83. فشردهسازی اطلاعات ساختاریافته و جدول‌ها
- 84. فشردهسازی JSON، Metadata و داده‌های نیمه‌ساختاریافته
- 85. فشردهسازی مستندات فنی و دانش سازمانی
- 86. معماری Pipeline برای Context Selection و Compression
- 87. پیاده‌سازی Context Compressor در یک سیستم RAG
- 88. طراحی راهبرد چندمرحله‌ای Retrieval تا Compression
- 89. کش‌کردن نتایج فشردهسازی برای کاهش هزینه
- 90. اندازه‌گیری Latency و هزینه استنتاج پس از فشردهسازی
- 91. ارزیابی Accuracy قبل و بعد از Compression
- 92. بنچمارک‌های Long-Context و ارزیابی انتخاب اطلاعات
- 93. Needle-in-a-Haystack برای ارزیابی بازیابی اطلاعات
- 94. ارزیابی Recall اطلاعات حیاتی پس از Compression
- 95. ارزیابی کیفیت معنایی Context فشرده‌شده
- 96. مقایسه روش‌های Token، Sentence و Document Compression
- 97. مقایسه روش‌های Extractive و Abstractive Compression
- 98. طراحی استراتژی بهینه فشردهسازی برای سناریوهای مختلف
- 99. پروژه نهایی: ساخت سامانه انتخاب و فشردهسازی Context برای LLM
تگ‌ها:
Context Compression
Context Selection
Context Window
Large Language Models
LLM
LLMLingua
Long Context
LongLLMLingua
Prompt Compression
RAG
Retrieval Augmented Generation
Token Compression
Token Selection
مدل‌های زبانی بزرگ
هوش مصنوعی
نظرات
هنوز نظری ثبت نشده است.
وارد شوید تا نظر ثبت کنید.