فلش‌کارت‌های آموزشی تکنیک‌های فشرده‌سازی و انتخاب اطلاعات برای پنجره زمینه طولانی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تکنیک‌های فشرده‌سازی و انتخاب اطلاعات برای پنجره زمینه طولانی

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های Long Context Window

📋 سرفصل‌های دوره

• 1. مبانی پنجره زمینه طولانی و مسئله محدودیت بودجه توکن
• 2. هزینه محاسباتی و حافظه‌ای پردازش زمینه‌های طولانی
• 3. مفهوم Information Density در متن‌های طولانی
• 4. تفاوت فشرده‌سازی زمینه، انتخاب زمینه و خلاصه‌سازی
• 5. معیارهای سنجش ارزش اطلاعات در پنجره زمینه
• 6. ارتباط Relevance، Redundancy و Information Gain
• 7. تحلیل ساختار توکن‌ها و واحدهای قابل فشرده‌سازی
• 8. فشرده‌سازی سخت و فشرده‌سازی نرم Prompt
• 9. انتخاب توکن‌های مهم با روش‌های مبتنی بر امتیازدهی
• 10. Token Pruning و حذف توکن‌های کم‌اهمیت
• 11. Token Merging و ادغام اطلاعات توکن‌ها
• 12. Sentence-Level Compression و انتخاب جملات کلیدی
• 13. Paragraph-Level Compression برای اسناد طولانی
• 14. Document-Level Selection در مجموعه اسناد
• 15. استخراج اطلاعات کلیدی پیش از ورود به Context
• 16. Query-Aware Context Selection
• 17. فشرده‌سازی وابسته به پرس‌وجو
• 18. فشرده‌سازی مستقل از پرس‌وجو
• 19. Relevance Scoring برای انتخاب بخش‌های Context
• 20. رتبه‌بندی قطعات متن با Embedding Similarity
• 21. استفاده از Dense Retrieval برای انتخاب اطلاعات
• 22. استفاده از Sparse Retrieval برای کاهش حجم Context
• 23. ترکیب Retrieval و Context Compression
• 24. Reranking برای حذف اطلاعات کم‌ارزش
• 25. Contextual Compression در سیستم‌های RAG
• 26. LLMLingua و اصول Prompt Compression
• 27. LLMLingua-2 و فشرده‌سازی مبتنی بر مدل زبانی
• 28. LongLLMLingua برای بهینه‌سازی Contextهای طولانی
• 29. Selective Context و حذف توکن‌های زائد
• 30. فشرده‌سازی مبتنی بر Perplexity و Information Content
• 31. استفاده از Language Model کوچک برای امتیازدهی توکن‌ها
• 32. فشرده‌سازی مبتنی بر Entropy و Self-Information
• 33. فشرده‌سازی مبتنی بر Semantic Similarity
• 34. حذف اطلاعات تکراری با Semantic Deduplication
• 35. تشخیص و حذف جملات و قطعات تکراری
• 36. Clustering برای گروه‌بندی و فشرده‌سازی اطلاعات مشابه
• 37. Graph-Based Context Compression
• 38. فشرده‌سازی چندمرحله‌ای Context
• 39. Hierarchical Context Compression
• 40. انتخاب اطلاعات در معماری‌های Multi-Document
• 41. فشرده‌سازی اسناد طولانی برای Question Answering
• 42. فشرده‌سازی Context برای خلاصه‌سازی متون طولانی
• 43. فشرده‌سازی Context برای تحلیل اسناد
• 44. فشرده‌سازی Context برای پردازش کدهای طولانی
• 45. انتخاب بخش‌های مرتبط از Repositoryهای بزرگ کد
• 46. مدیریت Context در مکالمات طولانی
• 47. Conversation History Compression
• 48. خلاصه‌سازی تاریخچه مکالمه با حفظ اطلاعات مهم
• 49. حفظ Facts، Constraints و User Intent در فشرده‌سازی مکالمه
• 50. فشرده‌سازی حافظه بلندمدت Agentها
• 51. ترکیب Memory و Context Compression در Agentها
• 52. Budget-Aware Context Selection
• 53. تخصیص پویا و تطبیقی بودجه توکن
• 54. انتخاب Top-K اطلاعات تحت محدودیت توکن
• 55. بهینه‌سازی نسبت Compression Ratio و کیفیت پاسخ
• 56. حفظ اطلاعات حیاتی در فشرده‌سازی شدید
• 57. جلوگیری از حذف اطلاعات وابسته و غیرمستقیم
• 58. حفظ ارتباط میان بخش‌های پراکنده Context
• 59. مدیریت اطلاعات وابسته به ترتیب و موقعیت
• 60. مشکل Lost in the Middle در Contextهای طولانی
• 61. Reordering اطلاعات برای بهبود استفاده از Context
• 62. انتخاب و مرتب‌سازی قطعات Retrieved Context
• 63. مقابله با Hard Negativeها در Context طولانی
• 64. فشرده‌سازی چندزبانه و تفاوت‌های زبانی
• 65. تأثیر Tokenization بر کارایی فشرده‌سازی
• 66. فشرده‌سازی متن فارسی و چالش‌های آن
• 67. فشرده‌سازی بدون تغییر معنای اصلی
• 68. حفظ Entailment و Faithfulness پس از فشرده‌سازی
• 69. کنترل Hallucination ناشی از حذف اطلاعات
• 70. فشرده‌سازی با استفاده از LLM به‌عنوان Compressor
• 71. فشرده‌سازی با مدل‌های کوچک‌تر و ارزان‌تر
• 72. Prompt-Based Context Compression
• 73. Fine-Tuned Context Compressor
• 74. Knowledge Distillation برای فشرده‌سازی Context
• 75. فشرده‌سازی ترکیبی مبتنی بر Retrieval و Generation
• 76. آموزش مدل برای انتخاب اطلاعات مهم
• 77. Learning-to-Rank برای Context Selection
• 78. Reinforcement Learning برای بهینه‌سازی انتخاب Context
• 79. فشرده‌سازی تطبیقی بر اساس نوع پرس‌وجو
• 80. انتخاب متفاوت Context برای پرسش‌های تک‌مرحله‌ای و چندمرحله‌ای
• 81. Context Compression برای Multi-Hop Reasoning
• 82. حفظ زنجیره استدلال در فشرده‌سازی اطلاعات
• 83. فشرده‌سازی اطلاعات ساختاریافته و جدول‌ها
• 84. فشرده‌سازی JSON، Metadata و داده‌های نیمه‌ساختاریافته
• 85. فشرده‌سازی مستندات فنی و دانش سازمانی
• 86. معماری Pipeline برای Context Selection و Compression
• 87. پیاده‌سازی Context Compressor در یک سیستم RAG
• 88. طراحی راهبرد چندمرحله‌ای Retrieval تا Compression
• 89. کش‌کردن نتایج فشرده‌سازی برای کاهش هزینه
• 90. اندازه‌گیری Latency و هزینه استنتاج پس از فشرده‌سازی
• 91. ارزیابی Accuracy قبل و بعد از Compression
• 92. بنچمارک‌های Long-Context و ارزیابی انتخاب اطلاعات
• 93. Needle-in-a-Haystack برای ارزیابی بازیابی اطلاعات
• 94. ارزیابی Recall اطلاعات حیاتی پس از Compression
• 95. ارزیابی کیفیت معنایی Context فشرده‌شده
• 96. مقایسه روش‌های Token، Sentence و Document Compression
• 97. مقایسه روش‌های Extractive و Abstractive Compression
• 98. طراحی استراتژی بهینه فشرده‌سازی برای سناریوهای مختلف
• 99. پروژه نهایی: ساخت سامانه انتخاب و فشرده‌سازی Context برای LLM