فلش‌کارت‌های آموزشی ساخت موتور جست‌وجوی معنایی حرفه‌ای با Embedding و پایگاه‌های داده برداری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ساخت موتور جست‌وجوی معنایی حرفه‌ای با Embedding و پایگاه‌های داده برداری

موضوع کلی: هوش مصنوعی و مهندسی جست‌وجو

موضوع میانی: جست‌وجوی معنایی و سیستم‌های مبتنی بر بردار

📋 سرفصل‌های دوره

• 1. مفهوم جست‌وجوی معنایی و تفاوت آن با جست‌وجوی کلیدواژه‌ای
• 2. معماری کلی یک سیستم Semantic Search
• 3. مفهوم Embedding و نمایش معنایی داده‌ها
• 4. بردارهای متنی و فضای برداری
• 5. انتخاب مدل مناسب برای تولید Embedding
• 6. تولید Embedding برای اسناد و داده‌های متنی
• 7. نرمال‌سازی و آماده‌سازی داده‌های ورودی
• 8. تقسیم اسناد به قطعه‌های قابل جست‌وجو
• 9. راهبردهای Chunking برای متن‌های مختلف
• 10. انتخاب اندازه مناسب Chunk و Overlap
• 11. متادیتا و طراحی ساختار اسناد قابل جست‌وجو
• 12. مبانی پایگاه‌های داده برداری
• 13. ساختار Index در Vector Database
• 14. مقایسه Vector Database با پایگاه‌های داده سنتی
• 15. معیارهای شباهت در جست‌وجوی برداری
• 16. فاصله کسینوسی و کاربرد آن در Semantic Search
• 17. فاصله اقلیدسی و Dot Product
• 18. انتخاب معیار شباهت مناسب برای Embedding
• 19. ساخت اولین Vector Index
• 20. ذخیره‌سازی Embedding و متادیتا
• 21. درج و به‌روزرسانی بردارها
• 22. حذف و مدیریت داده‌های برداری
• 23. جست‌وجوی Nearest Neighbor
• 24. جست‌وجوی Top-K و تنظیم تعداد نتایج
• 25. Approximate Nearest Neighbor و ضرورت آن
• 26. ساخت Indexهای سریع برای جست‌وجوی برداری
• 27. مقایسه روش‌های ANN مانند HNSW و IVF
• 28. تنظیم پارامترهای HNSW
• 29. تنظیم پارامترهای IVF و Quantization
• 30. فیلتر کردن نتایج بر اساس Metadata
• 31. ترکیب Vector Search و Metadata Filtering
• 32. پیاده‌سازی Semantic Search End-to-End
• 33. طراحی Pipeline ورود و Index کردن اسناد
• 34. طراحی Pipeline پردازش Query
• 35. تبدیل Query کاربر به Embedding
• 36. بازیابی اسناد مرتبط از Vector Database
• 37. بهبود کیفیت نتایج با Query Transformation
• 38. Hybrid Search و ترکیب جست‌وجوی معنایی و کلیدواژه‌ای
• 39. ترکیب BM25 با Vector Search
• 40. Rank Fusion و ادغام نتایج چند روش جست‌وجو
• 41. Reranking نتایج جست‌وجوی معنایی
• 42. استفاده از Cross-Encoder برای Reranking
• 43. انتخاب تعداد مناسب Candidateها برای Reranking
• 44. طراحی Retrieval Pipeline چندمرحله‌ای
• 45. مدیریت اسناد طولانی در Semantic Search
• 46. جست‌وجوی معنایی روی PDF و اسناد ساختاریافته
• 47. پردازش جداول و محتوای نیمه‌ساختاریافته
• 48. Semantic Search چندزبانه
• 49. انتخاب Embedding Model برای زبان فارسی
• 50. چالش‌های Embedding متن فارسی
• 51. مدیریت تفاوت زبان‌ها در فضای برداری
• 52. جست‌وجوی Cross-Lingual
• 53. مدیریت Queryهای فارسی و انگلیسی
• 54. ساخت Semantic Search برای داده‌های سازمانی
• 55. امنیت و کنترل دسترسی در Vector Search
• 56. مدیریت داده‌های حساس در پایگاه برداری
• 57. به‌روزرسانی بلادرنگ Indexهای برداری
• 58. مدیریت حذف و تغییر اسناد در Index
• 59. طراحی معماری مقیاس‌پذیر برای Vector Database
• 60. Partitioning و Sharding داده‌های برداری
• 61. Replication و High Availability
• 62. مدیریت حجم بالای Embeddingها
• 63. کاهش حافظه مصرفی Vector Index
• 64. Vector Quantization و فشرده‌سازی Embedding
• 65. بهینه‌سازی سرعت Query
• 66. بهینه‌سازی Latency در Semantic Search
• 67. بهینه‌سازی Throughput سیستم جست‌وجو
• 68. کش کردن Embedding و نتایج جست‌وجو
• 69. Batch Processing برای تولید Embedding
• 70. پردازش موازی Pipeline جست‌وجو
• 71. اندازه‌گیری کیفیت نتایج Semantic Search
• 72. معیارهای Precision و Recall در جست‌وجوی معنایی
• 73. معیارهای MRR و NDCG برای ارزیابی Retrieval
• 74. ساخت Dataset ارزیابی برای Semantic Search
• 75. طراحی تست‌های Retrieval
• 76. تحلیل خطاهای جست‌وجوی معنایی
• 77. تشخیص Queryهای شکست‌خورده
• 78. بهبود Chunking بر اساس نتایج ارزیابی
• 79. بهبود Embedding Model بر اساس داده واقعی
• 80. بهینه‌سازی Top-K و Threshold شباهت
• 81. مقایسه مدل‌های مختلف Embedding
• 82. مانیتورینگ Vector Database
• 83. پایش کیفیت Retrieval در محیط Production
• 84. ثبت و تحلیل Queryهای کاربران
• 85. مدیریت هزینه زیرساخت Semantic Search
• 86. طراحی Semantic Search برای مقیاس Production
• 87. اتصال Semantic Search به RAG
• 88. استفاده از Vector Database در معماری RAG
• 89. طراحی Retrieval مناسب برای LLM
• 90. کنترل Context و جلوگیری از بازیابی اطلاعات نامرتبط
• 91. ساخت یک پروژه کامل Semantic Search از صفر تا Production