فلش‌کارت‌های آموزشی مهندسی ذخیره‌سازی ستونی و بهینه‌سازی پرس‌وجوهای تحلیلی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مهندسی ذخیره‌سازی ستونی و بهینه‌سازی پرس‌وجوهای تحلیلی

موضوع کلی: پایگاه داده‌های تحلیلی و مهندسی داده

موضوع میانی: ذخیره‌سازی ستونی و بهینه‌سازی اجرای پرس‌وجو

📋 سرفصل‌های دوره

• 1. مدل پردازش تحلیلی و الگوهای دسترسی به داده
• 2. تفاوت OLTP و OLAP از دیدگاه ذخیره‌سازی
• 3. معماری ذخیره‌سازی سطری در برابر ستونی
• 4. مزایا و محدودیت‌های خواندن ستونی
• 5. هزینهٔ نوشتن، به‌روزرسانی و حذف در ساختارهای ستونی
• 6. لایه‌های ذخیره‌سازی منطقی، فیزیکی و فرمت داده
• 7. بلوک، صفحه، نوار و Row Group
• 8. Column Chunk و فراداده‌های هر ستون
• 9. Late Materialization و تولید دیرهنگام ردیف
• 10. Vectorized Query Execution
• 11. SIMD و بهره‌گیری از Cache پردازنده
• 12. Pipeline اسکن، فیلتر و تصویرسازی ستون‌ها
• 13. Selection Vector و Position List
• 14. Materialization زودرس، دیرهنگام و انتخابی
• 15. اصول فشرده‌سازی در داده‌های ستونی
• 16. همبستگی، تکرار و ترتیب داده‌ها در فشرده‌سازی
• 17. Dictionary Encoding
• 18. Run-Length Encoding
• 19. Bit-Packing و Frame-of-Reference Encoding
• 20. Delta Encoding و Varint برای مقادیر عددی
• 21. نمایش مقادیر NULL و داده‌های تنک
• 22. کدگذاری رشته‌ها، شناسه‌ها و مقادیر پرتکرار
• 23. کدگذاری مقادیر تاریخ، زمان و اعشاری
• 24. سنجش نسبت فشرده‌سازی در برابر سرعت Decode
• 25. انتخاب تطبیقی کدگذاری برای هر ستون
• 26. انواع داده و اثر آن‌ها بر طرح فیزیکی
• 27. تکامل اسکیما و سازگاری نسخه‌های داده
• 28. مدل‌سازی داده‌های تودرتو، آرایه‌ای و تکرارشونده
• 29. ساختار فایل Parquet و سلسله‌مراتب Metadata
• 30. ساختار فایل ORC و Stripeهای ستونی
• 31. مدل حافظه‌ای Apache Arrow و انتقال برداری
• 32. مقایسه Parquet، ORC و Arrow در سناریوهای واقعی
• 33. انتخاب کدک‌های Snappy، Zstd، LZ4 و Gzip
• 34. اندازه‌گذاری صفحه، Row Group و Stripe
• 35. اثر ترتیب ستون‌ها در فشرده‌سازی و اجرا
• 36. مرتب‌سازی، خوشه‌بندی و Local Ordering
• 37. پارتیشن‌بندی بر اساس زمان و ابعاد کسب‌وکار
• 38. Bucketing، توزیع داده و کاهش Shuffle
• 39. Predicate Pushdown و انتقال فیلتر به لایه ذخیره‌سازی
• 40. Zone Map و فیلتر Min/Max
• 41. Bloom Filter و تست عضویت در داده‌های فشرده
• 42. Page Index، Statistics و فراداده‌های دقیق
• 43. مدیریت Catalog و Metadata در مقیاس بزرگ
• 44. طراحی Data Skipping متناسب با Workload
• 45. Projection Pruning و خواندن حداقل ستون‌ها
• 46. آمار ستونی برای برآورد کاردینالیته
• 47. Histogram، Sampling و تخمین توزیع مقادیر
• 48. چرخهٔ کامل تبدیل پرس‌وجو تا اجرای فیزیکی
• 49. بهینه‌سازی منطقی و قوانین بازنویسی جبری
• 50. بازنویسی Predicate، Projection و Subquery
• 51. انتخاب اپراتورهای فیزیکی برای ستون‌ها
• 52. مدل هزینه و پارامترهای CPU، I/O و حافظه
• 53. جست‌وجوی فضای طرح و انتخاب Plan
• 54. الگوریتم‌های Join در موتورهای ستونی
• 55. Vectorized Hash Join و ساختارهای داده سازگار با Cache
• 56. Merge Join روی ستون‌های مرتب
• 57. Runtime Filtering و کاهش داده هنگام Join
• 58. مدیریت Skew در Joinهای توزیع‌شده
• 59. استراتژی‌های Group By و Aggregation
• 60. Pushdown عملیات تجمیعی به اسکن
• 61. الگوریتم‌های مرتب‌سازی ستونی و Top-N
• 62. DISTINCT و تقریب Count Distinct
• 63. ترتیب ارزیابی Predicateها و Short-Circuiting
• 64. بهینه‌سازی Expression و اجرای UDFها
• 65. بهینه‌سازی Join Order در پرس‌وجوهای چندجدولی
• 66. Parallel Scan و تقسیم کار بین هسته‌ها
• 67. Intra-Query Parallelism و هماهنگی مرحله‌ها
• 68. Distributed Shuffle و هزینهٔ جابه‌جایی داده
• 69. Partition Pruning در سیستم‌های توزیع‌شده
• 70. مدیریت حافظه، Batch Size و Spill
• 71. Buffer Pool، Cache ستون‌ها و Locality
• 72. اجرای پرس‌وجو روی Object Storage
• 73. مشکل Small File و راهبردهای Compaction
• 74. مسیر نوشتن Append-Optimized و Micro-Batch
• 75. MVCC، Snapshot و به‌روزرسانی داده‌های ستونی
• 76. Delete Vector و Merge-on-Read در مقابل Copy-on-Write
• 77. Adaptive Query Execution و تغییر Plan هنگام اجرا
• 78. پایش و عیب‌یابی با EXPLAIN و Execution Plan
• 79. Benchmarkهای TPC-H و TPC-DS برای سیستم‌های ستونی
• 80. پروفایل‌گیری CPU، I/O، حافظه و Decode
• 81. طراحی فیزیکی داده با رویکرد Workload-Aware
• 82. مطالعه موردی: بهینه‌سازی جدول واقعیت بزرگ
• 83. مطالعه موردی: کاهش زمان و هزینهٔ پرس‌وجوهای ابری