اپلیکیشن اندرویدی فلش‌کارت آموزشی بهینه‌سازی پیشرفته Catalyst Optimizer برای طرح‌های پیچیده Spark

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی پیشرفته Catalyst Optimizer برای طرح‌های پیچیده Spark

موضوع کلی: بهینه‌سازی موتورهای پردازش داده‌های حجیم

موضوع میانی: تنظیم و بهینه‌سازی برنامه‌های تحلیلی در Apache Spark

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر کاتالیست آپتی‌مایزر در اسپارک
• 2. معماری درونی کاتالیست آپتی‌مایزر
• 3. مراحل تبدیل طرح منطقی به فیزیکی
• 4. درخت‌های طرح و نمایش داخلی
• 5. قوانین بهینه‌سازی مبتنی بر Rule-Based Optimization
• 6. پیش‌بینی هزینه در طرح‌های فیزیکی (Cost-Based Optimization)
• 7. مدیریت پروجکشن‌های اضافی و حذف ستون‌های بی‌استفاده
• 8. فیلتر پیش‌فشار (Predicate Pushdown) در لایه‌های مختلف
• 9. بازنویسی جوین‌ها با ترتیب‌بندی هوشمند (Join Reordering)
• 10. تشخیص و بهینه‌سازی جوین‌های Broadcast Hash Join
• 11. مدیریت جوین‌های Sort-Merge Join و تنظیم پارامترهای آن
• 12. استفاده از Bucketing برای کاهش داده‌های shuffle
• 13. بهینه‌سازی تجمیع‌های گروهی (Aggregate Optimization)
• 14. فشرده‌سازی و ادغام مراحل پروجکشن و فیلتر
• 15. بهینه‌سازی زیرپرس‌وجوها و Common Subexpression Elimination
• 16. مدیریت و تاخیر در ارزیابی (Lazy Evaluation) در کاتالیست
• 17. نقش دیتافریم‌ها و دیتاست‌ها در بهینه‌سازی طرح
• 18. تبدیل و بهینه‌سازی پرس‌وجوهای SQL به طرح اجرایی
• 19. مدیریت پارتیشن‌بندی در طرح‌های پیچیده
• 20. کاهش تعداد Shuffle در زنجیره عملیات
• 21. بهینه‌سازی Window Functions و عملیات تحلیلی
• 22. مدیریت Nullها و بهینه‌سازی شرط‌های پیچیده
• 23. تاثیر فشرده‌سازی و فرمت داده (Parquet/ORC) بر طرح
• 24. استفاده از Statistics جدول برای تخمین بهتر هزینه
• 25. تنظیم پارامترهای Spark SQL برای کنترل کاتالیست
• 26. اشکال‌زدایی و تحلیل طرح خروجی (Explain Plan)
• 27. شناسایی گلوگاه‌های اجرایی از روی طرح فیزیکی
• 28. بهینه‌سازی عملیات Sort و Order By
• 29. مدیریت و بهینه‌سازی Cartesian Join
• 30. استفاده از Hintهای صریح در SQL برای کاتالیست
• 31. تاثیر Adaptive Query Execution بر بهینه‌سازی
• 32. پیکربندی داینامیک پارتیشن‌ها در AQE
• 33. بهینه‌سازی Coalesce و Repartition در طرح
• 34. مدیریت حافظه و بافرینگ در زمان اجرای طرح
• 35. بهینه‌سازی عملیات UDF و توابع سفارشی
• 36. نقش Serialization در کارایی طرح‌های پیچیده
• 37. بهینه‌سازی جوین‌های Skewed با روش‌های پیشرفته
• 38. مدیریت داده‌های تکراری و Deduplication در طرح
• 39. بهینه‌سازی عملیات Pivot و Unpivot
• 40. مدیریت و بهینه‌سازی Subqueryهای همبسته
• 41. تاثیر Caching و Persistence بر بازنویسی طرح
• 42. بهینه‌سازی عملیات Set (Union, Intersect, Except)
• 43. مدیریت Joinهای چندمسیره (Multi-way Join)
• 44. بهینه‌سازی طرح‌های حاوی Star Schema
• 45. استفاده از Data Skipping و Bloom Filter در طرح
• 46. بهینه‌سازی عملیات String و Regex در Spark
• 47. مدیریت و بهینه‌سازی Timestamp و Date Functions
• 48. تاثیر تنظیمات Shuffle Partition بر طرح
• 49. بهینه‌سازی Dynamic Pruning در پارتیشن‌ها
• 50. مدیریت و کاهش Overhead در طرح‌های کوچک
• 51. بهینه‌سازی عملیات Nested Loop Join
• 52. استفاده از Delta Lake و Optimized Writes در طرح
• 53. بهینه‌سازی Merge و Upsert در طرح‌های تحلیلی
• 54. مدیریت و بهینه‌سازی عملیات Recursive Query
• 55. تاثیر Resource Management بر عملکرد کاتالیست
• 56. بهینه‌سازی طرح‌های حاوی Aggregation با سطوح چندگانه
• 57. مدیریت و بهینه‌سازی عملیات Sampling
• 58. بهینه‌سازی طرح‌های پیچیده با Joinهای طبیعی
• 59. استفاده از Metrics و Event Log برای تحلیل کاتالیست
• 60. بهینه‌سازی عملیات Map و FlatMap در DAG
• 61. مدیریت و بهینه‌سازی عملیات ZipWithIndex
• 62. بهینه‌سازی طرح‌های حاوی Grouping Sets و Rollup
• 63. مدیریت و بهینه‌سازی عملیات Explode
• 64. بهینه‌سازی طرح‌های حاوی JSON Parsing
• 65. بهینه‌سازی عملیات Collect و Take در طرح‌های بزرگ
• 66. مدیریت و بهینه‌سازی عملیات Random Split
• 67. بهینه‌سازی طرح‌های حاوی Array و Map Functions
• 68. مدیریت و بهینه‌سازی عملیات CrossJoin
• 69. بهینه‌سازی طرح‌های حاوی Conditional Expressions
• 70. مدیریت و بهینه‌سازی عملیات WithColumn