کتاب صوتی بهینه‌سازی Spark SQL

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی Spark SQL

موضوع کلی: مدیریت و تحلیل داده‌های کلان (Big Data)

موضوع میانی: بهینه‌سازی عملکرد موتورهای پرس‌وجوی توزیع‌شده

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر Spark SQL و معماری آن
• 2. نصب و پیکربندی Spark SQL
• 3. آشنایی با DataFrame و Dataset در Spark SQL
• 4. خواندن و نوشتن داده‌ها در فرمت‌های مختلف
• 5. انتخاب، فیلتر و مرتب‌سازی داده‌ها با Spark SQL
• 6. توابع جمعی و گروه‌بندی داده‌ها
• 7. پیوستن جداول (Join) در Spark SQL
• 8. زیرپرس‌وجوها (Subqueries) در Spark SQL
• 9. استفاده از عبارات شرطی (CASE WHEN)
• 10. توابع رشته‌ای در Spark SQL
• 11. توابع عددی در Spark SQL
• 12. توابع تاریخ و زمان در Spark SQL
• 13. تغییر ساختار داده‌ها با استفاده از Spark SQL
• 14. پارتیشن‌بندی داده‌ها برای بهبود عملکرد
• 15. بهینه‌سازی پرس‌وجوها با استفاده از caching
• 16. استفاده از Broadcast Join برای جداول کوچک
• 17. درک و استفاده از Execution Plan
• 18. تنظیم پارامترهای Spark SQL برای بهبود عملکرد
• 19. کار با UDF (User Defined Functions)
• 20. خواندن و نوشتن داده‌ها از Hive
• 21. ادغام Spark SQL با Hive Metastore
• 22. استفاده از Spark SQL برای پردازش داده‌های JSON
• 23. استفاده از Spark SQL برای پردازش داده‌های Parquet
• 24. استفاده از Spark SQL برای پردازش داده‌های Avro
• 25. کار با Window Functions در Spark SQL
• 26. توابع تحلیلی (Analytical Functions) در Spark SQL
• 27. استفاده از Spark SQL Streaming برای پردازش جریانی داده‌ها
• 28. بررسی و رفع خطاهای رایج در Spark SQL
• 29. نوشتن پرس‌وجوهای پیچیده با استفاده از CTE (Common Table Expressions)
• 30. بهینه‌سازی پرس‌وجوها با استفاده از Partition Pruning
• 31. درک و استفاده از Cost-Based Optimizer
• 32. استفاده از Spark SQL برای Data Wrangling
• 33. کار با داده‌های گمشده (Missing Data) در Spark SQL
• 34. تبدیل انواع داده‌ها در Spark SQL
• 35. استفاده از Spark SQL برای ایجاد گزارش‌ها
• 36. ادغام Spark SQL با ابزارهای BI (Business Intelligence)
• 37. نوشتن تست‌های واحد برای پرس‌وجوهای Spark SQL
• 38. استفاده از Spark SQL برای پردازش داده‌های جغرافیایی
• 39. کار با آرایه‌ها و ساختارهای پیچیده در Spark SQL
• 40. استفاده از Spark SQL برای Data Mining
• 41. شناسایی و رفع مشکلات Bottleneck در Spark SQL
• 42. استفاده از Spark SQL برای داده‌های بزرگ (Big Data)
• 43. استفاده از Spark SQL در محیط Cloud
• 44. استفاده از Spark SQL با زبان Scala
• 45. استفاده از Spark SQL با زبان Python