فلش‌کارت‌های آموزشی جامع تحلیل پیشرفته داده‌ها با Spark SQL و Scala (نسخه ۳)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره جامع تحلیل پیشرفته داده‌ها با Spark SQL و Scala (نسخه ۳)

موضوع کلی: علوم داده و مهندسی کلان‌داده (Big Data)

موضوع میانی: پردازش توزیع‌شده داده‌ها با استفاده از پلتفرم Apache Spark

📋 سرفصل‌های دوره

• 1. مبانی و معماری پردازش توزیع‌شده در Apache Spark
• 2. نصب و راه‌اندازی محیط توسعه Scala و Spark
• 3. آشنایی با ساختار SparkSession و نحوه اجرای اپلیکیشن‌ها
• 4. مفاهیم پایه RDD و تفاوت آن با Dataset و DataFrame
• 5. عملیات تبدیل و انتقال داده‌ها با Transformation و Action
• 6. کار با انواع داده‌های ساختاریافته در Spark SQL
• 7. مدیریت حافظه و بهینه‌سازی اجرای Jobها در کلاستر
• 8. اتصال به منابع داده خارجی شامل فایل‌های CSV و JSON
• 9. کار با فرمت‌های داده‌ای بهینه مانند Parquet و ORC
• 10. مقدمه‌ای بر زبان Scala برای تحلیل داده
• 11. توابع مرتبه بالا در Scala و کاربرد آن در پردازش داده
• 12. مدیریت خطاها و استثناها در برنامه‌های Spark
• 13. فیلتر کردن و انتخاب ستون‌ها در DataFrame API
• 14. توابع تجمعی و گروه‌بندی داده‌ها در Spark SQL
• 15. استفاده از توابع پنجره‌ای Window Functions برای تحلیل‌های زمانی
• 16. پیوستن جداول و مدیریت انواع Join در محیط توزیع‌شده
• 17. کار با توابع تعریف‌شده توسط کاربر UDF در Spark
• 18. بهینه‌سازی پرس‌وجوهای SQL با استفاده از Catalyst Optimizer
• 19. کار با جداول موقت و ویوهای منطقی در Spark
• 20. مدیریت پارتیشن‌بندی داده‌ها برای افزایش کارایی
• 21. بررسی مفهوم Shuffle و تأثیر آن بر عملکرد شبکه
• 22. استفاده از Spark UI برای مانیتورینگ و عیب‌یابی عملیات
• 23. کار با داده‌های حجیم در فرمت Avro
• 24. یکپارچه‌سازی Spark با سیستم‌های فایل توزیع‌شده
• 25. مقدمه‌ای بر پردازش جریانی داده با Structured Streaming
• 26. مدیریت وضعیت در پردازش‌های جریانی
• 27. کار با پنجره‌های زمانی در پردازش داده‌های زنده
• 28. اتصال به منابع داده‌ای مانند Kafka با استفاده از Spark
• 29. ذخیره‌سازی نتایج تحلیل در پایگاه‌های داده رابطه‌ای
• 30. بهینه‌سازی پرس‌وجوها با استفاده از Caching و Persistence
• 31. تحلیل آماری و توصیفی داده‌ها با استفاده از Spark
• 32. کار با کتابخانه‌های آماده برای عملیات ریاضی پیچیده
• 33. مبانی یادگیری ماشین با استفاده از Spark MLlib
• 34. پیش‌پردازش داده‌ها برای مدل‌های یادگیری ماشین
• 35. ارزیابی دقت مدل‌های پیاده‌سازی شده در مقیاس بزرگ
• 36. امنیت در اکوسیستم Spark و کنترل دسترسی به داده‌ها
• 37. تنظیمات پیشرفته Spark برای محیط‌های عملیاتی
• 38. استراتژی‌های تست و اشکال‌زدایی کدهای Scala در Spark
• 39. مستندسازی و استقرار پروژه‌های تحلیل داده
• 40. پروژه عملی: تحلیل داده‌های کلان با استفاده از Spark SQL