فلش‌کارت‌های آموزشی جامع تحلیل و پردازش هوشمند داده‌های حجیم با استفاده از Apache Spark 3.0

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره جامع تحلیل و پردازش هوشمند داده‌های حجیم با استفاده از Apache Spark 3.0

موضوع کلی: علوم داده و مهندسی کلان‌داده (Big Data)

موضوع میانی: پردازش توزیع‌شده و تحلیل بلادرنگ داده‌ها

📋 سرفصل‌های دوره

• 1. مبانی و معماری کلی اکوسیستم آپاچی اسپارک
• 2. نصب و راه‌اندازی محیط توسعه اسپارک در کلاستر
• 3. آشنایی با ساختار RDD و عملیات‌های تبدیل و اقدام
• 4. مدیریت حافظه و نحوه اجرای وظایف در اسپارک
• 5. کار با SparkSession و پیکربندی‌های اولیه
• 6. آشنایی با مفاهیم DataFrame و Dataset در اسپارک ۳
• 7. خواندن و نوشتن داده‌ها از منابع مختلف فایل
• 8. کار با فرمت‌های ذخیره‌سازی بهینه نظیر Parquet و ORC
• 9. عملیات‌های پایه بر روی ستون‌ها و داده‌های ساختاریافته
• 10. فیلتر کردن و مرتب‌سازی داده‌ها در مقیاس کلان
• 11. کار با توابع تجمعی و گروه‌بندی داده‌ها
• 12. پیاده‌سازی اتصالات بین جداول در اسپارک
• 13. کار با توابع پنجره‌ای جهت تحلیل‌های زمانی و رتبه‌بندی
• 14. مدیریت داده‌های گم‌شده و پاک‌سازی داده‌ها
• 15. آشنایی با Spark SQL و نوشتن کوئری‌های بهینه
• 16. بهینه‌سازی طرح اجرای کوئری با Catalyst Optimizer
• 17. مفهوم پارتیشن‌بندی و تأثیر آن بر کارایی پردازش
• 18. استراتژی‌های جلوگیری از Shuffle غیرضروری
• 19. کار با Broadcast Variables برای بهینه‌سازی اتصالات بزرگ
• 20. استفاده از Accumulators برای شمارش‌های توزیع‌شده
• 21. مبانی پردازش جریان‌های داده و مدل Structured Streaming
• 22. تفاوت پردازش دسته‌ای و پردازش بلادرنگ
• 23. کار با منابع ورودی جریانی در اسپارک
• 24. مدیریت پنجره‌های زمانی در جریان‌های داده
• 25. کار با Watermarking برای کنترل داده‌های دیرهنگام
• 26. مدیریت وضعیت در پردازش‌های جریانی
• 27. اتصال جریان‌های داده به پایگاه‌های داده عملیاتی
• 28. مانیتورینگ و مشاهده وضعیت اجرای Jobها
• 29. بررسی لاگ‌ها و عیب‌یابی در کلاستر اسپارک
• 30. بهینه‌سازی مصرف منابع در کلاسترهای YARN و Kubernetes
• 31. امنیت و کنترل دسترسی در محیط‌های پردازش داده
• 32. استفاده از کتابخانه‌های یادگیری ماشین در اسپارک
• 33. مقدمه‌ای بر پردازش گراف با GraphX
• 34. یکپارچه‌سازی اسپارک با سیستم‌های پیام‌رسان مانند Kafka
• 35. پیاده‌سازی یک خط لوله کامل پردازش داده‌های حجیم
• 36. تکنیک‌های تست و ارزیابی کدهای پردازش داده
• 37. مدیریت خطا و بازیابی در پردازش‌های توزیع‌شده
• 38. استفاده از فرمت Delta Lake برای مدیریت داده‌ها
• 39. تنظیمات پیشرفته برای افزایش توان عملیاتی
• 40. پروژه نهایی تحلیل داده‌های بلادرنگ با اسپارک و کافکا