فلش‌کارت‌های آموزشی آموزش جامع پردازش داده‌های جریانی و دسته‌ای با Apache Beam

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره آموزش جامع پردازش داده‌های جریانی و دسته‌ای با Apache Beam

موضوع کلی: علوم داده و مهندسی کلان‌داده (Big Data)

موضوع میانی: پردازش موازی و توزیع‌شده داده‌های حجیم

📋 سرفصل‌های دوره

• 1. مفاهیم پایه و معماری پردازش داده‌های حجیم
• 2. آشنایی با مدل برنامه‌نویسی Apache Beam
• 3. نصب و راه‌اندازی محیط توسعه Apache Beam
• 4. ساختار مدل داده‌ای در Apache Beam
• 5. بررسی مفهوم PCollection در پردازش داده‌ها
• 6. عملیات تبدیل داده با PTransform
• 7. مدیریت خط لوله‌های داده با Pipeline
• 8. کار با منبع داده‌ها در PBegin
• 9. خروجی گرفتن از داده‌ها با PEnd
• 10. کاربرد Map در پردازش موازی
• 11. استفاده از FlatMap برای شکستن رکوردها
• 12. فیلتر کردن داده‌ها با ParDo
• 13. تجمیع داده‌ها با استفاده از Combine
• 14. گروه‌بندی داده‌ها با GroupByKey
• 15. درک مفهوم CoGroupByKey برای اتصال مجموعه‌ها
• 16. کار با پنجره‌های زمانی در پردازش جریانی
• 17. پنجره‌بندی ثابت در داده‌های حجیم
• 18. پنجره‌بندی لغزان برای تحلیل‌های زمانی
• 19. پنجره‌بندی Session برای تحلیل رفتار کاربر
• 20. مفهوم Watermark در مدیریت تأخیر داده‌ها
• 21. مدیریت داده‌های خارج از ترتیب در جریان‌ها
• 22. استفاده از Triggers برای کنترل خروجی‌ها
• 23. کار با Accumulation Modes
• 24. مفهوم Side Inputs در پردازش داده‌ها
• 25. بهینه‌سازی عملکرد با Side Outputs
• 26. کار با IO Connectorها در سیستم‌های توزیع‌شده
• 27. اتصال به پایگاه‌های داده رابطه‌ای
• 28. کار با سیستم‌های فایل توزیع‌شده
• 29. خواندن و نوشتن در Apache Kafka
• 30. یکپارچه‌سازی با سرویس‌های ابری
• 31. تست واحد در خط لوله‌های Apache Beam
• 32. اشکال‌زدایی و مانیتورینگ خط لوله‌ها
• 33. مدیریت خطا در پردازش‌های توزیع‌شده
• 34. تنظیمات پیکربندی Runnerها
• 35. اجرا بر روی Apache Flink
• 36. اجرا بر روی Apache Spark
• 37. اجرا بر روی Google Cloud Dataflow
• 38. مدیریت حافظه در پردازش‌های سنگین
• 39. مقیاس‌پذیری افقی در کلاسترهای داده
• 40. بهینه‌سازی عملیات Shuffle
• 41. تکنیک‌های کاهش حجم داده‌های میانی
• 42. طراحی معماری خط لوله‌های Lambda
• 43. طراحی معماری خط لوله‌های Kappa
• 44. پیاده‌سازی الگوریتم‌های شمارش در جریان
• 45. تحلیل داده‌های آماری در زمان واقعی
• 46. امنیت در انتقال و پردازش داده‌ها
• 47. رعایت اصول حریم خصوصی در کلان‌داده
• 48. مستندسازی و نگهداری خط لوله‌های داده
• 49. پروژه عملی تحلیل لاگ‌های سیستم
• 50. پروژه عملی پردازش داده‌های حسگرهای اینترنت اشیاء
• 51. به‌کارگیری بهترین شیوه‌های توسعه در Apache Beam