فلش‌کارت‌های آموزشی تسلط بر Apache Beam و Apache Pulsar: پردازش جریان بلادرنگ و پایدار

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تسلط بر Apache Beam و Apache Pulsar: پردازش جریان بلادرنگ و پایدار

موضوع کلی: مهندسی داده و پردازش جریان

موضوع میانی: پردازش جریان داده در مقیاس بزرگ

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش جریان داده
• 2. چالش‌های پردازش جریان داده در مقیاس بزرگ
• 3. معماری Apache Beam: یک نمای کلی
• 4. مفهوم Pipeline در Apache Beam
• 5. Transformations در Apache Beam: مقدمه‌ای
• 6. انواع Transformation ها: Map, FlatMap, Filter
• 7. PCollection ها در Apache Beam: ساختار داده اصلی
• 8. Windowing در Apache Beam: پردازش داده‌های مبتنی بر زمان
• 9. Triggers در Apache Beam: کنترل زمان فعال‌سازی محاسبات
• 10. Aggregations در Apache Beam: محاسبه آمارهای جمعی
• 11. Side Inputs در Apache Beam: تزریق داده‌های اضافی به Pipeline
• 12. I/O Connectors در Apache Beam: خواندن و نوشتن داده‌ها
• 13. استفاده از Apache Beam با منابع داده مختلف
• 14. معرفی Apache Pulsar: یک پلتفرم پیام‌رسانی توزیع‌شده
• 15. معماری Apache Pulsar: Brokers, Bookies, ZooKeeper
• 16. موضوعات و پارتیشن‌ها در Apache Pulsar
• 17. مفهوم Published و Subscription در Pulsar
• 18. مدل‌های مصرف داده در Apache Pulsar: Exclusive, Shared, Failover
• 19. استفاده از PulsarIO در Apache Beam
• 20. اتصال Apache Beam به Pulsar به عنوان منبع داده
• 21. اتصال Apache Beam به Pulsar به عنوان مقصد داده
• 22. پردازش رویدادها از Pulsar با استفاده از Beam
• 23. پیاده‌سازی Windowing و Aggregation با Pulsar و Beam
• 24. مدیریت state در Apache Beam
• 25. Checkpointing و Fault Tolerance در Apache Beam
• 26. استفاده از Beam برای ساخت pipelines با قابلیت اطمینان بالا
• 27. مقایسه Apache Beam با سایر فریم‌ورک‌های پردازش جریان
• 28. بهینه‌سازی عملکرد Pipeline های Beam
• 29. مقدمه‌ای بر testing و debugging Pipeline های Beam
• 30. نظارت و مانیتورینگ Pipeline های Beam در محیط Production
• 31. استفاده از Beam برای پردازش stream های unbounded
• 32. پیاده‌سازی late-data handling در Beam
• 33. استفاده از Watermarks در Beam
• 34. معرفی Beam SDK های مختلف (Java, Python, Go)
• 35. نوشتن تست‌های Unit برای Pipeline های Beam
• 36. استفاده از Docker برای اجرای Pipeline های Beam
• 37. استقرار Pipeline های Beam در Kubernetes
• 38. مقایسه Pulsar با Kafka
• 39. موارد استفاده واقعی از Apache Beam و Apache Pulsar
• 40. بهترین روش‌ها برای طراحی Pipeline های Beam
• 41. عیب‌یابی رایج‌ترین مشکلات Beam و Pulsar
• 42. امنیت در Apache Beam و Apache Pulsar
• 43. مقیاس‌پذیری Apache Beam و Apache Pulsar
• 44. یکپارچه‌سازی Beam و Pulsar با سایر ابزارهای اکوسیستم داده
• 45. آشنایی با Beam SQL
• 46. استفاده از Beam برای پردازش داده‌های IoT
• 47. استفاده از Beam برای پردازش لاگ‌ها
• 48. استفاده از Beam برای پردازش داده‌های مالی
• 49. نکات پیشرفته‌تری برای بهینه‌سازی Pulsar
• 50. استفاده از Pulsar Functions
• 51. طراحی معماری stream processing با Beam و Pulsar