دوره تسلط بر پردازش جریانی داده با Apache Kafka و Flink همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تسلط بر پردازش جریانی داده با Apache Kafka و Flink

موضوع کلی: مهندسی داده

موضوع میانی: پردازش جریانی

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش جریانی داده
• 2. چرا پردازش جریانی؟ مقایسه با پردازش دسته‌ای
• 3. معماری سیستم‌های پردازش جریانی
• 4. مفاهیم کلیدی: رویداد، جریان، پنجره‌بندی
• 5. Apache Kafka: معرفی و نصب
• 6. Kafka: تولید و مصرف پیام
• 7. Kafka: پارتیشن‌بندی، تکرارپذیری و تحمل خطا
• 8. Kafka: تنظیمات پیکربندی کلیدی
• 9. Kafka Connect: یکپارچه‌سازی با منابع داده مختلف
• 10. Kafka Streams: پردازش جریانی ساده با Kafka
• 11. Flink: معرفی و نصب
• 12. Flink: هسته و معماری
• 13. Flink: DataStream API
• 14. Flink: Transformations و Operators
• 15. پنجره‌بندی در Flink: Tumbling Windows، Sliding Windows، Session Windows
• 16. مدیریت State در Flink
• 17. Checkpointing و Savepointing در Flink
• 18. پردازش رویدادهای خارج از ترتیب (Out-of-Order Events)
• 19. Fault Tolerance در Flink
• 20. Kafka و Flink: یکپارچه‌سازی کامل
• 21. پایپ‌لاین‌های پردازش جریانی با Kafka و Flink
• 22. مانیتورینگ و لاگینگ در سیستم‌های پردازش جریانی
• 23. بهینه‌سازی عملکرد Flink
• 24. استفاده از Flink برای تشخیص تقلب (Fraud Detection)
• 25. استفاده از Flink برای تحلیل رفتار کاربر (User Behavior Analytics)
• 26. استفاده از Flink برای مانیتورینگ سیستم (System Monitoring)
• 27. استفاده از Flink برای اینترنت اشیا (IoT)
• 28. استفاده از Flink برای پردازش داده‌های مالی
• 29. معرفی Apache Beam و مقایسه با Flink
• 30. استفاده از Kafka برای Logging و Event Sourcing
• 31. Kafka و Kubernetes: استقرار و مدیریت
• 32. Flink و Kubernetes: استقرار و مدیریت
• 33. پیاده‌سازی یک سیستم پردازش جریانی ساده با Python و Kafka
• 34. پیاده‌سازی یک سیستم پردازش جریانی با Java و Flink
• 35. آشنایی با Kafka Ecosystem: KSQL, Kafka REST Proxy
• 36. آشنایی با Flink Ecosystem: Table API, SQL
• 37. تحلیل Real-time Data با Flink SQL
• 38. امنیت در Kafka و Flink
• 39. بهترین روش‌ها برای طراحی سیستم‌های پردازش جریانی
• 40. مقایسه Kafka و RabbitMQ برای پردازش جریانی
• 41. مقایسه Flink و Spark Streaming
• 42. استفاده از Cloud Services برای پردازش جریانی (AWS Kinesis, Azure Stream Analytics, Google Cloud Dataflow)
• 43. آینده پردازش جریانی و ترندهای جدید