فلش‌کارت‌های آموزشی پردازش جریانی بلادرنگ: از رویدادهای لحظه‌ای تا سامانه‌های مقیاس‌پذیر

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پردازش جریانی بلادرنگ: از رویدادهای لحظه‌ای تا سامانه‌های مقیاس‌پذیر

موضوع کلی: پردازش داده و مهندسی داده

موضوع میانی: پردازش جریانی و معماری سامانه‌های بلادرنگ

📋 سرفصل‌های دوره

• 1. مبانی پردازش جریانی و تفاوت آن با پردازش دسته‌ای
• 2. مفهوم Event و جریان داده
• 3. معماری سامانه‌های Stream Processing
• 4. اجزای اصلی خط لوله پردازش جریانی
• 5. تولیدکنندگان و مصرف‌کنندگان داده
• 6. مدل‌های Push و Pull در جریان داده
• 7. کانال‌های انتقال و Message Brokerها
• 8. مفهوم Topic و Partition
• 9. کلیدگذاری و توزیع داده در جریان‌ها
• 10. پارتیشن‌بندی برای پردازش موازی
• 11. مدیریت Offset و موقعیت پردازش
• 12. تحویل پیام و Delivery Semantics
• 13. At-most-once و At-least-once Processing
• 14. Exactly-once Processing و چالش‌های آن
• 15. مدیریت ترتیب رویدادها
• 16. Event Time و Processing Time
• 17. Watermark و تشخیص کامل‌شدن بازه‌های زمانی
• 18. رویدادهای دیررس و Out-of-Order
• 19. مدیریت Backpressure در پردازش جریانی
• 20. پردازش Stateful و Stateless
• 21. مدیریت State در اپلیکیشن‌های جریانی
• 22. Checkpoint و بازیابی State
• 23. Fault Tolerance در Stream Processing
• 24. پردازش مجدد و Replay رویدادها
• 25. طراحی جریان‌های مقاوم در برابر خطا
• 26. تبدیل و فیلترکردن رویدادها
• 27. Enrichment و اتصال داده‌های جریانی
• 28. پردازش رویدادهای پیچیده
• 29. تجمیع داده‌های جریانی
• 30. Windowهای زمانی در پردازش جریانی
• 31. Tumbling Window
• 32. Sliding Window
• 33. Session Window
• 34. محاسبه شاخص‌ها در پنجره‌های زمانی
• 35. Join بین جریان‌های داده
• 36. Stream-Table Join
• 37. Stream-Stream Join
• 38. مدیریت State در Joinهای جریانی
• 39. ساخت Pipelineهای چندمرحله‌ای
• 40. مقیاس‌پذیری افقی پردازش جریانی
• 41. Load Balancing در پردازش جریان
• 42. Parallelism و تنظیم تعداد پردازشگرها
• 43. مدیریت منابع در پردازش بلادرنگ
• 44. Latency و Throughput در سامانه‌های جریانی
• 45. اندازه‌گیری و بهینه‌سازی Latency
• 46. مدیریت حجم بالای رویدادها
• 47. طراحی سامانه‌های Low-Latency
• 48. مدیریت Burstهای ناگهانی داده
• 49. Data Serialization در جریان‌ها
• 50. Schema Evolution در داده‌های رویدادی
• 51. اعتبارسنجی Schema رویدادها
• 52. مدیریت داده‌های خراب و رویدادهای نامعتبر
• 53. Dead Letter Queue در سامانه‌های جریانی
• 54. Idempotency و جلوگیری از پردازش تکراری
• 55. Deduplication در جریان داده
• 56. Transaction در پردازش جریانی
• 57. امنیت در Pipelineهای جریانی
• 58. احراز هویت و مجوزدهی برای جریان‌های داده
• 59. رمزنگاری داده‌های در حال انتقال
• 60. مانیتورینگ سامانه‌های Stream Processing
• 61. Metrics و شاخص‌های سلامت Pipeline
• 62. Logging و Distributed Tracing
• 63. تشخیص تأخیر و انباشت پیام‌ها
• 64. مدیریت خطا و Alerting
• 65. آزمون Pipelineهای پردازش جریانی
• 66. آزمون بار و Stress Testing
• 67. آزمون تحمل خطا و بازیابی
• 68. تست رفتار زمانی و رویدادهای دیررس
• 69. طراحی پردازش جریانی با Kafka
• 70. مبانی پردازش جریانی با Apache Flink
• 71. پردازش جریانی با Spark Structured Streaming
• 72. مقایسه ابزارهای Stream Processing
• 73. اتصال Stream Processing به پایگاه‌های داده
• 74. معماری Lambda و Kappa
• 75. طراحی Event-Driven Architecture
• 76. ساخت سامانه‌های بلادرنگ End-to-End
• 77. الگوهای طراحی برای پردازش جریانی مقیاس‌پذیر
• 78. بهینه‌سازی هزینه و مصرف منابع
• 79. طراحی برای Disaster Recovery
• 80. استراتژی‌های Migration در سامانه‌های جریانی
• 81. معماری چندمنطقه‌ای برای پردازش بلادرنگ
• 82. طراحی یک پروژه عملی Stream Processing