دوره پردازش برخط و جریانی داده‌ها: طراحی و پیاده‌سازی سیستم‌های جریان داده در مقیاس بزرگ همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پردازش برخط و جریانی داده‌ها: طراحی و پیاده‌سازی سیستم‌های جریان داده در مقیاس بزرگ

موضوع کلی: مهندسی داده و پردازش کلان‌داده

موضوع میانی: پردازش جریانی و معماری‌های برخط (Real-time Streaming Processing)

📋 سرفصل‌های دوره

• 1. مفاهیم پایه پردازش داده‌های برخط (Real-time Data Processing) و مقایسه آن با پردازش بچ (Batch)
• 2. معماری سیستم‌های مبتنی بر رویداد (Event-Driven Architecture) و فریم‌ورک‌های جریانی
• 3. شناخت مفاهیم Pub/Sub و معماری پیام‌رسانی در جریان‌های برخط
• 4. ورود و دریافت جریانی داده‌ها (Data Ingestion) از منابع متکثر
• 5. مدیریت و پیکربندی بروکرها و پارتیشن‌بندی جریان‌های داده
• 6. پیاده‌سازی تولیدکنندگان (Producers) و مصرف‌کنندگان (Consumers) داده‌های جریانی
• 7. مدیریت ترتیب پیام‌ها و تضمین تحویل داده‌ها (At-least-once, At-most-once, Exactly-once)
• 8. تکنیک‌های پنجره‌بندی داده‌ها (Tumbling, Sliding, Session Windows)
• 9. مدیریت زمان در پردازش جریانی: Event Time در برابر Processing Time و مفاهیم Watermarks
• 10. پردازش و تبدیل جریانی داده‌ها (Stateful and Stateless Transformations)
• 11. مدیریت وضعیت (State Management) و چک‌پوینت‌ها در خطوط لوله جریانی
• 12. ترکیب و الحاق جریان‌های داده (Stream-Stream and Stream-Table Joins)
• 13. غنی‌سازی برخط داده‌ها با ارجاع به داده‌های ایستا
• 14. ذخیره‌سازی و بازنویسی جریانی داده‌ها در دیتابیس‌ها و Data Lakeها
• 15. تحلیل و پردازش پیچیده رویدادها (Complex Event Processing - CEP)
• 16. مدیریت ناهماهنگی، تاخیر و داده‌های دیررس (Late Data Handling)
• 17. تکنیک‌های ذخیره‌سازی موقت و کشینگ پرسرعت داده‌های در حال حرکت
• 18. پایش، مانیتورینگ و متریک‌های کلیدی کارایی در سیستم‌های برخط
• 19. مدیریت فشار معکوس (Backpressure) و انباشت داده‌ها در پردازش جریانی
• 20. روش‌های رفع خطا، بازیابی خودکار و تحمل‌پذیری در برابر خطا (Fault Tolerance)
• 21. تست‌نویسی و اعتبارسنجی خودکار خطوط لوله پردازش برخط داده‌ها
• 22. تکنیک‌های بهینه‌سازی تاخیر (Latency) و افزایش توان پردازشی (Throughput)
• 23. ارزیابی و مدیریت مقیاس‌پذیری افقی سیستم‌های پردازش جریانی
• 24. پیاده‌سازی سناریوی عملی: طراحی معماری کامل پردازش داده‌های برخط در محیط واقعی