دوره الگوهای طراحی برای مدیریت داده‌های حجیم، جریان‌های داده و پردازش داده‌های لحظه‌ای (Real-time Data Processing) همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره الگوهای طراحی برای مدیریت داده‌های حجیم، جریان‌های داده و پردازش داده‌های لحظه‌ای (Real-time Data Processing)

موضوع کلی: برنامه نویسی

موضوع میانی: برنامه‌نویسی شیءگرا (OOP)

📋 سرفصل‌های دوره

• 1. معماری لایه‌ای در سیستم‌های داده‌های حجیم
• 2. الگوی Lambda برای پردازش دسته‌ای و لحظه‌ای
• 3. الگوی Kappa برای پردازش جریان یکپارچه
• 4. مفاهیم بنیادین جریان‌های داده (Data Streams)
• 5. مدل انتشار-اشتراک در جریان‌های داده
• 6. صف‌های پیام و معماری ناهمگام
• 7. مدیریت بافر و پشت‌پرده‌سازی در جریان‌ها
• 8. پردازش پنجره‌ای (Windowing) در جریان‌های لحظه‌ای
• 9. انواع پنجره‌های زمانی و شمارشی
• 10. مدیریت تأخیر و ترتیب در جریان‌ها
• 11. سمانتیک‌های تحویل پیام (At-most-once, At-least-once, Exactly-once)
• 12. مدل‌های سازگاری در پردازش توزیع‌شده
• 13. مقاوم‌سازی در برابر خطا در جریان‌های داده
• 14. بازیابی وضعیت پس از خرابی
• 15. معماری رویدادمحور (Event-driven Architecture)
• 16. منبع‌یابی رویداد (Event Sourcing)
• 17. الگوی CQRS در سیستم‌های داده‌های حجیم
• 18. جداسازی خواندن و نوشتن در داده‌های لحظه‌ای
• 19. ذخیره‌سازی داده‌های سری زمانی
• 20. فشرده‌سازی و رمزگذاری کارآمد در جریان‌ها
• 21. پارتیشن‌بندی و توزیع داده در خوشه‌ها
• 22. تکنیک‌های توزیع بار و مقیاس‌پذیری افقی
• 23. مدیریت کلان داده با معماری ستونی
• 24. فشرده‌سازی در ستون‌ها و کاهش حجم
• 25. شاخص‌گذاری در داده‌های جریانی
• 26. پردازش جریان‌های بی‌نهایت (Unbounded Streams)
• 27. مدیریت وضعیت در پردازش حالت‌دار
• 28. پایگاه‌های داده درون‌حافظه‌ای برای پردازش لحظه‌ای
• 29. ساختارهای داده توزیع‌شده برای جریان‌ها
• 30. الگوی نقشه-کاهش در پردازش دسته‌ای
• 31. بهینه‌سازی وظایف نقشه و کاهش
• 32. الگوی Micro-batching برای جریان‌ها
• 33. مدیریت وابستگی‌ها و ترتیب پردازش
• 34. معماری بدون سرور (Serverless) برای داده
• 35. مدیریت ابرداده در سیستم‌های حجیم
• 36. کاتالوگ داده و کشف خودکار
• 37. خط‌سیر داده (Data Lineage) و ردیابی تغییرات
• 38. نمونه‌گیری و کاهش نرخ در جریان‌ها
• 39. فیلتر کردن و تبدیل در خط لوله داده
• 40. ادغام جریان‌های چندگانه (Stream Joins)
• 41. همبستگی زمانی بین جریان‌ها
• 42. الگوی پنجره‌های کشویی برای محاسبات پیوسته
• 43. تشخیص ناهنجاری در جریان‌های لحظه‌ای
• 44. مدیریت پیکربندی پویا در سیستم‌های جریانی
• 45. تست و اشکال‌زدایی خطوط لوله داده
• 46. نظارت و مانیتورینگ عملکرد جریان‌ها
• 47. مدیریت امنیت و دسترسی در داده‌های حجیم
• 48. رمزگذاری داده‌ها در حال انتقال و ذخیره
• 49. مدیریت کلیدها و گواهی‌ها در معماری توزیع‌شده
• 50. بهینه‌سازی مصرف حافظه و پردازنده
• 51. مدیریت هزینه در سیستم‌های داده‌های حجیم
• 52. مقیاس‌پذیری خودکار بر اساس بار
• 53. الگوی Circuit Breaker در سرویس‌های داده
• 54. مدیریت ترافیک و محدودسازی نرخ
• 55. ذخیره‌سازی موقت و کش‌سازی هوشمند
• 56. الگوی Bulkhead برای جداسازی خطا
• 57. مدیریت نسخه‌های داده و اسنپ‌شات
• 58. بازیابی پس از فاجعه و پشتیبان‌گیری
• 59. تغییرات طرحواره در جریان‌های داده
• 60. سازگاری با عقب در تغییرات طرحواره
• 61. الگوی داده‌های تغییرناپذیر (Immutable Data)
• 62. مدیریت چرخه عمر داده (Data Lifecycle)
• 63. حذف و بایگانی خودکار داده‌های قدیمی
• 64. یکپارچه‌سازی داده‌های ساخت‌یافته و نیمه‌ساخت‌یافته
• 65. پردازش جریان‌های لاگ و رویداد
• 66. تکنیک‌های زمان‌بندی و هماهنگی توزیع‌شده
• 67. الگوی Saga در تراکنش‌های توزیع‌شده
• 68. مدیریت تراکنش‌های بلندمدت
• 69. الگوی Outbox برای توزیع رویداد
• 70. مدیریت تکراری‌ها و حذف داده‌های تکراری
• 71. فشرده‌سازی و کوچک‌سازی وضعیت
• 72. الگوی Shuffle در پردازش توزیع‌شده
• 73. بهینه‌سازی شبکه در انتقال داده‌های حجیم
• 74. مدیریت بافرهای خروجی و ورودی
• 75. معماری Data Lakehouse
• 76. انتخاب ابزار متناسب با الگوی طراحی