دوره مدل‌سازی و طراحی برای جریان داده (Data Streaming) و پردازش بلادرنگ همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مدل‌سازی و طراحی برای جریان داده (Data Streaming) و پردازش بلادرنگ

موضوع کلی: برنامه نویسی

موضوع میانی: طراحی و مدل‌سازی داده

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش بلادرنگ
• 2. مقدمه‌ای بر جریان داده
• 3. مفاهیم پایه جریان داده
• 4. تفاوت بین پردازش دسته‌ای و بلادرنگ
• 5. کاربردها و سناریوهای جریان داده
• 6. چالش‌های پردازش بلادرنگ
• 7. اصول طراحی سیستم‌های بلادرنگ
• 8. مدل‌سازی داده برای جریان داده
• 9. مبانی مدل‌سازی داده سنتی
• 10. انواع مدل‌های داده
• 11. مقدمه‌ای بر مدل‌سازی داده رابطه‌ای
• 12. مقدمه‌ای بر مدل‌سازی داده NoSQL
• 13. مدل‌سازی داده برای پایگاه‌های داده اسنادی
• 14. مدل‌سازی داده برای پایگاه‌های داده کلید-مقدار
• 15. مدل‌سازی داده برای پایگاه‌های داده ستونی
• 16. مدل‌سازی داده برای پایگاه‌های داده گراف
• 17. انتخاب مدل داده مناسب برای جریان داده
• 18. مفاهیم کلیدی جریان داده
• 19. رویداد (Event) در جریان داده
• 20. پیام (Message) در جریان داده
• 21. کاربردهای رویداد
• 22. کاربردهای پیام
• 23. دنباله رویداد (Event Stream)
• 24. دنباله پیام (Message Stream)
• 25. ویژگی‌های دنباله رویداد
• 26. ویژگی‌های دنباله پیام
• 27. تحویل پیام (Message Delivery)
• 28. ضمانت تحویل (Delivery Guarantees)
• 29. حداقل یک بار (At-least-once)
• 30. حداکثر یک بار (At-most-once)
• 31. دقیقاً یک بار (Exactly-once)
• 32. تفاوت ضمانت‌های تحویل
• 33. اهمیت ضمانت تحویل در پردازش بلادرنگ
• 34. تأثیر ضمانت تحویل بر طراحی مدل داده
• 35. اصول طراحی مدل داده برای ضمانت‌های مختلف
• 36. مدل‌سازی برای شناسایی و حذف تکراری‌ها
• 37. تکنیک‌های شناسایی رویدادهای تکراری
• 38. مدل‌سازی برای حالت (Stateful Processing)
• 39. مدیریت وضعیت در جریان داده
• 40. انواع وضعیت (State)
• 41. حافظه پنهان (Cache) برای وضعیت
• 42. پایگاه داده موقت (Ephemeral Database) برای وضعیت
• 43. پایگاه داده دائمی (Persistent Database) برای وضعیت
• 44. نرمال‌سازی و دنرمال‌سازی در مدل‌سازی جریان داده
• 45. مزایا و معایب نرمال‌سازی
• 46. مزایا و معایب دنرمال‌سازی
• 47. استراتژی‌های مدل‌سازی داده برای کاهش تأخیر
• 48. بهینه‌سازی مدل داده برای سرعت
• 49. استفاده از داده‌های کم‌حجم
• 50. فشرده‌سازی داده‌ها در جریان
• 51. کدگذاری داده‌ها (Data Encoding)
• 52. فرمت‌های کدگذاری داده (Avro, Protobuf, JSON, Parquet)
• 53. انتخاب فرمت کدگذاری مناسب
• 54. مزایای Avro
• 55. مزایب Avro
• 56. مزایای Protobuf
• 57. معایب Protobuf
• 58. مزایای JSON
• 59. معایب JSON
• 60. مزایای Parquet
• 61. معایب Parquet
• 62. مدل‌سازی داده برای تجزیه و تحلیل داده‌های تاریخی
• 63. مدل‌سازی داده برای داده‌های زنده
• 64. تکنیک‌های ترکیب جریان‌های داده
• 65. نگاشت (Mapping) و تبدیل (Transformation) داده‌ها
• 66. فیلتر کردن (Filtering) داده‌ها
• 67. تجمع (Aggregation) داده‌ها
• 68. دسته‌بندی (Grouping) داده‌ها
• 69. پیوستن (Joining) جریان‌های داده
• 70. انواع Join در جریان داده (Window Join, Stream-Stream Join)
• 71. پنجره‌بندی (Windowing) در جریان داده
• 72. انواع پنجره (Tumbling, Sliding, Session)
• 73. مدل‌سازی برای پنجره‌های زمانی
• 74. مدل‌سازی برای پنجره‌های مبتنی بر رویداد
• 75. پنجره‌های مبتنی بر شمارش
• 76. پنجره‌های مرکب
• 77. مدل‌سازی برای مدیریت رویدادهای خارج از ترتیب (Out-of-Order Events)
• 78. مدل‌سازی برای تشخیص ناهنجاری (Anomaly Detection)
• 79. مدل‌سازی برای سیستم‌های توصیه‌گر (Recommendation Systems)
• 80. مدل‌سازی برای اینترنت اشیا (IoT)
• 81. مدل‌سازی برای پردازش لاگ (Log Processing)
• 82. مدل‌سازی برای پردازش تراکنش‌های مالی
• 83. مدل‌سازی داده برای مفاهیم تأخیر (Latency)
• 84. مدل‌سازی داده برای مفاهیم توان عملیاتی (Throughput)
• 85. مدل‌سازی برای سیستم‌های توزیع شده
• 86. مفاهیم پردازش توزیع شده
• 87. ملاحظات مربوط به توزیع داده
• 88. مدل‌سازی برای اطمینان از سازگاری (Consistency)
• 89. سازگاری نهایی (Eventual Consistency)
• 90. سازگاری قوی (Strong Consistency)
• 91. تکنیک‌های مدل‌سازی برای رسیدن به سازگاری
• 92. مدل‌سازی برای تحمل خطا (Fault Tolerance)
• 93. مدل‌سازی برای بازیابی از خطا (Recovery)
• 94. ملاحظات امنیتی در مدل‌سازی جریان داده
• 95. رمزنگاری داده‌ها
• 96. احراز هویت و مجوز دسترسی
• 97. مدل‌سازی برای داده‌های حساس
• 98. ملاحظات مربوط به حریم خصوصی داده‌ها
• 99. قوانین و مقررات مربوط به داده‌ها (GDPR, CCPA)
• 100. طراحی schema registry