فلش‌کارت‌های آموزشی طراحی و پیاده‌سازی سیستم‌های پردازش دادهٔ جریانی (Streaming Data Processing)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره طراحی و پیاده‌سازی سیستم‌های پردازش دادهٔ جریانی (Streaming Data Processing)

موضوع کلی: فناوری اطلاعات و مهندسی نرم‌افزار

موضوع میانی: معماری نرم‌افزار و سیستم‌های توزیع‌شده

📋 سرفصل‌های دوره

• 1. مبانی پردازش داده‌های جریانی
• 2. مفاهیم کلیدی سیستم‌های توزیع‌شده
• 3. معماری‌های پردازش دادهٔ جریانی
• 4. انتخاب ابزار مناسب برای پردازش جریانی
• 5. مقدمه‌ای بر Apache Kafka
• 6. نصب و پیکربندی Kafka
• 7. مفاهیم اصلی Kafka (تاپیک، پارتیشن، تولیدکننده، مصرف‌کننده)
• 8. تولیدکنندگان پیام در Kafka
• 9. مصرف‌کنندگان پیام در Kafka
• 10. مدیریت وضعیت در پردازش جریانی
• 11. مقدمه‌ای بر Apache Flink
• 12. مفاهیم اصلی Flink (عملیات، جریان‌ها، مجموعه داده‌ها)
• 13. توسعهٔ برنامه‌های Flink
• 14. مدیریت حالت در Flink
• 15. تضمین‌های پردازش در Flink
• 16. تایم‌لپس در Flink
• 17. تکنیک‌های پردازش رویدادهای خارج از ترتیب
• 18. مقدمه‌ای بر Apache Spark Streaming
• 19. Spark Streaming در مقابل Structured Streaming
• 20. نوشتن برنامه‌های Spark Streaming
• 21. مدیریت حالت در Spark Streaming
• 22. تضمین‌های پردازش در Spark Streaming
• 23. مقدمه‌ای بر سیستم‌های پیام‌رسانی دیگر (RabbitMQ, Pulsar)
• 24. مقایسهٔ سیستم‌های پیام‌رسانی
• 25. طراحی معماری مبتنی بر رویداد
• 26. الگوهای معماری سیستم‌های توزیع‌شده
• 27. مقیاس‌پذیری در سیستم‌های جریانی
• 28. تاب‌آوری در سیستم‌های جریانی
• 29. تضمین‌های کیفیت سرویس (QoS)
• 30. مدیریت خطا و بازیابی
• 31. مانیتورینگ و لاگینگ سیستم‌های جریانی
• 32. امنیت در سیستم‌های پردازش جریانی
• 33. رمزنگاری داده‌ها در حال انتقال
• 34. کنترل دسترسی و احراز هویت
• 35. مقدمه‌ای بر پایگاه‌های دادهٔ NoSQL
• 36. پایگاه‌های دادهٔ ستونی برای داده‌های جریانی
• 37. پایگاه‌های دادهٔ کلید-مقدار برای داده‌های جریانی
• 38. پایگاه‌های دادهٔ گراف برای تحلیل روابط
• 39. پردازش داده‌های مکانی-زمانی
• 40. تحلیل احساسات داده‌های جریانی
• 41. پیش‌بینی روندها در داده‌های جریانی
• 42. تشخیص ناهنجاری در داده‌های جریانی
• 43. سیستم‌های توصیه‌گر مبتنی بر دادهٔ جریانی
• 44. بهینه‌سازی عملکرد پردازش جریانی
• 45. تکنیک‌های کشینگ در سیستم‌های جریانی
• 46. انتخاب الگوریتم‌های مناسب پردازش
• 47. موازات‌سازی و موازی‌سازی در پردازش جریانی
• 48. مدیریت منابع در محیط‌های ابری
• 49. استقرار سیستم‌های پردازش جریانی
• 50. استفاده از Docker و Kubernetes
• 51. خودکارسازی استقرار و مدیریت
• 52. تست واحد و یکپارچه‌سازی در سیستم‌های جریانی
• 53. تست بارگذاری و عملکرد
• 54. تکنیک‌های اشکال‌زدایی پیشرفته
• 55. اصول طراحی API برای سرویس‌های جریانی
• 56. مستندسازی API
• 57. مدیریت نسخه‌بندی API
• 58. انطباق با مقررات حفاظت از داده‌ها (GDPR)
• 59. استانداردهای امنیتی در پردازش داده
• 60. روش‌های اعتبارسنجی داده‌های ورودی
• 61. پاکسازی داده‌های جریانی
• 62. تبدیل داده‌ها در پردازش جریانی
• 63. فشرده‌سازی داده‌ها برای انتقال
• 64. انتقال داده‌ها با کمترین تأخیر
• 65. مدیریت داده‌های بزرگ (Big Data)
• 66. اکوسیستم Hadoop و پردازش جریانی
• 67. مقایسهٔ Hadoop با پلتفرم‌های مدرن
• 68. پردازش بلادرنگ در مقابل پردازش نزدیک به بلادرنگ
• 69. پیاده‌سازی داشبوردهای زنده
• 70. تحلیل لاگ‌های سیستم‌ها
• 71. پردازش داده‌های IoT (اینترنت اشیاء)
• 72. سیستم‌های تشخیص تقلب
• 73. موتورهای جستجوی زنده
• 74. پردازش داده‌های صوتی و تصویری
• 75. مقدمه‌ای بر یادگیری ماشین در پردازش جریانی
• 76. آموزش مدل‌های یادگیری ماشین بر روی داده‌های زنده
• 77. استقرار مدل‌های یادگیری ماشین در خطوط لولهٔ جریانی
• 78. بازآموزی مدل‌ها با داده‌های جدید
• 79. کاربردها در صنعت مالی
• 80. کاربردها در صنعت مخابرات
• 81. کاربردها در صنعت خرده‌فروشی
• 82. کاربردها در صنعت بهداشت و درمان
• 83. مطالعهٔ موردی: Spotify
• 84. طراحی سیستم پردازش دادهٔ Spotify
• 85. چالش‌های مقیاس‌پذیری در Spotify
• 86. نقش معماری رویداد در Spotify
• 87. جمع‌آوری و پردازش داده‌های کاربران
• 88. تحلیل رفتار کاربران در Spotify
• 89. سیستم‌های توصیه‌گر در Spotify
• 90. پیاده‌سازی خطوط لولهٔ داده در Spotify
• 91. آیندهٔ پردازش داده‌های جریانی
• 92. روندهای نوظهور در پردازش جریانی
• 93. هوش مصنوعی در پردازش جریانی
• 94. پردازش لبه (Edge Computing)
• 95. معماری‌های Serverless برای پردازش جریانی
• 96. تکنیک‌های بهینه‌سازی هزینه در پردازش جریانی
• 97. اخلاق در پردازش داده‌های جریانی
• 98. مسئولیت‌پذیری در سیستم‌های خودکار