فلش‌کارت‌های آموزشی معماری نرم‌افزار: Data Streaming with Kafka and Spark

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره معماری نرم‌افزار: Data Streaming with Kafka and Spark

موضوع کلی: برنامه نویسی

موضوع میانی: معماری نرم‌افزار

📋 سرفصل‌های دوره

• 1. معماری نرم‌افزار چیست؟
• 2. اهمیت معماری نرم‌افزار در سیستم‌های توزیع شده
• 3. نقش و مسئولیت‌های معمار نرم‌افزار
• 4. مقدمه‌ای بر سیستم‌های رویداد محور (Event-Driven Systems)
• 5. مفاهیم اصلی داده‌های جریانی (Streaming Data)
• 6. مقایسه پردازش دسته‌ای (Batch) و جریانی (Streaming)
• 7. چالش‌ها و مزایای معماری‌های داده جریانی
• 8. الگوهای رایج معماری داده جریانی
• 9. مفاهیم Real-time و Near Real-time در پردازش داده
• 10. مقدمه‌ای بر Apache Kafka: یک پلتفرم جریان رویداد
• 11. تاریخچه و فلسفه توسعه Apache Kafka
• 12. معماری کلی Kafka: Brokers, Producers, Consumers
• 13. مفهوم Zookeeper و نقش آن در Kafka
• 14. مفاهیم Topic و Partition در Kafka
• 15. درک Replication Factor و In-Sync Replicas (ISR)
• 16. مدیریت Topics با Command Line Interface (CLI)
• 17. نصب و راه‌اندازی Kafka به صورت تک نود
• 18. نصب و راه‌اندازی یک کلاستر Kafka
• 19. Kafka Producer API: ارسال پیام‌ها
• 20. تنظیمات مهم Producer: Acks, Batching, Linger Ms
• 21. Idempotent Producers و تضمین Exactly-Once Semantics (Producer Side)
• 22. Kafka Consumer API: دریافت پیام‌ها
• 23. مفهوم Consumer Groups و Load Balancing
• 24. مدیریت Offsetها: Commit استراتژی‌ها
• 25. Rebalancing Consumer Group و تاثیر آن
• 26. طراحی و انتخاب استراتژی Partitioning
• 27. امنیت در Kafka: Authentication با SASL
• 28. امنیت در Kafka: Authorization با ACLs
• 29. رمزگذاری ارتباطات با SSL/TLS در Kafka
• 30. مانیتورینگ Kafka با JMX و ابزارهای خارجی (Prometheus)
• 31. بهینه‌سازی عملکرد Kafka Broker
• 32. بهترین روش‌ها برای استفاده از Kafka در معماری‌های بزرگ
• 33. مقدمه‌ای بر Kafka Connect
• 34. انواع Connectors: Source و Sink
• 35. پیکربندی و استقرار Kafka Connectors
• 36. توسعه یک Custom Source Connector
• 37. توسعه یک Custom Sink Connector
• 38. مقدمه‌ای بر Kafka Streams: پردازش جریان داده
• 39. مفاهیم KStream و KTable
• 40. پردازش حالت‌مند (Stateful Processing) در Kafka Streams
• 41. عملیات Windowing: Tumbling, Hopping, Session Windows
• 42. Join کردن Streamها در Kafka Streams
• 43. مدیریت خطا و Fault Tolerance در Kafka Streams
• 44. مقدمه‌ای بر Kafka Schema Registry
• 45. استفاده از Avro و Protobuf با Kafka
• 46. اعتبار سنجی و تکامل Schema
• 47. مقدمه‌ای بر Apache Spark: یک موتور تحلیل داده توزیع شده
• 48. معماری Spark: Driver, Executor, Cluster Manager
• 49. مفاهیم RDD: Resilient Distributed Datasets
• 50. عملیات Transformation و Action در RDD
• 51. مفهوم Lazy Evaluation در Spark
• 52. Caching و Persistence RDD در حافظه و دیسک
• 53. Spark Core API برای پردازش داده
• 54. مقدمه‌ای بر Spark SQL: پردازش داده‌های ساختاریافته
• 55. مفاهیم DataFrame و Dataset
• 56. Catalyst Optimizer و Tungsten Engine
• 57. عملیات SQL بر روی DataFrameها
• 58. Spark Session و تنظیمات آن
• 59. مقدمه‌ای بر Spark Streaming (DStreams)
• 60. معماری DStreams و پردازش Micro-batch
• 61. انواع Source و Sink در Spark Streaming (DStreams)
• 62. عملیات Windowing و Stateful در DStreams
• 63. مدیریت خطا و Recovery در Spark Streaming (DStreams)
• 64. محدودیت‌ها و چالش‌های Spark Streaming (DStreams)
• 65. مقدمه‌ای بر Spark Structured Streaming
• 66. مدل برنامه‌نویسی "Unbounded Table" در Structured Streaming
• 67. Sources و Sinks در Structured Streaming
• 68. عملیات Transformation و Aggregation در Structured Streaming
• 69. Watermarking و مدیریت داده‌های دیرهنگام (Late Data)
• 70. Stateful Processing در Structured Streaming
• 71. Join کردن Streamها با Stream یا Batch در Structured Streaming
• 72. Triggerها و Output Mode در Structured Streaming
• 73. مانیتورینگ Jobهای Structured Streaming
• 74. مقدمه‌ای بر Spark MLlib: یادگیری ماشین با Spark
• 75. استقرار Spark در Standalone Mode
• 76. استقرار Spark در YARN
• 77. استقرار Spark در Kubernetes
• 78. بهینه‌سازی عملکرد Spark: Tuning Configuration
• 79. استفاده از Spark UI برای پایش و اشکال‌زدایی
• 80. بهترین روش‌ها برای طراحی برنامه‌های Spark
• 81. الگوهای ادغام Kafka و Spark در معماری‌های داده جریانی
• 82. استفاده از Spark Structured Streaming به عنوان Consumer از Kafka
• 83. پیکربندی Kafka Source در Structured Streaming
• 84. پردازش Real-time داده‌های Kafka با Structured Streaming
• 85. نوشتن نتایج پردازش Spark به Kafka (Kafka Sink)
• 86. معماری End-to-End یک Pipeline داده جریانی
• 87. مثال عملی: پیاده‌سازی Real-time Analytics Dashboard
• 88. استفاده از Schema Registry با Spark Structured Streaming
• 89. مانیتورینگ و پایش کامل Pipeline داده جریانی
• 90. مدیریت خطا و Fault Tolerance در سراسر معماری
• 91. استراتژی‌های Scalability برای Kafka و Spark
• 92. امنیت End-to-End در Pipelineهای داده جریانی
• 93. استقرار Kafka و Spark در پلتفرم Kubernetes
• 94. ابزارهای CI/CD برای استقرار و مدیریت Pipelineهای جریانی
• 95. معماری Lambda برای سیستم‌های داده بزرگ
• 96. معماری Kappa به عنوان جایگزین Lambda
• 97. مقایسه و انتخاب بین معماری Lambda و Kappa
• 98. چالش‌های طراحی معماری Large-scale Streaming
• 99. مدیریت Backpressure در سیستم‌های جریانی
• 100. انتخاب بین Kafka Streams و Spark Structured Streaming