دوره Kafka: ادغام با Spark Streaming همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Kafka: ادغام با Spark Streaming

موضوع کلی: مدیریت داده و زیرساخت سیستم

موضوع میانی: Kafka

📋 سرفصل‌های دوره

• 1. درک مفاهیم هسته‌ای Kafka
• 2. معماری کلاستر Kafka
• 3. موضوعات و پارتیشن‌های Kafka
• 4. تکرارها و ISR در Kafka
• 5. تولیدکنندگان Kafka و API تولیدکننده
• 6. پیکربندی تنظیمات تولیدکننده
• 7. مبانی مصرف‌کننده Kafka
• 8. گروه‌های مصرف‌کننده و تعادل بار کاری
• 9. مدیریت آفست مصرف‌کننده
• 10. مانیتورینگ Lag مصرف‌کننده
• 11. پیکربندی Brokerهای Kafka
• 12. سیاست‌های نگهداری لاگ Kafka
• 13. سیاست‌های پاکسازی Kafka
• 14. اساس‌های ACL و امنیت Kafka
• 15. احراز هویت SSL/TLS برای Kafka
• 16. مکانیسم‌های احراز هویت SASL
• 17. مروری بر Schema Registry
• 18. استفاده از Avro با Kafka
• 19. ادغام Confluent Schema Registry
• 20. اساس‌های Kafka Connect
• 21. کانکتورهای Source Kafka Connect
• 22. کانکتورهای Sink Kafka Connect
• 23. توسعه کانکتورهای سفارشی Kafka
• 24. مروری بر Spark Streaming
• 25. مقایسه Spark Streaming با Structured Streaming
• 26. ریسیورهای Spark Streaming
• 27. ورودی DirectKafka
• 28. API‌های KafkaUtils و KafkaStream
• 29. استفاده از Structured Streaming با Kafka
• 30. خواندن موضوعات Kafka با DataFrames
• 31. گزینه‌های Query و Triggerهای جریان
• 32. واترمارکینگ و پردازش زمان رویداد
• 33. مدیریت رویدادهای خارج از ترتیب
• 34. مدیریت فشار عقب در Spark Streaming
• 35. چک‌پوینتینگ و مقاومت در برابر خطا
• 36. مدیریت State در Spark Streaming
• 37. عملیات Window روی جریان‌های Kafka
• 38. عملیات Aggregation و Join
• 39. تنظیمات عملکرد تولیدکنندگان Kafka
• 40. تنظیمات Fetch Size و نرخ مصرف‌کننده
• 41. تنظیمات Broker Kafka برای Throughput بالا
• 42. پیکربندی Executor و حافظه Spark
• 43. مانیتورینگ Kafka با JMX
• 44. مانیتورینگ متریک‌های Spark Streaming
• 45. استفاده از Prometheus و Grafana برای جریان‌ها
• 46. لاگ‌گذاری و عیب‌یابی ادغام Kafka
• 47. اشتباهات رایج در ادغام
• 48. آزمایش Kafka Spark Streaming
• 49. آزمایش واحد تولیدکنندگان Kafka
• 50. آزمایش یکپارچه با Kafka تعبیه‌شده
• 51. کاربردهای واقعی: پردازش رویداد
• 52. کاربردهای واقعی: تشخیص تقلب
• 53. کاربردهای واقعی: آنالیز کلیک‌استریم
• 54. کاربردهای واقعی: پایت‌ایو دیتا
• 55. کاربردهای واقعی: پایت‌ایو IoT
• 56. استقرار Kafka Spark Streaming روی Kubernetes
• 57. مقیاس‌گذاری کلاسترهای Kafka با KRaft
• 58. تولید مثل چند کلاستر Kafka به صورت جغرافیایی
• 59. بهترین‌های امنیتی برای جریان‌ها
• 60. احراز هویت OAuth و Token‑Based
• 61. رمزگذاری داده‌ها در انتقال
• 62. تدقیق و تطابق و رعایت مقررات
• 63. مهاجرت از Kafka 2.x به 3.x
• 64. ارتقاء نسخه‌های Spark همراه با Kafka
• 65. جدول سازگاری Kafka و Spark
• 66. در نظر گرفتن هزینه‌ها برای جریان‌های بزرگ
• 67. برنامه‌ریزی ظرفیت برای موضوعات Kafka
• 68. اندازه‌گیری جریان‌های Spark Streaming
• 69. استراتژی‌های بازیابی از خرابی
• 70. ساخت داشبورد Kafka‑Spark Streaming
• 71. هشدارهای خودکار برای خرابی‌های جریان
• 72. CI/CD برای برنامه‌های جریان
• 73. Infrastructure as Code برای Kafka
• 74. مدیریت تکامل Schema
• 75. استفاده از Kafka MirrorMaker برای تولید مثل
• 76. اجرای Kafka Streams برای Microservices
• 77. ادغام Kafka با Lambda و FaaS
• 78. معماری هیبرید ابری جریان
• 79. Edge Computing با Kafka و Spark
• 80. روندهای آینده در جریان‌های زمان واقعی
• 81. پروژه عملی: ساخت یک Pipeline کامل انتهای-to-انتهای