فلش‌کارت‌های آموزشی تسلط بر Apache Kafka: از صفر تا قهرمانی در پردازش جریانی داده

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تسلط بر Apache Kafka: از صفر تا قهرمانی در پردازش جریانی داده

موضوع کلی: مهندسی داده

موضوع میانی: پردازش جریانی داده

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش جریانی داده و چالش‌های آن
• 2. معماری Apache Kafka: اجزا و مفاهیم کلیدی
• 3. نصب و راه‌اندازی Kafka: قدم به قدم
• 4. مفهوم Topic و Partition در Kafka
• 5. تولیدکننده (Producer) در Kafka: ارسال داده به Kafka
• 6. مصرف‌کننده (Consumer) در Kafka: دریافت داده از Kafka
• 7. گروه‌های مصرف‌کننده (Consumer Groups) و مدیریت مصرف
• 8. Kafka Brokers: مدیریت و پیکربندی
• 9. Zookeeper و نقش آن در Kafka
• 10. تنظیمات مهم Kafka برای عملکرد بهینه
• 11. Kafka Connect: اتصال به منابع داده خارجی
• 12. Kafka Streams: پردازش جریانی داده در Kafka
• 13. پایپ‌لاین‌های ساده Kafka Streams
• 14. تبدیل و فیلتر کردن داده‌ها با Kafka Streams
• 15. تجمع‌سازی (Aggregation) داده‌ها با Kafka Streams
• 16. Join کردن استریم‌ها در Kafka Streams
• 17. Kafka Connectors: آشنایی با کانکتورهای رایج
• 18. ساخت کانکتور سفارشی برای Kafka Connect
• 19. مانیتورینگ Kafka با ابزارهای مختلف
• 20. عیب‌یابی مشکلات رایج Kafka
• 21. امنیت در Kafka: احراز هویت و مجوز دسترسی
• 22. Kafka ACLs: مدیریت دسترسی
• 23. Kafka و Kubernetes: استقرار و مدیریت Kafka در Kubernetes
• 24. Kafka و Cloud: استفاده از Kafka در محیط ابری
• 25. مقایسه Kafka با سایر سیستم‌های پردازش جریانی (Flink, Spark Streaming)
• 26. بهینه‌سازی عملکرد Kafka: تنظیمات پیشرفته
• 27. مدیریت لاگ‌ها در Kafka
• 28. Kafka و Schema Registry: مدیریت Schema
• 29. استفاده از Avro و Protobuf با Kafka
• 30. پیاده‌سازی یک سیستم پردازش جریانی داده Real-Time با Kafka
• 31. سناریوهای کاربردی Kafka در صنعت
• 32. Kafka برای ثبت وقایع (Event Logging)
• 33. Kafka برای تحلیل رفتار کاربران
• 34. Kafka برای مانیتورینگ سیستم‌ها
• 35. Kafka برای پردازش تراکنش‌های مالی
• 36. مقدمه‌ای بر Kafka Improvement Proposals (KIPs)
• 37. آینده Kafka و ترندهای جدید
• 38. Kafka و Machine Learning
• 39. استفاده از Kafka برای Data Pipeline
• 40. Kafka و CDC (Change Data Capture)