فلش‌کارت‌های آموزشی Kafka و Streaming داده‌ها برای ML

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Kafka و Streaming داده‌ها برای ML

موضوع کلی: مدیریت سیستم‌های مبتنی بر یونیکس

موضوع میانی: مدیریت سیستم‌های مدیریت داده‌های توزیع شده برای یادگیری ماشین (Distributed Data Management for Machine Learning)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر آپاچی کافکا
• 2. آشنایی با مفاهیم کلیدی استریمینگ داده
• 3. معماری کافکا: بروکِرها، توپیک‌ها و پارتیشن‌ها
• 4. نصب و راه‌اندازی کافکا در محیط محلی
• 5. تولیدکننده و مصرف‌کننده در کافکا
• 6. فرمت سریال‌سازی داده‌ها: Avro، JSON، Protocol Buffers
• 7. مدیریت و پیکربندی بروکرهای کافکا
• 8. مفاهیم Offset و Consumer Group
• 9. تنظیمات مربوط به تولیدکننده و مصرف‌کننده
• 10. مانیتورینگ و بررسی عملکرد کافکا با JMX
• 11. کافکا Connect: وارد کردن داده از منابع مختلف
• 12. کافکا Connect: خروجی داده به مقاصد مختلف
• 13. مفاهیم Kafka Streams: پردازش استریمینگ داده
• 14. اپلیکیشن‌های ساده Kafka Streams
• 15. تبدیل و فیلتر کردن داده‌ها در Kafka Streams
• 16. Aggregation و Windowing در Kafka Streams
• 17. Join کردن استریم‌ها در Kafka Streams
• 18. حالت (State) در Kafka Streams
• 19. نوشتن تست برای اپلیکیشن‌های Kafka Streams
• 20. ادغام کافکا با Apache Spark Streaming
• 21. ادغام کافکا با Apache Flink
• 22. ادغام کافکا با Apache Beam
• 23. استفاده از Schema Registry برای مدیریت Schema
• 24. امنیت در کافکا: SSL/TLS و SASL
• 25. تایید هویت و مجوز دسترسی در کافکا
• 26. تنظیمات مربوط به Replication و Fault Tolerance
• 27. بهینه‌سازی عملکرد کافکا
• 28. بررسی و رفع مشکلات رایج کافکا
• 29. مقایسه کافکا با RabbitMQ و دیگر Message Queue ها
• 30. مقدمه‌ای بر Kafka Ecosystem
• 31. KSQL: زبان پرس‌وجو برای استریم‌های کافکا
• 32. استفاده از KSQL برای پردازش داده‌های بلادرنگ
• 33. بهینه‌سازی KSQL Queries
• 34. استفاده از Kafka برای Logging و Monitoring
• 35. بررسی الگوهای طراحی در کافکا
• 36. استفاده از Kafka در معماری Microservices
• 37. مقیاس‌پذیری کافکا در محیط‌های بزرگ
• 38. استفاده از Kafka برای داده‌های IoT
• 39. مفاهیم Data Governance در استریمینگ داده
• 40. استفاده از Kafka برای تحلیل رفتار کاربر
• 41. پیاده‌سازی Pipeline داده با Kafka و ML
• 42. کافکا و پردازش رویدادها (Event-Driven Architecture)
• 43. استفاده از Kafka برای ساخت داشبوردهای بلادرنگ
• 44. آینده کافکا و ترندهای استریمینگ داده