فلش‌کارت‌های آموزشی آموزش جامع پیاده‌سازی معماری Change Data Capture (CDC) با استفاده از Debezium برای یکپارچه‌سازی داده‌ها

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره آموزش جامع پیاده‌سازی معماری Change Data Capture (CDC) با استفاده از Debezium برای یکپارچه‌سازی داده‌ها

موضوع کلی: مهندسی داده و سامانه‌های اطلاعاتی

موضوع میانی: معماری داده‌های بلادرنگ و همگام‌سازی پایگاه‌های داده

📋 سرفصل‌های دوره

• 1. مبانی و ضرورت‌های معماری داده‌های بلادرنگ در سامانه‌های بزرگ
• 2. آشنایی با مفهوم تغییر داده‌ها و تغییرات پایگاه داده
• 3. نقش و جایگاه CDC در معماری‌های نوین داده‌محور
• 4. معرفی و بررسی ساختار فنی Debezium
• 5. مقایسه روش‌های سنتی همگام‌سازی با معماری مبتنی بر CDC
• 6. نحوه عملکرد Debezium در خواندن لاگ‌های تراکنشی پایگاه داده
• 7. نصب و راه‌اندازی محیط عملیاتی Debezium
• 8. پیکربندی پایگاه داده MySQL برای فعال‌سازی لاگ‌های باینری
• 9. پیکربندی پایگاه داده PostgreSQL برای استفاده از خروجی‌های منطقی
• 10. آشنایی با پلتفرم Apache Kafka به عنوان بستر انتقال پیام
• 11. نحوه برقراری ارتباط میان Debezium و Kafka Connect
• 12. تحلیل ساختار پیام‌های JSON تولید شده توسط Debezium
• 13. مدیریت و پیکربندی کانکتورهای Debezium
• 14. مفهوم Snapshot در Debezium و نحوه بازیابی اولیه داده‌ها
• 15. نظارت بر وضعیت کانکتورها و رفع خطاهای متداول
• 16. استراتژی‌های فیلترینگ و تبدیل داده‌ها در حین انتقال
• 17. کاربرد Single Message Transforms در ساده‌سازی جریان داده
• 18. یکپارچه‌سازی داده‌ها بین پایگاه‌های داده ناهمگن
• 19. معماری‌های مبتنی بر رویداد برای به‌روزرسانی سرویس‌های میکروسرویس
• 20. پیاده‌سازی الگوی Outbox برای تضمین ثبات داده‌ها
• 21. مدیریت تراکنش‌های توزیع شده با استفاده از CDC
• 22. امنیت در انتقال داده‌ها با استفاده از SSL و احراز هویت در Kafka
• 23. بهینه‌سازی عملکرد Debezium در حجم بالای تراکنش‌ها
• 24. مدیریت تغییرات در طرح‌واره جداول و تأثیر آن بر کانکتورها
• 25. استفاده از Schema Registry برای مدیریت نسخه‌های داده
• 26. پیاده‌سازی مکانیزم‌های بازیابی پس از خطا و پایداری در جریان داده
• 27. پایش سلامت و مانیتورینگ جریان داده با ابزارهای استاندارد
• 28. تست و اعتبارسنجی یکپارچگی داده‌ها بین مبدأ و مقصد
• 29. استفاده از CDC در سامانه‌های گزارش‌گیری و هوش تجاری بلادرنگ
• 30. چالش‌های همگام‌سازی داده‌ها در مقیاس بزرگ و راهکارهای مقابله
• 31. طراحی خط لوله داده‌ای مبتنی بر Debezium و Kafka Streams
• 32. روش‌های پاک‌سازی و تغییر شکل داده‌ها در جریان انتقال
• 33. مدیریت داده‌های حساس و رعایت حریم خصوصی در جریان انتقال
• 34. آشنایی با ابزارهای جانبی برای ذخیره‌سازی داده‌های استریم شده
• 35. پیاده‌سازی معماری Lambda و Kappa با استفاده از خروجی‌های CDC
• 36. به‌کارگیری Debezium در محیط‌های کانتینری (Docker و Kubernetes)
• 37. مستندسازی و نگهداری از زیرساخت‌های داده‌محور
• 38. تکنیک‌های عیب‌یابی پیشرفته در جریان‌های بلادرنگ
• 39. ارتقای پایداری و تاب‌آوری سامانه در برابر قطعی‌های شبکه
• 40. نکات امنیتی در پیکربندی دسترسی‌های پایگاه داده برای CDC
• 41. استانداردهای نوین در معماری داده‌های توزیع شده در ایران