دوره مهندسی داده و خطوط لوله ETL همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مهندسی داده و خطوط لوله ETL

موضوع کلی: مدیریت داده و فناوری‌های اطلاعاتی

موضوع میانی: بیگ‌دیتا و تحلیل داده‌های بزرگ

📋 سرفصل‌های دوره

• 1. مبانی مهندسی داده
• 2. معماری داده و انبار داده
• 3. مفاهیم کلیدی خطوط لوله ETL
• 4. انتخاب ابزارهای ETL مناسب
• 5. طراحی شمای داده‌ای برای انبار داده
• 6. مدل‌سازی ابعاد (Dimensional Modeling)
• 7. مفاهیم ستاره‌ای و برف‌دانه ای
• 8. استخراج داده از منابع مختلف
• 9. پاکسازی و تبدیل داده‌ها
• 10. استانداردسازی و یکپارچه‌سازی داده‌ها
• 11. بارگذاری داده در انبار داده
• 12. مانیتورینگ و مدیریت خطوط لوله ETL
• 13. بهینه‌سازی عملکرد خطوط لوله ETL
• 14. خطاهای رایج در ETL و نحوه رفع آن‌ها
• 15. امنیت داده در خطوط لوله ETL
• 16. مستندسازی خطوط لوله ETL
• 17. معرفی پایگاه‌های داده رابطه‌ای
• 18. SQL برای مهندسی داده
• 19. معرفی پایگاه‌های داده NoSQL
• 20. کار با داده‌های نیمه‌ساختاریافته
• 21. کار با داده‌های بدون ساختار
• 22. پردازش داده‌های بزرگ (Big Data)
• 23. مفاهیم Hadoop و Spark
• 24. معرفی ابزار Kafka برای جریان داده
• 25. ETL در محیط ابری
• 26. استفاده از AWS Glue برای ETL
• 27. استفاده از Azure Data Factory برای ETL
• 28. استفاده از Google Cloud Dataflow برای ETL
• 29. معماری Lambda و Kappa
• 30. پردازش جریانی داده (Stream Processing)
• 31. پیاده‌سازی خطوط لوله ETL بلادرنگ
• 32. تست و اعتبارسنجی داده‌های ETL
• 33. کیفیت داده و معیارهای ارزیابی
• 34. Data Governance و مدیریت متادیتا
• 35. Metadata Management بهترین روش‌ها
• 36. اتوماسیون خطوط لوله ETL
• 37. استفاده از ابزارهای Scheduling
• 38. خطوط لوله ETL و یادگیری ماشین
• 39. ادغام داده‌ها برای مدل‌سازی پیش‌بینی
• 40. Data Visualization و داشبوردهای تحلیلی
• 41. بهبود مستمر خطوط لوله ETL
• 42. معماری میکروسرویس‌ها در ETL
• 43. استفاده از Docker و Kubernetes برای ETL
• 44. مقایسه ابزارهای ETL متن‌باز و تجاری
• 45. آینده مهندسی داده و ETL