فلش‌کارت‌های آموزشی تسلط بر مهندسی داده: از صفر تا صدِ خطوط داده‌ای

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تسلط بر مهندسی داده: از صفر تا صدِ خطوط داده‌ای

موضوع کلی: مهندسی داده

موضوع میانی: مفاهیم و ابزارهای مهندسی داده

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده و نقش آن در سازمان
• 2. چرخه حیات داده و معماری کلی سیستم‌های داده
• 3. انواع داده: ساخت‌یافته، نیمه‌ساخت‌یافته، بدون ساختار
• 4. منابع داده: پایگاه‌های داده رابطه‌ای، NoSQL، فایل‌ها، APIها
• 5. مفاهیم کلیدی پایگاه‌های داده رابطه‌ای
• 6. SQL: دستورات پایه، پرس‌وجو، JOINها، توابع
• 7. بهینه‌سازی کوئری‌های SQL
• 8. مقدمه‌ای بر پایگاه‌های داده NoSQL: MongoDB، Cassandra، Redis
• 9. مقایسه و انتخاب پایگاه داده مناسب برای سناریوهای مختلف
• 10. مفاهیم Data Warehousing و Data Mart
• 11. طراحی شمای Data Warehouse: Star Schema و Snowflake Schema
• 12. ETL (Extract, Transform, Load): مفاهیم و ابزارها
• 13. ابزارهای ETL: Apache NiFi، Talend، Informatica
• 14. مفاهیم Data Lake و تفاوت آن با Data Warehouse
• 15. پردازش دسته‌ای (Batch Processing) با Apache Hadoop
• 16. Hadoop Ecosystem: HDFS، MapReduce، YARN
• 17. مقدمه‌ای بر Apache Spark: RDDها، DataFrames، Datasets
• 18. Spark SQL: کار با داده‌های ساخت‌یافته در Spark
• 19. پردازش جریانی (Stream Processing) با Apache Kafka
• 20. Kafka Ecosystem: Kafka Connect، Kafka Streams
• 21. مقدمه‌ای بر Apache Flink
• 22. Data Governance و Data Quality: مفاهیم و ابزارها
• 23. Data Modeling: Entity-Relationship Diagrams (ERD)
• 24. Data Security و Data Privacy
• 25. Cloud Data Warehousing: Amazon Redshift، Google BigQuery، Snowflake
• 26. Data Integration در Cloud
• 27. مفاهیم Data Orchestration: Apache Airflow
• 28. مونیتورینگ و Logging در سیستم‌های داده
• 29. DevOps برای مهندسی داده
• 30. آشنایی با Docker و Kubernetes
• 31. مفاهیم Data Catalog و Metadata Management
• 32. مقدمه‌ای بر Data Science و Machine Learning برای مهندسان داده
• 33. کار با APIهای مختلف برای دریافت داده
• 34. پیاده‌سازی خطوط داده پایدار و مقیاس‌پذیر
• 35. بهینه‌سازی عملکرد خطوط داده
• 36. تست و دیباگ خطوط داده
• 37. مستندسازی خطوط داده