کتاب صوتی طراحی خطوط لوله داده (Data Pipelines)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره طراحی خطوط لوله داده (Data Pipelines)

موضوع کلی: مهندسی داده و اتوماسیون فرآیندها

موضوع میانی: ادغام و هماهنگ‌سازی داده‌ها

📋 سرفصل‌های دوره

• 1. مبانی خطوط لوله داده و معماری آن‌ها
• 2. معرفی ابزارهای متن‌باز خطوط لوله داده
• 3. مفاهیم کلیدی ETL و ELT
• 4. بررسی چالش‌های رایج در خطوط لوله داده
• 5. طراحی یک خط لوله داده ساده با استفاده از Python
• 6. ورود به دنیای Apache Kafka
• 7. Kafka: تولیدکنندگان و مصرف‌کنندگان
• 8. Kafka: پارتیشن‌بندی و تکرار داده
• 9. Kafka Streams: پردازش داده در زمان واقعی
• 10. مقدمه‌ای بر Apache Spark
• 11. Spark: RDDها و DataFrameها
• 12. Spark: تبدیل و عملیات داده
• 13. Spark: بهینه‌سازی عملکرد Spark
• 14. استفاده از Spark برای پردازش داده‌های حجیم
• 15. معرفی Apache Flink
• 16. Flink: پردازش رویداد محور
• 17. Flink: مدیریت حالت (State Management)
• 18. Flink: تحمل خطا و ریکاوری
• 19. مقایسه Kafka Streams، Spark Streaming و Flink
• 20. طراحی خطوط لوله داده برای داده‌های ساختاریافته
• 21. طراحی خطوط لوله داده برای داده‌های نیمه‌ساختاریافته
• 22. طراحی خطوط لوله داده برای داده‌های بدون ساختار
• 23. استفاده از Cloud Storage برای ذخیره‌سازی داده
• 24. امنیت در خطوط لوله داده
• 25. مانیتورینگ و لاگ‌برداری از خطوط لوله داده
• 26. خطاهای رایج و راهکارهای رفع آن‌ها
• 27. استفاده از Docker و Kubernetes برای استقرار خطوط لوله داده
• 28. مقدمه‌ای بر Data Lakeها
• 29. Data Lakeها در مقابل Data Warehouseها
• 30. طراحی Data Lake با استفاده از Hadoop
• 31. استفاده از ابزارهای ETL ابری
• 32. معرفی AWS Glue
• 33. معرفی Azure Data Factory
• 34. معرفی Google Cloud Dataflow
• 35. بهینه‌سازی خطوط لوله داده برای مقیاس‌پذیری
• 36. Data Governance و کیفیت داده
• 37. مفاهیم Data Lineage
• 38. طراحی خطوط لوله داده برای یادگیری ماشین
• 39. استفاده از خطوط لوله داده برای داشبوردهای BI
• 40. آینده خطوط لوله داده و فناوری‌های نوظهور
• 41. طراحی یک خط لوله داده کامل (از ابتدا تا انتها)
• 42. پیاده‌سازی یک خط لوله داده با استفاده از Python و Kafka
• 43. تست و اعتبارسنجی خطوط لوله داده
• 44. مستندسازی خطوط لوله داده
• 45. بهبود مستمر خطوط لوله داده و بازخورد