دوره طراحی و پیاده‌سازی خطوط لوله داده با Spark، dbt و Airflow همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره طراحی و پیاده‌سازی خطوط لوله داده با Spark، dbt و Airflow

موضوع کلی: مهندسی داده و تحلیل داده

موضوع میانی: ساخت و مدیریت خطوط لوله داده خودکار

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده و خطوط لوله داده
• 2. اصول طراحی خطوط لوله داده
• 3. مروری بر ابزارهای کلیدی: Spark، dbt، Airflow
• 4. نصب و راه‌اندازی محیط توسعه
• 5. مفاهیم پایه Apache Spark
• 6. کار با RDD ها در Spark
• 7. ساختار DataFrame در Spark
• 8. عملیات تبدیل و اقدام در Spark
• 9. بهینه‌سازی عملکرد Spark
• 10. مقدمه‌ای بر dbt (data build tool)
• 11. نصب و پیکربندی dbt
• 12. ساختار پروژه‌های dbt
• 13. نوشتن مدل‌های داده با dbt
• 14. اجرای تست‌ها در dbt
• 15. مستندسازی در dbt
• 16. مقدمه‌ای بر Apache Airflow
• 17. نصب و راه‌اندازی Airflow
• 18. مفهوم DAG در Airflow
• 19. نوشتن DAG های ساده
• 20. عملیات (Operators) در Airflow
• 21. ارتباط بین تسک‌ها (Task Dependencies)
• 22. مدیریت مخازن داده (Data Warehousing)
• 23. اصول ETL و ELT
• 24. طراحی استیجینگ (Staging) در خطوط لوله
• 25. تبدیلات در لایه واسط (Transformations)
• 26. بارگذاری داده در انبار داده (Loading)
• 27. مدیریت داده‌های حجیم (Big Data)
• 28. اصول ذخیره‌سازی داده‌های توزیع‌شده
• 29. کار با فایل‌های پارکت (Parquet)
• 30. کار با فایل‌های اورک (ORC)
• 31. مقدمه‌ای بر معماری‌های مدرن داده
• 32. معماری دریاچه داده (Data Lake)
• 33. معماری دریاچه خانه‌سازی (Data Lakehouse)
• 34. انتخاب ابزار مناسب برای خطوط لوله
• 35. ارتباط Spark با انبار داده
• 36. کار با پایگاه‌های داده رابطه‌ای
• 37. کار با پایگاه‌های داده NoSQL
• 38. نحوه اتصال Spark به منابع داده متنوع
• 39. اتصال dbt به منابع داده متنوع
• 40. اتصال Airflow به منابع داده متنوع
• 41. مدیریت وابستگی‌ها در خطوط لوله
• 42. زمان‌بندی اجرای خطوط لوله
• 43. مدیریت خطا و بازیابی (Error Handling & Recovery)
• 44. مانیتورینگ خطوط لوله داده
• 45. لاگ‌گیری (Logging) در خطوط لوله
• 46. هشداردهی (Alerting) در خطوط لوله
• 47. امنیت در خطوط لوله داده
• 48. مدیریت دسترسی‌ها
• 49. حفظ حریم خصوصی داده‌ها
• 50. قوانین و مقررات مربوط به داده‌ها
• 51. استفاده از Git برای مدیریت کد
• 52. کنترل نسخه در خطوط لوله داده
• 53. توسعه تکراری و افزایشی
• 54. تست خودکار در خطوط لوله
• 55. تست واحد (Unit Testing)
• 56. تست یکپارچه‌سازی (Integration Testing)
• 57. تست پذیرش (Acceptance Testing)
• 58. استفاده از Docker برای محیط توسعه
• 59. کانتینرسازی خطوط لوله داده
• 60. استقرار خطوط لوله داده
• 61. توسعه CI/CD برای خطوط لوله
• 62. نظارت بر عملکرد خطوط لوله
• 63. بهینه‌سازی هزینه‌ها در خطوط لوله
• 64. کارایی در پردازش داده
• 65. مقیاس‌پذیری خطوط لوله
• 66. مدیریت چرخه عمر داده (Data Lifecycle Management)
• 67. جمع‌آوری داده از منابع مختلف
• 68. پاکسازی و اعتبارسنجی داده‌ها
• 69. تبدیلات داده با استفاده از Spark SQL
• 70. مدل‌سازی داده در dbt
• 71. تکنیک‌های پیشرفته dbt
• 72. برنامه‌ریزی اجرای DAG در Airflow
• 73. مدیریت متغیرها و اتصالات در Airflow
• 74. ایجاد خطوط لوله داده برای تحلیل بلادرنگ
• 75. مقدمه‌ای بر تحلیل داده‌های بلادرنگ
• 76. کار با ابزارهای پردازش جریانی (Streaming)
• 77. ادغام پردازش جریانی با خطوط لوله batch
• 78. مفاهیم داده‌های پاک (Data Quality)
• 79. استانداردهای کیفیت داده
• 80. ابزارهای ارزیابی کیفیت داده
• 81. پیش‌بینی و شناسایی داده‌های نامناسب
• 82. مدیریت داده‌های میراث (Legacy Data)
• 83. نگهداری و آرشیو داده‌ها
• 84. تکامل خطوط لوله داده
• 85. مهاجرت به معماری‌های جدید داده
• 86. استفاده از داده‌ها برای تصمیم‌گیری تجاری
• 87. اصول گزارش‌دهی و داشبوردینگ
• 88. مقدمه‌ای بر هوش تجاری (BI)
• 89. کار با ابزارهای BI
• 90. ملاحظات اخلاقی در مهندسی داده
• 91. مسئولیت‌پذیری در مدیریت داده
• 92. آینده مهندسی داده و خطوط لوله
• 93. روندهای نوظهور در حوزه داده
• 94. یادگیری ماشین و خطوط لوله داده
• 95. تکنیک‌های پیشرفته در Spark
• 96. تکنیک‌های پیشرفته در dbt
• 97. تکنیک‌های پیشرفته در Airflow
• 98. ساخت خطوط لوله داده امن و پایدار
• 99. راهنمای عملی برای پروژه‌های واقعی
• 100. جمع‌بندی و گام‌های بعدی در مهندسی داده