فلش‌کارت‌های آموزشی اتوماسیون گردش کار داده با ابزارهای نوین (Airflow)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره اتوماسیون گردش کار داده با ابزارهای نوین (Airflow)

موضوع کلی: مهندسی نرم‌افزار و توسعه سیستم

موضوع میانی: مدیریت و اتوماسیون فرآیندهای داده

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی نرم‌افزار و اتوماسیون
• 2. مفاهیم پایه گردش کار داده
• 3. آشنایی با ابزارهای اتوماسیون گردش کار
• 4. معرفی Apache Airflow
• 5. نصب و راه‌اندازی اولیه Airflow
• 6. معماری Airflow: اجزا و نحوه عملکرد
• 7. تعریف DAG (Directed Acyclic Graph)
• 8. نگارش اولین DAG ساده
• 9. متغیرها و اتصالات در Airflow
• 10. عملیات‌های پایه (Operators) در Airflow
• 11. Operatorهای استاندارد Airflow
• 12. Operatorهای سفارشی در Airflow
• 13. مدیریت وظایف (Tasks) در DAG
• 14. وابستگی‌های بین وظایف
• 15. زمان‌بندی اجرای DAGها
• 16. مدیریت تاریخچه و نسخه‌های DAG
• 17. لاگ‌گیری و مانیتورینگ در Airflow
• 18. عیب‌یابی و رفع خطاها در DAGها
• 19. محیط‌های توسعه برای Airflow
• 20. انتقال DAGها به محیط پروداکشن
• 21. بهینه‌سازی عملکرد DAGها
• 22. مدیریت منابع در Airflow
• 23. استفاده از Variableها و Connectionها
• 24. امنیت در Airflow
• 25. احراز هویت و مجوزها در Airflow
• 26. اتصال Airflow به پایگاه داده
• 27. اتصال Airflow به سرویس‌های ابری
• 28. اتصال Airflow به سیستم‌های ذخیره‌سازی
• 29. کار با داده‌های حجیم در Airflow
• 30. پردازش موازی در Airflow
• 31. تکنیک‌های پیشرفته DAG نویسی
• 32. استفاده از Jinja Templating
• 33. توسعه Operatorهای سفارشی پیشرفته
• 34. استفاده از XComs برای تبادل داده
• 35. طراحی DAGهای مقیاس‌پذیر
• 36. مدیریت پیچیدگی در DAGهای بزرگ
• 37. استفاده از Hooks در Airflow
• 38. اتوماسیون فرآیندهای ETL
• 39. بهینه‌سازی فرآیندهای ETL با Airflow
• 40. پردازش داده‌های زمان واقعی
• 41. مانیتورینگ و هشداردهی در Airflow
• 42. مدیریت خطا و بازیابی در Airflow
• 43. استفاده از Airflow در پروژه‌های داده‌محور
• 44. مدل‌سازی داده و انبار داده
• 45. مفاهیم پیشرفته انبار داده
• 46. طراحی انبار داده با رویکرد Kimball
• 47. طراحی انبار داده با رویکرد Inmon
• 48. مفاهیم Data Lake و Data Lakehouse
• 49. معماری‌های نوین داده
• 50. امنیت داده در سیستم‌های ابری
• 51. حفظ حریم خصوصی داده‌ها
• 52. مقررات داده و انطباق با قوانین
• 53. اصول حکمرانی داده
• 54. مدیریت چرخه عمر داده
• 55. مدیریت کیفیت داده
• 56. تضمین کیفیت داده در فرآیندها
• 57. ابزارهای کیفیت داده
• 58. مانیتورینگ کیفیت داده
• 59. اتوماسیون تست کیفیت داده
• 60. مدیریت پیکربندی در سیستم‌های داده
• 61. استفاده از ابزارهای مدیریت پیکربندی
• 62. اتوماسیون استقرار (Deployment)
• 63. مدیریت زیرساخت به عنوان کد (IaC)
• 64. مفاهیم DevOps در حوزه داده
• 65. اصول CI/CD برای پایپ‌لاین‌های داده
• 66. نمونه‌های عملی CI/CD با Airflow
• 67. تست خودکار در پایپ‌لاین‌های داده
• 68. مانیتورینگ پایپ‌لاین‌های داده
• 69. بهینه‌سازی هزینه‌های زیرساخت داده
• 70. مدیریت منابع ابری برای داده
• 71. استفاده از سرویس‌های مدیریت شده داده
• 72. آشنایی با معماری میکروسرویس‌ها
• 73. نقش Airflow در معماری میکروسرویس
• 74. طراحی APIهای داده
• 75. امنیت APIهای داده
• 76. مدیریت APIها
• 77. مقدمه‌ای بر یادگیری ماشین
• 78. آماده‌سازی داده برای یادگیری ماشین
• 79. اتوماسیون فرآیندهای ML با Airflow
• 80. پایپ‌لاین‌های ML در Airflow
• 81. مدیریت مدل‌های یادگیری ماشین
• 82. استقرار مدل‌های یادگیری ماشین
• 83. مانیتورینگ مدل‌های یادگیری ماشین
• 84. مباحث پیشرفته در مهندسی داده
• 85. اصول معماری داده مدرن
• 86. میکروسرویس‌های داده
• 87. پلتفرم‌های داده یکپارچه
• 88. استفاده از کانتینرها (Docker) در Airflow
• 89. مدیریت کانتینرها با Kubernetes
• 90. اتوماسیون با Kubernetes و Airflow
• 91. ملاحظات امنیتی در استقرار Airflow
• 92. برنامه‌ریزی برای مقیاس‌پذیری
• 93. مدیریت ریسک در پروژه‌های داده
• 94. آینده مهندسی داده و اتوماسیون
• 95. جمع‌بندی و گام‌های بعدی در اتوماسیون داده