کتاب صوتی طراحی و پیاده‌سازی خط‌لوله‌های داده با استفاده از پلتفرم Apache Airflow

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره طراحی و پیاده‌سازی خط‌لوله‌های داده با استفاده از پلتفرم Apache Airflow

موضوع کلی: مهندسی داده و زیرساخت‌های نرم‌افزاری

موضوع میانی: مدیریت و خودکارسازی جریان‌های کاری (Workflow Orchestration)

📋 سرفصل‌های دوره (100 موضوع)

• 1. مفاهیم پایه و معماری پلتفرم Apache Airflow
• 2. نصب و راه‌اندازی محیط توسعه در سیستم‌عامل‌های لینوکسی
• 3. آشنایی با ساختار فایل‌های DAG و چرخه حیات آن‌ها
• 4. مدیریت وظایف و تعریف Operatorها در جریان کاری
• 5. کار با BashOperator برای اجرای دستورات سیستمی
• 6. استفاده از PythonOperator برای اجرای منطق‌های پردازشی
• 7. مفهوم وابستگی‌های وظایف و طراحی گراف جهت‌دار بدون دور
• 8. زمان‌بندی اجرای خط‌لوله‌ها با استفاده از Cron Expression
• 9. مدیریت پارامترها و تنظیمات با استفاده از Variables
• 10. امنیت و مدیریت اطلاعات حساس با استفاده از Connections
• 11. کار با XCom برای انتقال داده میان وظایف مختلف
• 12. بررسی وضعیت اجرا و مانیتورینگ در رابط کاربری Airflow
• 13. مدیریت خطاهای احتمالی و استراتژی‌های بازآوری وظایف
• 14. کار با Sensorها برای پایش رویدادهای خارجی
• 15. استفاده از BranchPythonOperator برای مدیریت جریان‌های شرطی
• 16. پیاده‌سازی الگوی طراحی Dynamic DAGs برای مقیاس‌پذیری
• 17. کار با SubDAGs و ساختاردهی به جریان‌های کاری پیچیده
• 18. اتصال به پایگاه‌های داده رابطه‌ای و اجرای کوئری‌های SQL
• 19. همگام‌سازی داده‌ها با سیستم‌های ذخیره‌سازی ابری
• 20. استفاده از TaskGroup برای گروه‌بندی منطقی وظایف
• 21. مدیریت منابع سیستم و تنظیمات Concurrency
• 22. تست و اشکال‌زدایی خط‌لوله‌های داده در محیط محلی
• 23. استفاده از Trigger Ruleها برای کنترل شرایط اجرای وظایف
• 24. کار با Poolها برای مدیریت محدودیت منابع پردازشی
• 25. مفهوم Backfill در پردازش داده‌های تاریخی
• 26. یکپارچه‌سازی Airflow با سیستم‌های کنترل نسخه Git
• 27. استقرار و پیکربندی در محیط‌های تولیدی
• 28. مدیریت لاگ‌ها و عیب‌یابی در مقیاس بزرگ
• 29. بهینه‌سازی عملکرد DAGها و کاهش تأخیر در اجرا
• 30. ملاحظات امنیتی و دسترسی‌های کاربری در سطح سازمانی
• 31. مانیتورینگ پیشرفته با ابزارهای جانبی
• 32. مستندسازی جریان‌های کاری و رعایت استانداردهای کدنویسی
• 33. پیاده‌سازی معماری‌های داده مدرن با استفاده از Airflow
• 34. بررسی الگوهای پیشرفته در مهندسی داده با ابزارهای متن‌باز
• 35. ارزیابی نهایی و پیاده‌سازی یک پروژه جامع خط‌لوله داده