فلش‌کارت‌های آموزشی طراحی و پیاده‌سازی خط‌لوله‌های داده با Apache Airflow و Google Cloud Composer

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره طراحی و پیاده‌سازی خط‌لوله‌های داده با Apache Airflow و Google Cloud Composer

موضوع کلی: مهندسی داده و زیرساخت‌های پردازش ابری

موضوع میانی: مدیریت و خودکارسازی جریان‌های کاری (Workflow Orchestration)

📋 سرفصل‌های دوره

• 1. مبانی و معماری خط‌لوله‌های داده در محیط‌های ابری
• 2. آشنایی با مفاهیم ارکستراسیون و مدیریت جریان کار
• 3. نصب و راه‌اندازی محیط توسعه Apache Airflow
• 4. ساختار فایل‌ها و اجزای اصلی در Airflow
• 5. مفاهیم پایه DAG و مدیریت چرخه‌های حیات جریان کار
• 6. کار با Operatorها و وظایف در Airflow
• 7. مدیریت وابستگی‌ها و ترتیب اجرای وظایف در گراف‌های جهت‌دار
• 8. استفاده از Sensors برای پایش رویدادها
• 9. کار با Hooks برای اتصال به سرویس‌های خارجی
• 10. مدیریت متغیرها و کانکشن‌ها در محیط Airflow
• 11. استفاده از XComs برای تبادل داده بین وظایف
• 12. پیاده‌سازی الگوهای شرطی و شاخه‌بندی در جریان کار
• 13. مدیریت زمان‌بندی و اجرای وظایف بر اساس تقویم
• 14. کار با Jinja Templates در تعریف پویای وظایف
• 15. مدیریت خطا، تلاش مجدد و استراتژی‌های بازیابی
• 16. مانیتورینگ و مشاهده لاگ‌های اجرای وظایف
• 17. معرفی Google Cloud Composer و مزایای آن در محیط ابری
• 18. پیکربندی محیط‌های Cloud Composer در GCP
• 19. مدیریت امنیت و سطوح دسترسی در Cloud Composer
• 20. یکپارچه‌سازی Airflow با سرویس Google Cloud Storage
• 21. انتقال داده‌ها از BigQuery به خط‌لوله‌های پردازشی
• 22. مدیریت هزینه‌های زیرساخت ابری در جریان‌های کاری
• 23. استفاده از Cloud Build برای استقرار خودکار DAGها
• 24. تست و اعتبارسنجی کدهای Airflow
• 25. بهینه‌سازی عملکرد و مدیریت منابع در پردازش‌های سنگین
• 26. مقیاس‌پذیری زیرساخت‌های پردازش ابری در Airflow
• 27. امنیت داده‌ها و رعایت استانداردهای حریم خصوصی در خط‌لوله‌ها
• 28. مدیریت نسخه‌بندی و کنترل تغییرات در جریان‌های کاری
• 29. پیاده‌سازی الگوهای طراحی حرفه‌ای برای خط‌لوله‌های داده
• 30. مانیتورینگ پیشرفته و هشداردهی در محیط ابری
• 31. استفاده از سرویس‌های مبتنی بر رویداد (Event-driven) در ارکستراسیون
• 32. کار با Airflow API برای اتوماسیون فرآیندهای مدیریت
• 33. امن‌سازی ارتباطات بین سرویس‌های ابری
• 34. طراحی خط‌لوله‌های داده با قابلیت بازیابی در شرایط بحرانی
• 35. مستندسازی و نگهداری کدهای جریان کار
• 36. بهترین شیوه‌های توسعه پایدار در مهندسی داده
• 37. بررسی موردی: طراحی یک خط‌لوله انتقال داده‌های تحلیلی
• 38. استفاده از ابزارهای مانیتورینگ جانبی برای بررسی سلامت جریان کار
• 39. ارتقای محیط‌های Cloud Composer و مدیریت نسخه‌ها
• 40. جمع‌بندی و استراتژی‌های پیشرفته در مدیریت زیرساخت‌های داده