این دوره برای آموزش کامل ایرفلو، با تمرکز بر کاربردهای عملی و سناریوهای واقعی طراحی شده است. پس از اتمام دوره، شما قادر خواهید بود:

• مفاهیم هسته‌ای ایرفلو: DAGها (گراف‌های جهت‌دار غیرمدور)، عملگرها (Operators)، حسگرها (Sensors)، هوک‌ها (Hooks) و ایکس‌کام‌ها (XComs) را به طور کامل درک کنید.
• نصب و راه‌اندازی Airflow: Airflow را در محیط‌های مختلف از جمله محلی و با استفاده از داکر (Docker) و داکر کامپوز (Docker Compose)، راه‌اندازی و مدیریت کنید.
• نوشتن DAGهای پیچیده: با استفاده از پایتون، DAGهای (Directed Acyclic Graphs) قدرتمندی را برای خودکارسازی گردش کارهای داده‌ای خود بنویسید.
• مدیریت وابستگی‌ها و زمان‌بندی: نحوه تعریف وابستگی‌های بین وظایف (Task Dependencies)، زمان‌بندی DAGها و مدیریت مجدد اجرای آن‌ها را بیاموزید.
• کار با انواع عملگرها: با پرکاربردترین عملگرهای ایرفلو مانند BashOperator, PythonOperator, S3Operator و SnowflakeOperator کار کنید و عملگرهای سفارشی (Custom Operators) خود را توسعه دهید.
• نظارت و مدیریت خطا: ابزارهای نظارتی ایرفلو را برای پیگیری وضعیت DAGها و وظایف بشناسید و استراتژی‌های موثری برای مدیریت خطا (Error Handling) و اطلاع‌رسانی پیاده‌سازی کنید.
• بهینه‌سازی و بهترین شیوه‌ها: بهترین شیوه‌ها برای نوشتن DAGهای تمیز، کارآمد و قابل نگهداری را فرا بگیرید و عملکرد ایرفلو را بهینه کنید.
• یکپارچه‌سازی با ابزارهای داده‌ای: ایرفلو را با سیستم‌های ذخیره‌سازی ابری مانند AWS S3، پایگاه‌های داده‌ای مانند PostgreSQL و انبار داده‌های ابری مانند Snowflake یکپارچه (Integrate) کنید.
• مفهوم CI/CD در Airflow: اصول پیاده‌سازی CI/CD برای DAGها را درک کرده و فرآیند استقرار خودکار را تجربه کنید.
• پروژه عملی: یک پروژه جامع و واقعی مهندسی داده را از ابتدا تا انتها با Airflow پیاده‌سازی کنید، شامل استخراج، تبدیل و بارگذاری (ETL) داده‌ها.

شرکت در این دوره به شما مزایای متعددی را در مسیر شغلی و حرفه‌ای‌تان ارائه می‌دهد:

• افزایش فرصت‌های شغلی: ایرفلو یک مهارت بسیار پرتقاضا در نقش‌های مهندسی داده، مهندسی یادگیری ماشین و تحلیل‌گر داده است. تسلط بر آن، درهای جدیدی را به روی شما می‌گشاید.
• خودکارسازی و کارایی: با خودکارسازی گردش کارهای داده‌ای پیچیده، زمان ارزشمند خود را آزاد کرده و کارایی تیم خود را به طور چشمگیری افزایش دهید.
• مدیریت خطا پیشرفته: توانایی مدیریت و عیب‌یابی خطاهای سیستماتیک در پایپ‌لاین‌های داده‌ای، به شما کمک می‌کند تا سیستم‌هایی قابل اعتمادتر بسازید.
• مقیاس‌پذیری: طراحی و پیاده‌سازی پایپ‌لاین‌هایی که می‌توانند با افزایش حجم داده و پیچیدگی گردش کار مقیاس‌پذیر باشند.
• یادگیری عملی: رویکرد پروژه محور این دوره به شما اطمینان می‌دهد که مهارت‌های کسب شده، صرفاً تئوری نیستند و می‌توانید آن‌ها را بلافاصله در محیط واقعی به کار ببرید.
• بهره‌وری بالا: یاد می‌گیرید که چگونه با استفاده از بهترین شیوه‌های ایرفلو، DAGهایی بنویسید که خوانا، قابل نگهداری و بهینه باشند.

برای بهره‌برداری حداکثری از این دوره، داشتن دانش پایه در موارد زیر توصیه می‌شود:

• پایتون (Python): آشنایی با اصول برنامه‌نویسی پایتون، ساختارهای داده‌ای اصلی و توابع. این دوره شامل کدنویسی زیادی با پایتون خواهد بود.
• خط فرمان (Command Line): آشنایی اولیه با کار با خط فرمان و دستورات پایه لینوکس/یونیکس.
• مفاهیم پایه داده: درک کلی از مفاهیم ETL/ELT و نحوه جریان داده‌ها در سیستم‌های داده‌ای.
• SQL (اختیاری اما مفید): آشنایی با زبان SQL می‌تواند در درک بهتر برخی از یکپارچه‌سازی‌ها با پایگاه‌های داده مفید باشد، اما برای هسته ایرفلو ضروری نیست.

هیچ تجربه‌ای در زمینه ایرفلو از قبل لازم نیست؛ این دوره از سطح کاملاً مبتدی شروع می‌شود.

این دوره به بخش‌های منطقی تقسیم شده است تا یادگیری را برای شما آسان‌تر و ساختارمندتر کند:

• مقدمه‌ای بر Apache Airflow:
  • چرا Airflow؟ آشنایی با مشکلات مدیریت گردش کار و راه‌حل‌های ایرفلو.
  • معماری Airflow: اجزای اصلی مانند Webserver، Scheduler، Worker و Metadata Database.
  • مفاهیم کلیدی: DAGs, Tasks, Operators, Sensors, Hooks, XComs.
• نصب و راه‌اندازی Airflow:
  • راه‌اندازی Airflow در محیط محلی (Local Setup).
  • استفاده از Docker و Docker Compose برای راه‌اندازی محیط توسعه.
  • مدیریت کانفیگوریشن‌ها و اتصال به پایگاه داده.
• نوشتن اولین DAG شما:
  • ساختار یک DAG: پارامترها و تنظیمات.
  • تعریف وظایف (Tasks) با استفاده از BashOperator و PythonOperator.
  • تعیین وابستگی‌های وظایف (Task Dependencies).
  • مفهوم زمان‌بندی (Scheduling) و Backfill.
• عملگرها، حسگرها و هوک‌های پیشرفته:
  • بررسی عملگرهای پرکاربرد: SQLOperator, S3Operator, KubernetesPodOperator.
  • درک و استفاده از حسگرها (Sensors) برای انتظار رویدادها.
  • کار با هوک‌ها (Hooks) برای تعامل با سیستم‌های خارجی.
  • توسعه عملگرها و هوک‌های سفارشی (Custom Operators and Hooks).
• مدیریت گردش کارهای پیچیده:
  • مفاهیم Branching (انشعاب) و SubDAGs (زیر-DAGها).
  • استفاده از XComs برای انتقال داده بین وظایف.
  • مفهوم Pools و Queues برای مدیریت منابع.
  • پارامترسازی DAGها و استفاده از Macros.
• نظارت، مدیریت خطا و عیب‌یابی:
  • استفاده از رابط کاربری وب Airflow برای نظارت بر DAGها.
  • روش‌های مدیریت خطا و تلاش مجدد (Retries).
  • ارسال نوتیفیکیشن‌ها (ایمیل، Slack) در صورت شکست وظایف.
  • بررسی لاگ‌ها (Logs) و عیب‌یابی مشکلات رایج.
• بهینه‌سازی و بهترین شیوه‌ها:
  • اصول DAGهای ایده‌آل و قابل نگهداری.
  • روش‌های بهینه‌سازی عملکرد و جلوگیری از گلوگاه‌ها.
  • مدیریت نسخه‌ها و تست DAGها.
• پروژه عملی: پایپ‌لاین داده ETL/ELT:
  • طراحی و پیاده‌سازی یک سناریوی واقعی ETL یا ELT با ایرفلو.
  • اتصال به منابع داده مختلف (API, S3).
  • انجام عملیات تبدیل داده (Data Transformation).
  • بارگذاری داده‌ها در یک Data Warehouse یا پایگاه داده.
  • مدیریت خطا و نظارت در پروژه.
• استقرار Airflow در محیط عملیاتی (Production):
  • گزینه‌های استقرار: Docker, Kubernetes.
  • امنیت در Airflow: مدیریت اتصالات (Connections) و متغیرها (Variables).
  • استقرار مداوم (CI/CD) برای DAGها.

این سرفصل‌ها به شما اطمینان می‌دهند که یک درک عمیق و عملی از Airflow به دست خواهید آورد و آماده خواهید بود تا در پروژه‌های پیچیده مهندسی داده با اطمینان خاطر کار کنید.