معرفی دوره

این دورهٔ جامع بر روی پیاده‌سازی و بهینه‌سازی جریان‌های ELT در بستر Snowflake تمرکز دارد. شما با ترکیب ابزارهای اتوماسیون مثل Apache Airflow، زبان قدرتمند Python و پلتفرم Talend یاد می‌گیرید چگونه داده‌ها را با کمترین هزینه و بیشترین کارایی به انبار ابری منتقل و transform کنید. این دوره بر اساس ورژن اکتبر ۲۰۲۳‌ به‌روز شده و نکات فراگیری کار با آخرین تغییرات Snowflake را در بر دارد.

چه چیزی یاد می‌گیرید؟

• ایجاد و کانفیگ اولیه حساب Snowflake و مدیریت کاربران
• برنامه‌ریزی و اجرای DAG در Airflow برای خودکارسازی وظایف ELT
• نحوهٔ نوشتن اسکریپت‌های Python برای استخراج و بارگذاری داده
• طراحی و توسعه Job در Talend با تمرکز بر پرفرمنس
• بهینه‌سازی هزینه و منابع برای pipelineهای داده‌ای در Snowflake
• مانیتورینگ و لاگ‌گیری پیشرفته جهت تضمین صحت داده

فواید و مزایا

• افزایش سرعت و کارایی پردازش داده با استفاده از توان محاسباتی ابری
• مقیاس‌پذیری بی‌نهایت در ذخیره‌سازی و پردازش داده‌ها
• سادگی در نوشتن و مدیریت جریان‌های داده با Airflow و Talend
• کاهش هزینهٔ نگه‌داری زیرساخت‌های on-premise
• بهبود امنیت با استفاده از مکانیزم‌های رمزنگاری و کنترل دسترسی Snowflake

پیش‌نیازها

• آشنایی اولیه با SQL و مفاهیم OLAP/OLTP
• دانش مقدماتی از زبان Python
• آشنایی مختصر با مفاهیم ETL و پایگاه‌های داده ابری
• نصب Airflow و Talend Open Studio روی سیستم (در صورت امکان)
• حساب کاربری فعال Udemy برای دسترسی به ویدیوها

بخش‌های دوره

• مقدمه و آشنایی با Snowflake (۳ ویدیو، ۲۵ دقیقه)
• راه‌اندازی و تنظیم حساب در Snowflake (۴ ویدیو، ۴۰ دقیقه)
• مبانی ELT و معرفی Airflow (۵ ویدیو، ۵۵ دقیقه)
• اسکریپت‌نویسی Python برای استخراج داده (۶ ویدیو، ۷۰ دقیقه)
• طراحی Jobهای Talend و بارگذاری دیتا (۶ ویدیو، ۶۵ دقیقه)
• ایجاد DAGهای پیشرفته در Airflow و مانیتورینگ (۷ ویدیو، ۸۰ دقیقه)
• بهینه‌سازی هزینه و پرفرمنس در Snowflake (۵ ویدیو، ۵۰ دقیقه)
• مثال‌های عملی و پایان‌بندی پروژه نهایی (۸ ویدیو، ۹۰ دقیقه)

در مجموع بیش از ۱۲ ساعت محتوای ویدیویی و پروژه‌ی پایانی در دسترس شما خواهد بود.

مثال‌های عملی

در طول دوره چند سناریوی واقعی بررسی می‌شود:

• بارگذاری داده‌های فروش از S3 به Snowflake با استفاده از Airflow
• پاکسازی و استانداردسازی فیلدهای متنی با Python قبل از بارگذاری
• ساخت Job در Talend برای ترکیب دیتا از چند منبع مختلف
• تنظیم هشدارها و اطلاع‌رسانی خودکار در صورت خطا با ایمیل
• تحلیل هزینه پردازش بر اساس ساعت مصرفی در Snowflake

چرا این دوره؟

اگر به‌دنبال به‌روزترین متدهای مدیریت داده ابری هستید و می‌خواهید ابزارهای Airflow، Python و Talend را به‌صورت کاملاً عملی یاد بگیرید، این دوره بهترین انتخاب است. در پایان دوره توانایی طراحی و پیاده‌سازی جریان‌های ETL/ELT را در بزرگ‌ترین انبارهای داده ابری خواهید داشت. همین حالا با دانلود این دوره از Udemy به‌صورت رایگان، مسیر تبدیل شدن به یک متخصص داده در فضای ابری را آغاز کنید!