در این دوره عملی با دو فناوری قدرتمند پردازش موازی و توزیع‌شده آشنا می‌شوید: Apache Beam به عنوان یک فریم‌ورک open-source و Google Data Flow به عنوان سرویس مدیریت‌شده در بستر Google Cloud. تمرکز اصلی دوره بر پیاده‌سازی گام‌به‌گام خطوط داده (data pipelines) با زبان Python است تا بدون پیچیدگی‌های زیرساخت، بتوانید فرآیندهای ETL، آنالیز و یادگیری ماشین را در حجم داده‌های بزرگ اجرا کنید.

• اصول مفهومی Apache Beam: ایجاد و اجرای Pipelines
• معماری Google Data Flow و تفاوت با فریم‌ورک‌های دیگر
• نوشتن Transformations و استفاده از PCollections
• مدیریت زمان و پنجره‌بندی (Windowing & Triggers)
• اتصال به منابع داده: BigQuery، Cloud Storage، Pub/Sub
• استفاده از ParDo، GroupByKey، CombinePerKey و سایر عملیات اصلی
• مانیتورینگ، دیباگ و بهینه‌سازی Pipelineها در کنسول GCP
• آماده‌سازی برای پردازش بلادرنگ (streaming) و دسته‌ای (batch)

با تکمیل این دوره، توانایی طراحی و پیاده‌سازی جریان‌های داده پیچیده را به دست می‌آورید. از مهم‌ترین مزایا می‌توان به موارد زیر اشاره کرد:

• کاهش هزینه‌های زیرساختی با استفاده از سرویس‌های مدیریت‌شده GCP
• افزایش سرعت توسعه با الگوهای آماده و نمونه‌های عملی
• رفع چالش‌های مقیاس‌پذیری و پردازش داده‌های حجیم
• قابلیت یکپارچه‌سازی با ابزارهای تحلیلی و یادگیری ماشین
• گرفتن مدرک معتبر گوگل پس از اتمام پروژه‌ها

• آشنایی متوسط با زبان Python
• درک مفاهیم پایه‌ای ETL و بانک‌های داده رابطه‌ای
• آشنایی اولیه با خط فرمان و ترمینال لینوکس
• داشتن حساب کاربری Google Cloud Platform
• آشنایی با Git و مدیریت نسخه‌ها (اختیاری اما مفید)

• مقدمه و نصب ابزارها: Java SDK، Python SDK، gcloud CLI
• آشنایی با مدل برنامه‌نویسی Beam و SDKهای مرتبط
• ساخت اولین Pipeline: خواندن و نوشتن فایل‌های متنی
• Windowing و Triggerها: دسته‌بندی داده‌های رویدادی
• اتصال به Pub/Sub برای پردازش استریم
• یکپارچه‌سازی با BigQuery و Cloud Storage
• بهینه‌سازی و @DoFn‌های سفارشی
• استقرار Pipelineها روی Google Data Flow
• مانیتورینگ، لاگ‌برداری و رفع اشکال
• پروژه پایانی: تحلیل بلادرنگ لاگ سرورها و تولید گزارش

در طول دوره، علاوه بر مثال‌های ساده، روی یک پروژه واقعی کار می‌کنید که شامل مراحل زیر است:

• خواندن رویدادهای لاگ از Pub/Sub و پردازش بلادرنگ
• دسته‌بندی بر اساس نوع درخواست و محاسبه شاخص‌های کلیدی (KPIs)
• ارسال خروجی نهایی به BigQuery و نمایش داشبورد با Data Studio
• اجرای نسخه batch برای پردازش سابقه داده‌ها و مقایسه عملکرد

هر مرحله با کد پایتون همراه است و توضیحات کامل به صورت قدم‌به‌قدم ارائه می‌شود.

• مدیریت حافظه و پارامترهای autoscaling در Google Data Flow برای کنترل هزینه‌ها ضروری است.
• استفاده از Coders و Schema-aware PCollections کارایی Pipeline را بالا می‌برد.
• توجه به Watermark و lateness برای جلوگیری از اشتباهات در داده‌های بلادرنگ.
• پیکربندی Retries و Dead-letter Queue برای تضمین پایداری پردازش.
• نصب و تنظیم Apache Beam Portable Runner جهت اجرای محلی و تست مداوم.

پس از خرید و دانلود فایل‌های آموزشی، به پروژه‌های نهایی دسترسی خواهید داشت. با تکمیل چالش‌ها و ارسال کد نهایی، مدرک معتبر از طرف گوگل دریافت می‌کنید که توانایی شما در طراحی و اجرای جریان‌های داده را به رسمیت می‌شناسد.

برای دانلود دوره کافی است بر روی لینک ارائه‌شده در پنل کاربری کلیک کنید و بسته آموزشی را دریافت نمایید.