دوره Building Batch Data Pipelines on Google Cloud از مجموعه Pluralsight یک راهنمای جامع برای طراحی، پیاده‌سازی و بهینه‌سازی خطوط لوله دسته‌ای (Batch Data Pipelines) بر پایه سرویس‌های گوگل کلود است. این دوره مناسب مهندسین داده، تحلیلگران BI و توسعه‌دهندگانی است که می‌خواهند داده‌های حجیم را به صورت موثری پردازش و انتقال دهند. از مفاهیم پایه‌ای گرفته تا مثال‌های عملی، همه در این دوره پوشش داده شده است.

• معماری کلی Batch Processing در گوگل کلود و مزایا آن.
• نحوه استفاده از Cloud Storage برای ذخیره‌سازی اولیه داده‌ها.
• طراحی و پیاده‌سازی خط لوله با Dataflow و Apache Beam.
• بارگذاری داده‌ها در BigQuery به صورت کارا و اقتصادی.
• بهینه‌سازی عملکرد، کنترل هزینه و مانیتورینگ پرفورمنس خطوط لوله.
• مدیریت خطاها، لاگ‌گیری و بازیابی در زمان بروز مشکل.
• یکپارچه‌سازی با سرویس‌های دیگر مثل Pub/Sub و Cloud Functions.

• افزایش توانایی طراحی سیستم‌های پردازش دسته‌ای مقیاس‌پذیر.
• کاهش هزینه‌های زیرساختی و زمان اجرای پردازش‌های حجیم.
• کسب مهارت‌های عملی جهت ورود به بازار کار Cloud Data Engineering.
• آشنایی با بهترین روش‌ها (Best Practices) در محیط گوگل کلود.
• توانایی عیب‌یابی و بهینه‌سازی خطوط لوله واقعی.

• آشنایی اولیه با مفاهیم Cloud Computing و سرویس‌های گوگل کلود.
• دانش پایه‌ای از زبان‌های برنامه‌نویسی Java یا Python.
• درک ابتدایی از SQL و کار با دیتابیس‌ها.
• تجربه اولیه با مفاهیم ETL یا ELT برای آماده‌سازی داده.
• داشتن یک حساب کاربری در Google Cloud Platform (می‌توانید از نسخه رایگان استفاده کنید).

• بخش ۱: معرفی پردازش‌های دسته‌ای
  مروری بر مفاهیم Batch و چالش‌های متداول در پردازش داده حجیم.
• بخش ۲: ذخیره‌سازی اولیه با Cloud Storage
  چگونگی مدیریت باکت‌ها، تنظیم دسترسی‌ها و بارگذاری داده.
• بخش ۳: طراحی Pipeline با Apache Beam
  ایجاد Transformها، PCollection و قالب‌بندی داده.
• بخش ۴: اجرا با Dataflow
  استقرار Pipeline، تنظیمات Autoscaling و مدیریت منابع.
• بخش ۵: بارگذاری در BigQuery
  تعریف جداول، Partitioning و تنظیمات بهینه‌سازی.
• بخش ۶: پایش و اشکال‌زدایی
  نحوه مانیتورینگ با Stackdriver، لاگ‌گیری و Alerting.
• بخش ۷: بهینه‌سازی هزینه
  استفاده از ماشین‌های سفارشی، Preemptible VMs و تجمیع عملیات.
• بخش ۸: سناریوهای واقعی
  پیاده‌سازی یک پروژه انتها‌به‌انتها برای تحلیل داده‌های ترافیکی.

در یکی از ویدیوهای این دوره، یک سناریوی واقعی از بارگذاری لاگ‌های وب سرور در Cloud Storage و سپس پردازش آن‌ها به کمک Dataflow توضیح داده می‌شود. پس از پاک‌سازی و تبدیل داده، نتایج به صورت روزانه در جدول‌های BigQuery ذخیره شده و برای داشبوردهای BI آماده می‌گردد.

مثال دیگر شامل ترکیب داده‌های مالی چندین منبع و اجرای محاسبات تجمیعی بر روی حجم‌های چند صد گیگابایت است. در این مثال، با استفاده از Partition کردن جداول و تنظیم Parallelism مناسب در Dataflow می‌توان زمان اجرای پردازش را تا ۷۰٪ کاهش داد.

• همواره داده‌ها را قبل از ورود به Pipeline اعتبارسنجی کنید.
• از Auto-scaling در Dataflow برای تطبیق با نوسانات حجم داده کمک بگیرید.
• جداول BigQuery را بر اساس تاریخ یا کلید منطقی Partition کنید تا کوئری‌ها سریع‌تر اجرا شوند.
• برای عملیات تکرارشونده، از Preemptible VMs استفاده کنید تا هزینه‌های محاسباتی کاهش یابد.
• با تعریف Alert در Stackdriver، از خطاها و تأخیرهای احتمالی Pipelineها مطلع شوید.

دوره ساخت خط لوله‌های دسته‌ای داده در گوگل کلود از Pluralsight یک مرجع کامل برای هر فردی است که می‌خواهد با ابزارها و سرویس‌های مدرن گوگل کلود، پردازش حجیم داده را به صورت بهینه و مقیاس‌پذیر انجام دهد. با دانلود رایگان این دوره، مهارت‌های خود را تقویت کنید و در پروژه‌های واقعی به سرعت وارد عمل شوید.

برای دسترسی به محتوای این دوره و تمرین‌های عملی، هم‌اکنون فایل‌ها را دانلود کرده و سفری حرفه‌ای در دنیای Data Engineering را آغاز کنید.