مهندسی داده یا Data Engineering شاخه‌ای از علوم داده است که بر جمع‌آوری، پردازش و انتقال حجم‌های بزرگ داده‌ها تمرکز دارد. در این دوره جامع از Pluralsight با عنوان «مهارت‌های پایه مهندسی داده 2024-8» شما گام‌به‌گام با مفاهیم کلیدی، ابزارها و بهترین شیوه‌های صنعت آشنا می‌شوید. این دوره طراحی شده تا از مبتدی تا سطح متوسط، توانمندی‌های شما را در ساخت معماری‌های مطمئن، پایگاه‌های داده مقیاس‌پذیر و لوله‌های پردازش Real-time و Batch تقویت کند.

با بهره‌گیری از مثال‌های عملی، پیاده‌سازی پروژه‌های کوچک و تمرین‌های تعاملی، پس از پایان دوره قادر خواهید بود یک Data Pipeline کامل را طراحی، توسعه و استقرار دهید.

• مفاهیم پایه‌ای Data Engineering: مروری بر معماری داده، ETL و ELT.
• ابزارهای پردازش Batch: کار با Apache Spark و PySpark برای پردازش موازی.
• پردازش جریان داده (Streaming): معرفی Apache Kafka و پیاده‌سازی مصرف‌کننده و تولیدکننده.
• طراحی پایگاه داده‌های تحلیلی: مدل‌سازی ستاره‌ای و برف‌دانه‌ای در Data Warehouse.
• استفاده از زبان‌های برنامه‌نویسی: اسکریپت‌نویسی با Python و SQL برای ETL.
• مفاهیم ابری (Cloud): استقرار لوله‌های داده در AWS، Azure و GCP.
• مبانی DataOps و MLOps: پیاده‌سازی CI/CD برای پروژه‌های داده‌ای.

• دسترسی رایگان به منابع آموزشی با کیفیت بالا و آپدیت‌های سال 2024.
• تمرین‌های عملی و پروژه‌های پایانی برای تثبیت مفاهیم.
• افزایش چشمگیر قابلیت‌های استخدامی در حوزهٔ مهندسی داده.
• یادگیری روش‌های استاندارد صنعت و پیاده‌سازی آن‌ها در محیط واقعی.
• دریافت گواهی پایان دوره معتبر از Pluralsight.

• آشنایی متوسط با زبان Python و مبانی SQL.
• درک کلی از پایگاه‌های داده رابطه‌ای (RDBMS).
• آشنایی اولیه با خط فرمان و مفاهیم سیستم‌عامل (Windows/Linux).

اگر با این مباحث چندان آشنا نیستید، پیشنهاد می‌شود ابتدا دوره‌های مقدماتی Python و SQL را در Pluralsight یا منبع دلخواه خود طی کنید.

• بخش اول: آشنایی با معماری داده و مفهوم داده‌درایو (Data-Driven).
• بخش دوم: طراحی و توسعه لوله‌های Batch با Apache Spark و PySpark.
  • نصب و راه‌اندازی Spark
  • عملیات RDD و DataFrame
• بخش سوم: پردازش جریان داده با Kafka و Spark Streaming.
  • مفاهیم Topic و Partition
  • طراحی تولیدکننده و مصرف‌کننده
• بخش چهارم: مدل‌سازی و پیاده‌سازی Data Warehouse.
  • شماتیک ستاره‌ای و برف‌دانه‌ای
  • پارتیشن‌بندی و ایندکس‌سازی
• بخش پنجم: اتوماسیون ETL با Airflow.
  • تعاریف DAG، Task و Operator
  • نظارت و گزارش‌گیری
• بخش ششم: استقرار و مانیتورینگ در Cloud.
  • استفاده از AWS Glue و Azure Data Factory
  • پایش عملکرد و هزینه

در طول دوره، چند پروژه واقعی پیاده می‌شود:

• طراحی یک ETL ساده برای بارگذاری داده‌های CSV به PostgreSQL و اجرای کوئری‌های تحلیلی.
• پایپ‌لاین پردازش بلادرنگ لاگ‌های سرور با Kafka و ذخیره نتایج در Elasticsearch.
• پیاده‌سازی یک Data Warehouse در AWS Redshift و نوشتن گزارش‌های BI با Tableau.

این مثال‌ها نه‌تنها مفهوم را مرور می‌کنند، بلکه شما را با مشکلات متداول مثل خطاهای زمان اجرا، گلوگاه‌های عملکردی و مدیریت هزینه ابری آشنا می‌کنند.

دوره «مهارت‌های پایه مهندسی داده 2024-8» از Pluralsight یک نقطه شروع قدرتمند برای ورود به حوزه مهندسی داده است. با درک عمیق از ابزارها، روش‌ها و چالش‌های عملی، شما می‌توانید به عنوان یک مهندس دادهٔ حرفه‌ای در پروژه‌های بزرگ و کوچک ظاهر شوید. هم‌اکنون با لینک دانلود رایگان دوره، مسیر یادگیری خود را آغاز کنید و مهارت‌های خود را برای بازار کار پرتقاضای مهندسی داده تقویت نمایید.