مخاطبان این دوره

این دوره آموزشی برای طیف گسترده‌ای از متخصصان حوزه داده طراحی شده است، از جمله:

• مهندسان داده (Data Engineers) که مسئول ساخت و نگهداری زیرساخت‌های داده هستند.
• دانشمندان داده (Data Scientists) که نیاز به پردازش و تحلیل داده‌های حجیم برای ساخت مدل‌های پیش‌بینی‌کننده دارند.
• تحلیلگران داده (Data Analysts) که به دنبال روش‌های سریع‌تر و کارآمدتر برای استخراج بینش از داده‌ها هستند.
• معماران داده (Data Architects) که در طراحی راه‌حل‌های کلان داده در بستر Azure تخصص دارند.
• هر فردی که علاقه‌مند به یادگیری و به‌کارگیری Azure Databricks و Apache Spark در پروژه‌های خود است.

آنچه در این دوره فرا خواهید گرفت

این دوره آموزشی به گونه‌ای طراحی شده است که شما را از مفاهیم اولیه تا تکنیک‌های پیشرفته در کار با Azure Databricks و Spark، با تمرکز بر PySpark و SQL، یاری رساند. سرفصل‌های کلیدی این دوره شامل موارد زیر است:

مقدمه‌ای بر مهندسی داده و مفاهیم کلان داده

• آشنایی با چالش‌های مدیریت و پردازش داده‌های حجیم.
• مروری بر معماری‌های مختلف پردازش داده (Batch vs. Streaming).
• مفاهیم کلیدی در مهندسی داده مانند ETL، Data Warehousing، Data Lake و Data Lakehouse.

آشنایی با Azure Databricks

• معرفی پلتفرم Azure Databricks و مزایای آن.
• ساختار و اجزای اصلی Databricks: Workspaces, Notebooks, Clusters, Jobs.
• نحوه راه‌اندازی و پیکربندی محیط Databricks در Azure.
• مدیریت دسترسی‌ها و اشتراک‌گذاری منابع.

کار با Apache Spark Core

• مفاهیم اساسی Spark: RDDs (Resilient Distributed Datasets)، Transformations و Actions.
• بهینه‌سازی عملکرد Spark با استفاده از Caching و Persistence.
• مکانیزم‌های تحمل خطا و بازیابی در Spark.

PySpark: قدرت پایتون در پردازش داده

• مقدمه‌ای بر PySpark و DataFrame API.
• عملیات رایج روی DataFrames: Select, Filter, GroupBy, Join, Aggregation.
• نوشتن توابع سفارشی (UDFs) در PySpark.
• کار با داده‌های ساختاریافته و نیمه‌ساختاریافته (JSON, Parquet, Avro).
• مفاهیم پیشرفته‌تر PySpark مانند Spark SQL، Spark Streaming و MLlib.

Spark SQL: زبان استاندارد برای داده‌های حجیم

• نوشتن کوئری‌های SQL پیچیده بر روی DataFrames.
• ادغام PySpark و Spark SQL برای تحلیل‌های قدرتمند.
• استفاده از Spark SQL برای ETL و آماده‌سازی داده.
• بهینه‌سازی عملکرد کوئری‌های Spark SQL.

ساخت پایپلاین‌های داده با Databricks

• طراحی و پیاده‌سازی وظایف (Jobs) پردازش داده.
• زمان‌بندی و مانیتورینگ اجرای Job ها.
• استفاده از Delta Lake برای قابلیت‌های ACID و Time Travel.
• اصول MLOps و استقرار مدل‌های یادگیری ماشین با Databricks.

کار با داده‌های جریانی (Streaming Data)

• مقدمه‌ای بر Spark Structured Streaming.
• پردازش داده‌های بلادرنگ با استفاده از Kafka و Azure Event Hubs.
• ساخت داشبوردهای تحلیلی بلادرنگ.

بهینه‌سازی عملکرد و بهترین شیوه‌ها

• تکنیک‌های بهینه‌سازی Cluster در Databricks.
• استراتژی‌های Partitioning و Shuffling.
• اصول کدنویسی کارآمد در PySpark.
• مدیریت هزینه‌ها در Azure Databricks.

نکات برجسته و مزایای دوره

• ارائه جامع و کاربردی: این دوره با پوشش کامل سرفصل‌های کلیدی، شما را برای مواجهه با چالش‌های واقعی مهندسی داده آماده می‌سازد.
• تمرکز بر تکنولوژی‌های روز: Azure Databricks و Apache Spark از پرکاربردترین و مورد تقاضاترین ابزارها در صنعت داده هستند.
• یادگیری عملی: با مثال‌های کد PySpark و SQL، شما مهارت‌های لازم برای پیاده‌سازی راه‌حل‌های داده را کسب خواهید کرد.
• ارائه بر روی فلش مموری: دسترسی آسان و آفلاین به تمامی محتوای آموزشی (ویدئوها، کدها، مستندات) بدون نیاز به دانلودهای حجیم و مکرر.
• مناسب برای سطوح مختلف: از مبتدیان علاقه‌مند تا متخصصان باتجربه، همه می‌توانند از این دوره بهره‌مند شوند.

پیش‌نیازهای دوره

برای بهره‌مندی حداکثری از این دوره، داشتن پیش‌زمینه‌های زیر توصیه می‌شود:

• آشنایی با مفاهیم پایگاه داده و زبان SQL.
• دانش مقدماتی از زبان برنامه‌نویسی پایتون.
• آشنایی با مفاهیم ابری (Cloud Computing) به ویژه Microsoft Azure (اختیاری اما مفید).
• تجربه کار با ابزارهای تحلیل داده یا برنامه‌نویسی.