این دوره به گونه‌ای طراحی شده است که شرکت‌کنندگان را با تمام جنبه‌های ضروری کار با داده‌های کلان با استفاده از آپاچی اسپارک و پایتون آشنا سازد. پس از اتمام این دوره، شما قادر خواهید بود:

• مفاهیم اساسی داده‌های کلان و اکوسیستم آن: درک عمیقی از اینکه داده‌های کلان چه هستند، چرا اهمیت دارند و چگونه با چالش‌های مربوط به حجم، سرعت و تنوع (3V’s) آن‌ها برخورد کنیم.
• آشنایی کامل با آپاچی اسپارک: معماری، اجزای کلیدی مانند RDDها (Resilient Distributed Datasets)، DataFrames، Spark SQL، Spark Streaming، MLlib و GraphX را به طور جامع بیاموزید.
• برنامه‌نویسی عملی با PySpark: با استفاده از زبان پایتون (PySpark)، اسکریپت‌های قدرتمندی برای پردازش، تبدیل و تحلیل داده‌های کلان بنویسید و عملیات‌های پایه مانند فیلتر کردن، گروه‌بندی و تجمیع داده‌ها را انجام دهید.
• پردازش و تحلیل داده‌های ساختاریافته و بدون ساختار: نحوه کار با انواع فرمت‌های داده‌ای متداول نظیر CSV، JSON، Parquet، ORC و همچنین ارتباط با سیستم‌های ذخیره‌سازی مانند HDFS و S3 را در محیط اسپارک فرا بگیرید.
• کار با Spark SQL برای تحلیل‌های پیشرفته: برای انجام کوئری‌های پیچیده و تحلیل داده‌ها با استفاده از SQL بر روی DataFrames و جداول اسپارک مسلط شوید و عملیات‌هایی نظیر join و union را به کار بگیرید.
• پردازش جریان داده (Stream Processing): اصول و کاربردهای Spark Streaming را برای تحلیل داده‌های بلادرنگ (Real-time) فرا بگیرید و پروژه‌های عملی پیاده‌سازی کنید؛ برای مثال، تحلیل لحظه‌ای لاگ‌های سرور یا داده‌های سنسورها.
• یادگیری ماشین با MLlib: از کتابخانه MLlib اسپارک برای ساخت و آموزش مدل‌های یادگیری ماشین مانند خوشه‌بندی (K-Means)، طبقه‌بندی (Logistic Regression, Decision Trees) و رگرسیون (Linear Regression) بر روی داده‌های کلان استفاده کنید و یک سیستم توصیه‌گر ساده بسازید.
• بهینه‌سازی عملکرد برنامه‌های اسپارک: با تکنیک‌های پیشرفته برای بهبود کارایی و مقیاس‌پذیری برنامه‌های اسپارک آشنا شوید. یاد می‌گیرید چگونه از Spark UI برای پایش و دیباگ استفاده کنید و تنظیمات مربوط به حافظه و هسته‌ها را بهینه‌سازی کنید.
• استقرار برنامه‌های اسپارک: روش‌های مختلف استقرار و مدیریت برنامه‌های اسپارک بر روی خوشه‌ها (مانند Standalone، YARN و Mesos) را بیاموزید و نحوه اجرای برنامه‌ها با spark-submit را فرا بگیرید.

شرکت در این دوره نه تنها دانش شما را در زمینه داده‌های کلان افزایش می‌دهد، بلکه مزایای ملموسی را برای مسیر شغلی شما به همراه خواهد داشت و شما را به یک مهندس یا تحلیلگر داده توانا تبدیل می‌کند:

• اکتساب مهارتی بسیار پرتقاضا: با توجه به رشد روزافزون داده‌ها، متخصصین داده‌های کلان و اسپارک از جایگاه شغلی بسیار خوبی در بازار کار برخوردارند و تقاضا برای این مهارت‌ها رو به افزایش است.
• پیشرفت شغلی: این دوره به شما کمک می‌کند تا به نقش‌های کلیدی در حوزه‌های مهندسی داده، تحلیلگر داده، و دانشمند داده دست یابید یا در موقعیت فعلی خود پیشرفت کنید.
• آموزش عملی و پروژه‌محور: تمرکز دوره بر روی مثال‌ها و پروژه‌های عملی متعدد است؛ مانند تحلیل حجم عظیمی از داده‌های لاگ، ایجاد سیستم‌های توصیه‌گر، یا پردازش داده‌های مالی، که به شما امکان می‌دهد بلافاصله پس از یادگیری، مهارت‌های خود را در سناریوهای واقعی به کار گیرید.
• درک جامع و عمیق: این دوره از مباحث پایه شروع کرده و به تدریج به مباحث پیچیده‌تر می‌پردازد تا شما درک کاملی از اکوسیستم اسپارک و پایتون داشته باشید و هیچ ابهامی برایتان باقی نماند.
• افزایش توانایی حل مسئله: با حل مسائل واقعی داده‌ای در طول دوره، توانایی شما در برخورد با چالش‌های پیچیده داده‌ای تقویت می‌شود و راه‌حل‌های بهینه را فرا می‌گیرید.
• دسترسی راحت و آفلاین: ارائه دوره بر روی فلش مموری ۳۲ گیگابایتی این امکان را فراهم می‌کند که در هر زمان و مکانی، بدون نیاز به اینترنت و بدون دغدغه سرعت و حجم مصرفی اینترنت، به محتوای آموزشی با کیفیت بالا دسترسی داشته باشید و به راحتی مطالعه کنید.

برای بهره‌مندی حداکثری از محتوای این دوره، داشتن پیش‌نیازهای زیر توصیه می‌شود، هرچند تلاش شده است تا مفاهیم از پایه توضیح داده شوند و برای افراد با دانش محدود نیز قابل فهم باشد:

• آشنایی اولیه با زبان پایتون: درک مفاهیم پایه‌ای پایتون مانند متغیرها، انواع داده، حلقه‌ها، شرط‌ها و توابع. (نیازی به تخصص عمیق در پایتون نیست.)
• مفاهیم اولیه پایگاه داده: آشنایی با جداول، ستون‌ها، ردیف‌ها و اصول اولیه SQL می‌تواند بسیار مفید باشد اما ضروری نیست.
• آشنایی با خط فرمان (Command Line): توانایی اجرای دستورات ساده در ترمینال یا Command Prompt. (اختیاری است ولی کمک‌کننده است و فرآیند کار را روان‌تر می‌کند.)
• علاقه به کار با داده‌ها: مهمترین پیش‌نیاز، اشتیاق به یادگیری و کار با حجم بالای داده‌ها و حل مسائل پیچیده داده‌محور است.

این دوره به صورت ماژولار و ساختاریافته طراحی شده است تا شما بتوانید به صورت گام به گام و منظم، مباحث را فرا بگیرید. در ادامه به سرفصل‌های اصلی و زیرمجموعه‌های آن‌ها اشاره شده است:

• مقدمه‌ای بر داده‌های کلان و آپاچی اسپارک:
  • چرا داده‌های کلان؟ مفاهیم، چالش‌ها و اهمیت آن‌ها در دنیای امروز.
  • معرفی آپاچی اسپارک: تاریخچه، ویژگی‌ها، اکوسیستم گسترده اسپارک و جایگاه آن در پردازش داده‌های کلان.
  • نصب و راه‌اندازی محیط توسعه (Local Setup): آماده‌سازی سیستم برای کار با PySpark.
  • اولین برنامه Spark با PySpark: شروع کار با نوشتن و اجرای یک برنامه ساده اسپارک.
• مبانی اسپارک و RDD ها (Resilient Distributed Datasets):
  • RDDs چیستند؟ بررسی ساختار بنیادی داده در اسپارک و دلیل مقاومت و توزیع‌پذیری آن‌ها.
  • عملیات‌های Transformation و Action بر روی RDDs: تفاوت‌ها و کاربردهای اصلی (مانند map, filter, reduce, collect).
  • کار با Pair RDDs و عملیات‌های Grouping و Aggregation: تحلیل داده‌های کلیدی-مقدار و انجام عملیات‌های تجمیعی.
  • Persistence و Caching در اسپارک برای بهینه‌سازی: افزایش کارایی با ذخیره‌سازی RDDها در حافظه.
• DataFrames و Spark SQL: عصر جدید پردازش ساختاریافته:
  • معرفی DataFrames و تفاوت آن‌ها با RDDs: چرا DataFrames برای داده‌های ساختاریافته مناسب‌تر هستند؟
  • ایجاد DataFrames از منابع مختلف: خواندن داده‌ها از فایل‌های CSV، JSON، Parquet و سایر فرمت‌ها.
  • عملیات‌های انتخاب، فیلتر، گروه‌بندی و تجمیع بر روی DataFrames: Manipulation داده با استفاده از APIهای DataFrame.
  • استفاده از Spark SQL برای اجرای کوئری‌های SQL: تحلیل داده‌ها با قدرت SQL بر روی DataFrames.
  • Joins و Union در DataFrames: ترکیب و ادغام مجموعه‌داده‌های مختلف.
• ورود و خروج داده‌ها و فرمت‌های مختلف:
  • خواندن و نوشتن داده‌ها در فرمت‌های پرکاربرد: CSV، JSON، Parquet، ORC و Avro.
  • کار با Hive و JDBC در اسپارک: اتصال به انباره‌های داده سنتی و پایگاه‌های داده رابطه‌ای.
  • اتصال به سیستم‌های ذخیره‌سازی ابری مانند S3 (مثال‌های مفهومی): درک نحوه کار با ذخیره‌سازی‌های توزیع‌شده ابری.
• Spark Streaming: پردازش داده‌های بلادرنگ:
  • مقدمه‌ای بر Stream Processing و DStreamها: چرا پردازش جریان داده ضروری است؟
  • منابع ورودی (Sources) و خروجی (Sinks) در Spark Streaming: کار با Kafka، HDFS و سایر منابع.
  • پنجره‌بندی (Windowing) و عملیات‌های Transformational: انجام تحلیل‌های زمانی بر روی جریان داده.
  • پروژه عملی: تحلیل داده‌های جریان‌یافته (مثلاً تحلیل لحظه‌ای ترافیک وب‌سایت یا لاگ سرور).
• یادگیری ماشین با MLlib:
  • مقدمه‌ای بر MLlib و Pipelinه‌ها: آشنایی با کتابخانه یادگیری ماشین اسپارک.
  • الگوریتم‌های خوشه‌بندی (Clustering): پیاده‌سازی K-Means برای گروه‌بندی داده‌ها.
  • الگوریتم‌های طبقه‌بندی (Classification): Logistic Regression, Decision Trees برای پیش‌بینی و دسته‌بندی.
  • الگوریتم‌های رگرسیون (Regression): Linear Regression برای پیش‌بینی مقادیر پیوسته.
  • ساخت یک سیستم توصیه‌گر ساده (Recommender System): پروژه‌ای کاربردی برای درک MLlib.
• Graph Processing با GraphX (مقدماتی):
  • مفاهیم اساسی گراف و GraphX: معرفی پردازش گراف در اسپارک.
  • الگوریتم PageRank (مثال عملی): درک نحوه عملکرد یکی از معروف‌ترین الگوریتم‌های گراف.
• بهینه‌سازی عملکرد و رفع اشکال:
  • درک Spark UI برای پایش و دیباگ: استفاده از رابط کاربری اسپارک برای نظارت بر برنامه‌ها.
  • تکنیک‌های Caching و Persisting پیشرفته: بهینه‌سازی حافظه و کارایی.
  • تنظیمات کانفیگ اسپارک برای بهینه‌سازی (Memory, Cores): تنظیم پارامترهای اسپارک برای بهترین عملکرد.
  • مدیریت داده‌های Skewed: راهکارهایی برای مقابله با توزیع نامتوازن داده‌ها.
• استقرار برنامه‌های اسپارک:
  • حالت‌های استقرار: Standalone، YARN، Mesos (مفاهیم و تفاوت‌ها): درک محیط‌های مختلف استقرار اسپارک.
  • اجرای برنامه‌ها با spark-submit: نحوه ارسال و اجرای برنامه‌های اسپارک بر روی خوشه‌ها.
• موضوعات پیشرفته و بهترین روش‌ها:
  • مقدمه‌ای بر Data Lake و Data Lakehouse: معماری‌های نوین ذخیره‌سازی داده.
  • معماری‌های لمبدا و کاپا (Lambda and Kappa Architectures): رویکردهای طراحی سیستم‌های داده کلان.
  • بهترین روش‌ها برای توسعه برنامه‌های مقیاس‌پذیر اسپارک: نکاتی برای کدنویسی بهینه و قابل نگهداری.