سرفصل‌های کلیدی دوره

• مبانی بیگ دیتا: آشنایی با مفهوم بیگ دیتا، چالش‌ها و فرصت‌های آن، و بررسی ابزارهای مختلف مورد استفاده در این حوزه.
• پای‌اسپارک (PySpark): یادگیری زبان برنامه‌نویسی پایتون و پیاده‌سازی الگوریتم‌های پردازش داده با استفاده از فریم‌ورک اسپارک.
• سرویس‌های AWS: آشنایی با سرویس‌های کلیدی آمازون وب سرویس (AWS) برای ذخیره‌سازی، پردازش و تحلیل داده‌ها، از جمله S3، EC2 و EMR.
• اسکالا (Scala): یادگیری زبان برنامه‌نویسی اسکالا و استفاده از آن برای توسعه برنامه‌های پردازش داده در محیط اسپارک.
• وب‌اسکرپینگ: آموزش جمع‌آوری داده‌ها از وب‌سایت‌ها با استفاده از ابزارهای مختلف و تکنیک‌های پیشرفته.

بخش ۱: مبانی بیگ دیتا

این بخش، مقدمه‌ای بر دنیای بیگ دیتا است. شما با مفاهیم اساسی، معماری‌های مختلف پردازش داده، و چالش‌های مرتبط با حجم، سرعت و تنوع داده‌ها آشنا خواهید شد.

• معرفی بیگ دیتا و ویژگی‌های آن
• آشنایی با معماری‌های مختلف پردازش داده (Batch, Real-time)
• بررسی ابزارهای پرکاربرد در حوزه بیگ دیتا (Hadoop, Spark, etc.)
• آشنایی با مفاهیم MapReduce

بخش ۲: پای‌اسپارک (PySpark)

در این بخش، شما با زبان برنامه‌نویسی پایتون و فریم‌ورک PySpark آشنا می‌شوید. با استفاده از این ابزار، می‌توانید داده‌های حجیم را پردازش و تحلیل کنید.

• نصب و راه‌اندازی PySpark
• کار با PySpark RDD (Resilient Distributed Datasets)
• پردازش داده‌ها با استفاده از DataFrames و Spark SQL
• پیاده‌سازی الگوریتم‌های Machine Learning با استفاده از Spark MLlib

بخش ۳: سرویس‌های AWS

این بخش، شما را با سرویس‌های کلیدی AWS برای ذخیره‌سازی، پردازش و تحلیل داده‌ها آشنا می‌کند. شما نحوه استفاده از این سرویس‌ها را در عمل یاد خواهید گرفت.

• معرفی سرویس S3 (Simple Storage Service) برای ذخیره‌سازی داده‌ها
• راه‌اندازی و استفاده از EC2 (Elastic Compute Cloud) برای پردازش داده‌ها
• استفاده از EMR (Elastic MapReduce) برای پردازش داده‌ها با استفاده از Hadoop و Spark
• آشنایی با سایر سرویس‌های AWS مرتبط با بیگ دیتا (Glue, Athena, etc.)

بخش ۴: اسکالا (Scala)

در این بخش، شما با زبان برنامه‌نویسی اسکالا و نحوه استفاده از آن در فریم‌ورک اسپارک آشنا می‌شوید. اسکالا یک زبان قدرتمند است که برای توسعه برنامه‌های پردازش داده بهینه شده است.

• مبانی زبان اسکالا
• برنامه‌نویسی شیءگرا در اسکالا
• استفاده از اسکالا برای کار با اسپارک
• توسعه برنامه‌های پردازش داده با استفاده از اسکالا و اسپارک

بخش ۵: وب‌اسکرپینگ

در این بخش، شما با تکنیک‌های وب‌اسکرپینگ آشنا می‌شوید. وب‌اسکرپینگ به شما امکان می‌دهد تا داده‌ها را از وب‌سایت‌ها جمع‌آوری کرده و برای تحلیل‌های خود مورد استفاده قرار دهید.

• مبانی وب‌اسکرپینگ و مفاهیم اولیه
• استفاده از کتابخانه‌های Python برای وب‌اسکرپینگ (Beautiful Soup, Scrapy)
• جمع‌آوری داده‌ها از وب‌سایت‌های مختلف
• پردازش و ذخیره‌سازی داده‌های جمع‌آوری شده

• دسترسی همیشگی: با توجه به ارائه دوره بر روی فلش مموری ۳۲ گیگابایتی، شما به محتوای آموزشی در هر زمان و مکانی دسترسی خواهید داشت.
• آموزش عملی: این دوره بر مبنای آموزش عملی و پروژه‌محور طراحی شده است. شما با انجام پروژه‌های واقعی، مهارت‌های خود را تقویت خواهید کرد.
• پشتیبانی: در طول دوره، از پشتیبانی کامل برای رفع اشکالات و پاسخ به سوالات خود برخوردار خواهید بود.
• مدرسان مجرب: مدرسان این دوره، از متخصصان و کارشناسان با تجربه در حوزه بیگ دیتا و تحلیل داده‌ها هستند.
• ارتقای شغلی: با فراگیری مهارت‌های این دوره، شانس خود را برای ورود به بازار کار و ارتقای شغلی در حوزه بیگ دیتا افزایش خواهید داد.

• آشنایی با مفاهیم اولیه برنامه‌نویسی (ترجیحا پایتون)
• دانش پایه در زمینه پایگاه داده‌ها (اختیاری)
• آشنایی با مفاهیم ریاضی (مانند جبر خطی و آمار) (اختیاری)