در این دوره جامع که توسط Udemy عرضه شده، شما به‌طور عملی و قدم‌به‌قدم با پلتفرم Hadoop آشنا می‌شوید و مهارت‌های مورد نیاز برای تبدیل شدن به یک توسعه‌دهنده حرفه‌ای Hadoop را کسب می‌کنید. این دوره در ژوئیه ۲۰۲۰ تولید شده و با تمرکز بر مثال‌های واقعی سازمان‌ها و پروژه‌های عملی، تجربه‌ای شبیه به کار در محیط‌های بزرگ داده را در اختیار شما می‌گذارد.

در طول بیش از ۳۰ ساعت محتوای ویدیویی، ابزارها و فریمورک‌های کلیدی Hadoop مانند HDFS، MapReduce، YARN، Hive، Pig و Spark را خواهید آموخت و می‌آموزید چگونه داده‌های حجیم را ذخیره، پردازش و تحلیل کنید.

• معماری و ساختار Hadoop Distributed File System (HDFS)
• نوشتن و اجرای برنامه‌های MapReduce به زبان Java و Python
• مدیریت منابع با استفاده از YARN و تنظیم کلاستر Hadoop
• ایجاد و اجرای کوئری‌های SQL در Big Data با استفاده از Hive
• پردازش داده‌ها با زبان اسکریپتی Pig و توسعه UDFهای اختصاصی
• کار با Apache Spark برای پردازش در حافظه و ترکیب با Hadoop
• یکپارچه‌سازی Hadoop با فایل‌سیستم‌های ابری مانند AWS S3 و GCP Storage
• بهینه‌سازی عملکرد کلاستر و اشکال‌زدایی Jobها
• استفاده از ابزارهای مانیتورینگ و مدیریت کلاستر

• تمرکز بر پروژه‌های واقعی و چالش‌های سازمانی
• کدهای آماده برای دانلود و پیاده‌سازی
• دسترسی مادام‌العمر به محتوای دوره و به‌روزرسانی‌های آینده
• پشتیبانی و پاسخ به سوالات در انجمن Udemy
• گواهی پایان دوره از Udemy برای اضافه شدن به رزومه

• آشنایی پایه با سیستم‌عامل لینوکس و خط فرمان
• درک اولیه از مفاهیم برنامه‌نویسی جاوا یا پایتون
• آشنایی مختصر با مفاهیم پایگاه داده و SQL
• حداقل ۲ گیگابایت رم و دسترسی به ماشین مجازی یا سرور برای راه‌اندازی Hadoop

دوره به چهار بخش اصلی تقسیم شده است:

• بخش اول: نصب و معماری Hadoop
  • مقدمه و شناخت اجزای کلیدی
  • نصب تک‌نودی و چندنودی
  • پیکربندی HDFS و YARN
• بخش دوم: MapReduce و برنامه‌نویسی
  • قالب کلی MapReduce
  • نمونه عملی استخراج و تبدیل داده‌ها
  • کار با فایل‌های متنی و باینری
• بخش سوم: پردازش داده‌های ساخت‌یافته با Hive و Pig
  • ایجاد پایگاه داده و جداول در Hive
  • نوشتن کوئری SQL و بهینه‌سازی آنها
  • استفاده از Pig Latin برای ETL
• بخش چهارم: انتقال به Apache Spark
  • مقایسه Spark با MapReduce
  • راه‌اندازی Spark روی کلاستر Hadoop
  • مثال عملی تحلیل داده با DataFrame و RDD

یکی از مهم‌ترین ویژگی‌های این دوره، رویکرد پروژه‌محور آن است. برای مثال:

• تحلیل لاگ‌های سرور وب برای شناسایی الگوهای بازدید و تولید گزارش‌های آماری
• پردازش داده‌های شبکه‌های اجتماعی و استخراج کلمات کلیدی پرطرفدار
• آنالیز سری‌های زمانی قیمت محصولات و پیش‌بینی با Spark MLlib
• ساخت یک پایپ‌لاین ETL برای پاک‌سازی، تبدیل و بارگذاری داده‌ها در دیتابیس رابطه‌ای

تمام کدها و دستورات بطور گام‌به‌گام توضیح داده شده و شما می‌توانید همان لحظه عملکرد را در محیط خود آزمایش کنید.

اگر به دنبال کسب مهارت‌های حرفه‌ای در زمینه Big Data و افزایش شانس استخدام در شرکت‌های بزرگ هستید، این دوره یک انتخاب ایده‌آل است. با گذراندن تمرین‌ها و پروژه‌های عملی، نه‌تنها مباحث تئوری را خواهید آموخت بلکه تجربۀ اجرای آن‌ها در سناریوهای واقعی را نیز خواهید داشت.

برای دانلود رایگان این دوره، کافی است از لینک ارائه شده در سایت Udemy استفاده کرده و بلافاصله به محتوای دوره دسترسی پیدا کنید. موفق باشید!