این دوره آموزشی، طیف وسیعی از مباحث کلیدی مربوط به اکوسیستم Hadoop را پوشش می‌دهد. از مفاهیم پایه‌ای گرفته تا پیاده‌سازی پروژه‌های پیچیده، تمامی جنبه‌ها به شکلی عمیق و کاربردی مورد بررسی قرار می‌گیرند.

• آشنایی با مفاهیم Big Data و Hadoop: درک عمیق از چرایی پیدایش Hadoop، مزایای آن و معماری اصلی Hadoop شامل HDFS (Hadoop Distributed File System) و MapReduce.
• ذخیره‌سازی توزیع‌شده (HDFS): یادگیری نحوه کار با HDFS، عملیات خواندن و نوشتن فایل، مدیریت بلاک‌ها، تسک‌ها و DataNodeها.
• پردازش موازی (MapReduce): تسلط بر الگوی MapReduce، یادگیری نحوه نوشتن Jobهای MapReduce برای پردازش داده‌ها، درک چالش‌ها و بهینه‌سازی‌های رایج.
• اکوسیستم Hadoop: آشنایی با ابزارهای مکمل Hadoop مانند Hive برای پرس‌وجوهای SQL مانند، Pig برای پردازش داده‌های نیمه‌ساختاریافته، HBase برای پایگاه داده NoSQL ستونی، و Zookeeper برای هماهنگ‌سازی توزیع‌شده.
• مدیریت و زمان‌بندی کارها (YARN): درک نقش YARN (Yet Another Resource Negotiator) در مدیریت منابع و زمان‌بندی اپلیکیشن‌ها در Hadoop، و نحوه تعامل آن با MapReduce و سایر فریم‌ورک‌ها.
• پردازش بلادرنگ (Real-time Processing): معرفی و کاربرد ابزارهایی مانند Spark Streaming و Kafka برای پردازش داده‌های جریانی و تحلیل بلادرنگ.
• امنیت در Hadoop: یادگیری اصول و روش‌های امن‌سازی Hadoop، شامل Kerberos، Authorization و Authentication.
• پروژه‌های عملی در دنیای واقعی: پیاده‌سازی سناریوهای واقعی کسب‌وکار با استفاده از Hadoop و ابزارهای مرتبط، که تجربه عملی ارزشمندی را برای شما فراهم می‌کند.

انتخاب این دوره آموزشی، سرمایه‌گذاری هوشمندانه‌ای برای ارتقاء مهارت‌های شما در حوزه کلان‌داده‌هاست. دلایل متعددی این دوره را از سایرین متمایز می‌سازد:

• آموزش عملی و کاربردی: برخلاف دوره‌های تئوری‌محور، تمرکز اصلی این دوره بر روی پیاده‌سازی سناریوهای واقعی و حل مسائل عملی است. شما یاد می‌گیرید چگونه با چالش‌های واقعی در پردازش کلان‌داده‌ها روبرو شوید و راه‌حل‌های مؤثری ارائه دهید.
• محتوای به‌روز و جامع: با توجه به اینکه این دوره در سال 2020-7 منتشر شده است (که نشان‌دهنده به‌روزرسانی‌های منظم و متناسب با آخرین تحولات در این حوزه است)، شما با جدیدترین تکنیک‌ها و ابزارها آشنا خواهید شد.
• ارائه بر روی فلش مموری 32GB: دسترسی آسان، سریع و آفلاین به تمامی محتوای آموزشی، که تجربه یادگیری را برای شما لذت‌بخش‌تر و کارآمدتر می‌کند. دیگر نیازی به نگرانی در مورد سرعت اینترنت یا حجم دانلود نخواهید داشت.
• تمرکز بر توسعه‌دهندگان: این دوره به طور خاص برای افرادی طراحی شده است که قصد دارند به عنوان توسعه‌دهنده Hadoop فعالیت کنند و ابزارهای لازم برای ساخت و مدیریت سیستم‌های مبتنی بر Hadoop را فراگیرند.
• پروژه‌های واقعی: با انجام پروژه‌هایی که شبیه‌سازی‌کننده مسائل واقعی کسب‌وکارها هستند، مهارت‌های آموخته شده خود را تثبیت کرده و رزومه کاری خود را تقویت می‌کنید.

این دوره برای طیف وسیعی از علاقه‌مندان و متخصصان حوزه فناوری اطلاعات مفید است، از جمله:

• مهندسان نرم‌افزار: کسانی که می‌خواهند دانش خود را در زمینه پردازش و تحلیل کلان‌داده‌ها گسترش دهند.
• دانشجویان رشته‌های مرتبط: دانشجویان علوم کامپیوتر، مهندسی نرم‌افزار، و رشته‌های آماری که به دنبال یادگیری ابزارهای مدرن تحلیل داده هستند.
• تحلیلگران داده (Data Analysts): کسانی که می‌خواهند مهارت‌های فنی خود را برای کار با حجم داده‌های بزرگ افزایش دهند.
• دانشمندان داده (Data Scientists): افرادی که نیاز به درک عمیق‌تری از زیرساخت‌های پردازش داده دارند تا بتوانند مدل‌های پیچیده‌تری را پیاده‌سازی کنند.
• مدیران IT و معماران سیستم: کسانی که مسئول طراحی و پیاده‌سازی زیرساخت‌های داده در سازمان خود هستند.
• علاقه‌مندان به Hadoop: هر فردی که به دنبال یادگیری یکی از مهم‌ترین فناوری‌های مرتبط با کلان‌داده‌ها است.

برای بهره‌وری حداکثری از این دوره، داشتن پیش‌زمینه‌های زیر توصیه می‌شود:

• آشنایی با زبان برنامه‌نویسی Java: Hadoop عمدتاً با Java نوشته شده است و نوشتن Jobهای MapReduce و سایر برنامه‌های کاربردی Hadoop به دانش Java نیاز دارد.
• مفاهیم پایه علوم کامپیوتر: آشنایی با ساختار داده‌ها، الگوریتم‌ها و اصول سیستم‌عامل‌ها کمک‌کننده خواهد بود.
• آشنایی با خط فرمان لینوکس: بسیاری از عملیات Hadoop بر روی سیستم‌عامل لینوکس انجام می‌شود، لذا تسلط بر دستورات پایه لینوکس ضروری است.
• دانش پایه‌ای از پایگاه‌های داده و SQL: این دانش برای درک بهتر ابزارهایی مانند Hive بسیار مفید است.

این دوره آموزشی به بخش‌های مختلفی تقسیم شده است تا یادگیری منظم و هدفمند را تضمین کند:

بخش اول: مقدمات و معماری Hadoop

• مفهوم کلان‌داده‌ها: تعریف، ویژگی‌ها (Volume, Velocity, Variety, Veracity) و اهمیت.
• معرفی Apache Hadoop: تاریخچه، فلسفه و مزایا.
• معماری Hadoop: NameNode, Secondary NameNode, DataNode (HDFS) و ResourceManager, NodeManager, ApplicationMaster (YARN).
• نصب و پیکربندی Hadoop: راه‌اندازی Hadoop در حالت Single Node و Pseudo-Distributed.

بخش دوم: سیستم فایل توزیع‌شده Hadoop (HDFS)

• مفاهیم HDFS: بلاک‌ها، قابلیت تحمل خطا (Fault Tolerance)، کپی‌سازی (Replication).
• دستورات HDFS: ایجاد، حذف، کپی، انتقال و مشاهده فایل‌ها و دایرکتوری‌ها.
• مدیریت HDFS: نظارت بر سلامت کلاستر، مانیتورینگ NameNode و DataNodeها.

بخش سوم: پردازش داده با MapReduce

• الگوی MapReduce: تشریح مراحل Map، Shuffle، Sort و Reduce.
• نوشتن اولین MapReduce Job: با استفاده از Hadoop API.
• انواع Input/Output Formats در MapReduce.
• انواع Mapper و Reducer و کاربرد آن‌ها.
• بهینه‌سازی MapReduce Jobs: پارتیشن‌بندی، تجمیع (Combiner)، و فشرده‌سازی.

بخش چهارم: اکوسیستم Hadoop

• Apache Hive: مفاهیم Data Warehouse، طراحی Schema، نوشتن کوئری با HiveQL.
• Apache Pig: زبان اسکریپت‌نویسی Pig Latin، پردازش داده‌های نیمه‌ساختاریافته.
• Apache HBase: معرفی پایگاه داده NoSQL ستونی، مدل داده‌ای، و عملیات CRUD.
• Apache Zookeeper: نقش آن در هماهنگ‌سازی و مدیریت کلاستر.

بخش پنجم: پردازش جریان داده و زمان‌بندی

• Apache Spark: معرفی Spark Core، RDDs، DataFrames و Spark SQL.
• Spark Streaming: پردازش داده‌های جریانی و کاربردهای آن.
• Apache Kafka: معماری Kafka، Publisher-Subscriber Model، و کاربرد در جریان داده.
• Apache Oozie / Apache Airflow: ابزارهای زمان‌بندی و مدیریت Workflow در Hadoop.

بخش ششم: پروژه‌های عملی و سناریوهای دنیای واقعی

• تحلیل داده‌های لاگ سرور با استفاده از Hadoop.
• پردازش داده‌های شبکه‌های اجتماعی و استخراج الگوها.
• پیاده‌سازی یک Pipeline پردازش داده برای یک اپلیکیشن وب.
• بهینه‌سازی عملکرد یک MapReduce Job پیچیده.