کتاب Hadoop: مبانی و معماری با فرمت AZW3 برای کتابخوان کیندل و فرمت EPUB

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Hadoop: مبانی و معماری

موضوع کلی: مدیریت و تحلیل داده‌ها در کسب‌وکار

موضوع میانی: Hadoop

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش داده‌های بزرگ
• 2. آشنایی با اکوسیستم Hadoop
• 3. نصب و راه‌اندازی Hadoop در محیط‌های مختلف
• 4. پیکربندی Hadoop: فایل‌های اصلی و تنظیمات
• 5. سیستم فایل توزیع‌شده Hadoop (HDFS): مفاهیم کلیدی
• 6. معماری HDFS: نام‌نود و دیتا نود
• 7. ذخیره‌سازی داده‌ها در HDFS: بلاک‌ها و تکرار
• 8. دستورات اصلی HDFS: ایجاد، حذف، و دسترسی به فایل‌ها
• 9. MapReduce: اصول و مبانی
• 10. مدل برنامه‌نویسی MapReduce: Map و Reduce
• 11. مراحل اجرای یک Job در MapReduce
• 12. نوشتن اولین برنامه MapReduce
• 13. تنظیمات و بهینه‌سازی Job در MapReduce
• 14. زبان‌های برنامه‌نویسی مناسب برای MapReduce
• 15. استفاده از Combiner در MapReduce
• 16. پارتیشن‌بندی داده‌ها در MapReduce
• 17. مرتب‌سازی داده‌ها در MapReduce
• 18. آشنایی با YARN: مدیریت منابع در Hadoop
• 19. معماری YARN: ApplicationMaster و NodeManager
• 20. زمان‌بندی Jobها در YARN
• 21. استفاده از Capacity Scheduler و Fair Scheduler
• 22. Hadoop I/O: Serialization و Deserialization
• 23. فایل‌های فرمت‌شده در Hadoop: SequenceFile و Avro
• 24. Hadoop Streaming: پردازش داده با اسکریپت‌های خارجی
• 25. Hadoop Pipes: استفاده از برنامه‌های C++ در MapReduce
• 26. آشنایی با Apache Hive: SQL بر روی Hadoop
• 27. نوشتن Query در Hive
• 28. پارتیشن‌بندی و Bucket کردن جداول در Hive
• 29. آشنایی با Apache Pig: زبان برنامه‌نویسی سطح بالا برای Hadoop
• 30. نوشتن اسکریپت در Pig
• 31. تبدیل اسکریپت Pig به MapReduce
• 32. آشنایی با Apache HBase: پایگاه داده NoSQL بر روی Hadoop
• 33. معماری HBase: RegionServer و HMaster
• 34. ذخیره‌سازی و دسترسی به داده‌ها در HBase
• 35. آشنایی با Apache Spark: پردازش سریع داده‌های بزرگ
• 36. مفاهیم کلیدی Spark: RDD و DataFrame
• 37. نوشتن برنامه Spark با استفاده از Scala
• 38. استفاده از Spark SQL برای پردازش داده‌ها
• 39. ادغام Spark با Hadoop
• 40. آشنایی با Apache Flume: جمع‌آوری و انتقال داده‌ها
• 41. پیکربندی و استفاده از Flume Agent
• 42. آشنایی با Apache Kafka: پلتفرم استریمینگ داده
• 43. مفاهیم کلیدی Kafka: Topic و Producer/Consumer
• 44. ادغام Kafka با Hadoop
• 45. مانیتورینگ و عیب‌یابی Hadoop