کتاب معماری Data Lake با استفاده از Apache Hadoop با فرمت AZW3 برای کتابخوان کیندل و فرمت EPUB

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره معماری Data Lake با استفاده از Apache Hadoop

موضوع کلی: معماری و مهندسی کامپیوتر

موضوع میانی: معماری معماری Data Lakes (Data Lake Architectures)

📋 سرفصل‌های دوره

• 1. معماری Data Lake و مفاهیم پایه
• 2. معرفی اکوسیستم Apache Hadoop
• 3. زبان برنامه‌نویسی جاوا برای Hadoop
• 4. سیستم فایل توزیع‌شده Hadoop (HDFS)
• 5. مفاهیم HDFS: بلاک‌ها، نام‌نود و دیتا نود
• 6. پیکربندی و مدیریت HDFS
• 7. نوشتن و خواندن داده‌ها در HDFS
• 8. MapReduce: چارچوبی برای پردازش داده‌های بزرگ
• 9. مراحل اجرای یک Job در MapReduce
• 10. نوشتن برنامه‌های MapReduce ساده
• 11. بهینه‌سازی برنامه‌های MapReduce
• 12. معرفی Apache YARN: مدیریت منابع در Hadoop
• 13. کارکرد YARN و نقش Resource Manager و Node Manager
• 14. راه‌اندازی و پیکربندی YARN
• 15. استفاده از YARN برای اجرای برنامه‌های MapReduce
• 16. Apache Hive: انبار داده بر روی Hadoop
• 17. زبان پرس‌وجوی HiveQL
• 18. ایجاد جداول و بارگذاری داده‌ها در Hive
• 19. پرس‌وجو و تحلیل داده‌ها با HiveQL
• 20. بهینه‌سازی پرس‌وجوهای Hive
• 21. Apache Pig: زبان برنامه‌نویسی سطح بالا برای Hadoop
• 22. نوشتن اسکریپت‌های Pig Latin
• 23. تبدیل داده‌ها با استفاده از Pig
• 24. ادغام Pig با Hadoop
• 25. Apache Spark: موتور پردازش سریع داده‌ها
• 26. معماری Spark و مفاهیم RDD
• 27. نوشتن برنامه‌های Spark با استفاده از Scala
• 28. Spark SQL: پرس‌وجو و تحلیل داده‌ها با Spark
• 29. ادغام Spark با Hive و HDFS
• 30. Apache Kafka: پلتفرم Streaming داده
• 31. مفاهیم Kafka: Topic، Partition و Consumer Group
• 32. ارسال و دریافت داده‌ها با Kafka
• 33. ادغام Kafka با Hadoop
• 34. Apache Flume: جمع‌آوری و انتقال داده‌ها
• 35. پیکربندی و استفاده از Flume Agent
• 36. انتقال داده‌ها از منابع مختلف به HDFS
• 37. Apache Sqoop: انتقال داده‌ها بین Hadoop و پایگاه‌های داده رابطه‌ای
• 38. وارد کردن داده‌ها از پایگاه داده به Hadoop
• 39. صادر کردن داده‌ها از Hadoop به پایگاه داده
• 40. Hadoop Security: احراز هویت و مجوز
• 41. مدیریت کاربران و گروه‌ها در Hadoop
• 42. پیکربندی Kerberos برای امنیت Hadoop
• 43. Hadoop Monitoring: نظارت و مدیریت خوشه
• 44. ابزارهای مانیتورینگ Hadoop
• 45. عیب‌یابی و رفع مشکلات Hadoop