کتاب Hadoop و Spark: مقایسه و کاربرد با فرمت AZW3 برای کتابخوان کیندل و فرمت EPUB

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Hadoop و Spark: مقایسه و کاربرد

موضوع کلی: مدیریت و تحلیل داده‌ها در کسب‌وکار

موضوع میانی: Hadoop

📋 سرفصل‌های دوره

• 1. آشنایی با اکوسیستم پردازش داده‌های بزرگ
• 2. مقدمه‌ای بر Hadoop: تاریخچه و مفاهیم کلیدی
• 3. معماری Hadoop: اجزا و نحوه تعامل
• 4. HDFS: سیستم فایل توزیع‌شده Hadoop
• 5. MapReduce: مدل برنامه‌نویسی پردازش موازی
• 6. نصب و راه‌اندازی Hadoop در محیط‌های مختلف
• 7. مدیریت کلاستر Hadoop: نظارت و پیکربندی
• 8. پیکربندی و بهینه‌سازی HDFS
• 9. آشنایی با YARN: مدیریت منابع در Hadoop
• 10. نوشتن برنامه‌های MapReduce پایه
• 11. بهینه‌سازی عملکرد برنامه‌های MapReduce
• 12. استفاده از Combiners برای کاهش انتقال داده
• 13. آشنایی با SequenceFile و Avro
• 14. کار با داده‌های متنی در Hadoop
• 15. تحلیل داده‌های لاگ با استفاده از Hadoop
• 16. مقدمه‌ای بر Spark: تاریخچه و مزایا
• 17. معماری Spark: RDD، DataFrame، Dataset
• 18. نصب و راه‌اندازی Spark در محیط‌های مختلف
• 19. Spark SQL: کار با داده‌های ساخت‌یافته
• 20. Spark Streaming: پردازش جریان داده‌ها
• 21. Spark MLlib: یادگیری ماشین در Spark
• 22. Spark GraphX: تحلیل گراف در Spark
• 23. مقایسه RDD، DataFrame و Dataset
• 24. بهینه‌سازی عملکرد Spark
• 25. پیکربندی حافظه و هسته‌ها در Spark
• 26. استفاده از Broadcast Variables و Accumulators
• 27. آشنایی با Spark UI: مانیتورینگ و عیب‌یابی
• 28. مقایسه Hadoop و Spark: نقاط قوت و ضعف
• 29. انتخاب بین Hadoop و Spark بر اساس نیاز
• 30. استفاده همزمان از Hadoop و Spark
• 31. ادغام Spark با سایر ابزارهای اکوسیستم Hadoop
• 32. پیاده‌سازی یک Pipeline پردازش داده با Hadoop و Spark
• 33. کاربرد Spark در تحلیل شبکه‌های اجتماعی
• 34. کاربرد Spark در سیستم‌های توصیه‌گر
• 35. کاربرد Spark در تشخیص تقلب
• 36. کاربرد Spark در پیش‌بینی سری‌های زمانی
• 37. استفاده از Spark برای پردازش داده‌های حسگرها
• 38. کاربرد Spark در پردازش تصاویر
• 39. کاربرد Spark در پردازش زبان طبیعی
• 40. مقایسه Spark با سایر فریم‌ورک‌های پردازش داده
• 41. آشنایی با Apache Kafka و ادغام با Spark
• 42. آشنایی با Apache Hive و ادغام با Spark
• 43. آشنایی با Apache Pig و ادغام با Spark
• 44. استفاده از Spark برای ETL (استخراج، تبدیل، بارگذاری)
• 45. مقایسه Hadoop و Spark از نظر هزینه