فلش‌کارت‌های آموزشی تجزیه و تحلیل کلان داده با جاوا (Big Data with Java - Hadoop, Spark)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تجزیه و تحلیل کلان داده با جاوا (Big Data with Java - Hadoop, Spark)

موضوع کلی: برنامه نویسی

موضوع میانی: جاوا (Java)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر کلان داده و چالش‌های پردازش آن
• 2. معماری و اجزای اکوسیستم Hadoop
• 3. سیستم فایل توزیع‌شده HDFS و مفاهیم ذخیره‌سازی
• 4. نصب و پیکربندی Hadoop در محیط توزیع‌شده
• 5. مدل برنامه‌نویسی MapReduce و مفاهیم پایه
• 6. پیاده‌سازی وظایف Map و Reduce در جاوا
• 7. مدیریت ورودی و خروجی در MapReduce با InputFormat و OutputFormat
• 8. بهینه‌سازی عملکرد Job های MapReduce
• 9. مفاهیم پارتیشن‌بندی و مرتب‌سازی داده در MapReduce
• 10. معرفی و نصب Apache Spark
• 11. ساختار RDD و عملیات Transformation و Action
• 12. کار با SparkContext و SparkSession در جاوا
• 13. انبارش داده‌های حجیم با Hive و پرس‌وجو با HiveQL
• 14. مفاهیم Data Warehouse و پارتیشن‌بندی در Hive
• 15. معرفی Apache HBase و ذخیره‌سازی NoSQL
• 16. طراحی Schema در HBase و عملیات CRUD با جاوا
• 17. معرفی Apache Pig برای پردازش جریان‌های داده
• 18. مدیریت منابع و زمان‌بندی با YARN
• 19. پردازش جریانی و معرفی Apache Flink
• 20. مفاهیم کلیدی Spark SQL و DataFrame
• 21. انجام پرس‌وجوهای تحلیلی با Spark SQL روی داده‌های ساخت‌یافته
• 22. مدیریت فایل‌های Parquet و Avro در Spark
• 23. معرفی Apache Kafka و معماری پیام‌رسانی
• 24. تولید و مصرف پیام در Kafka با استفاده از Java API
• 25. پردازش جریانی با Spark Streaming و DStream
• 26. ادغام Kafka و Spark برای پردازش لحظه‌ای داده
• 27. مفاهیم Cluster Mode و مدیریت Executor ها در Spark
• 28. تنظیم پارامترهای حافظه و CPU برای Job های Spark
• 29. مدیریت وابستگی‌ها و کتابخانه‌ها در پروژه‌های Maven
• 30. معرفی Apache Oozie برای زمان‌بندی Job ها
• 31. مدیریت لاگ‌ها و مانیتورینگ در Hadoop
• 32. معرفی Apache Zeppelin برای نوت‌بوک تحلیلی
• 33. مفاهیم Shuffle و تأثیر آن بر عملکرد
• 34. الگوریتم‌های Join در MapReduce و Spark
• 35. پردازش داده‌های گرافی با GraphX در Spark
• 36. مفاهیم Machine Learning روی داده‌های حجیم با MLlib
• 37. پیاده‌سازی الگوریتم‌های خوشه‌بندی در Spark
• 38. مدیریت داده‌های تکراری و پاک‌سازی داده در مقیاس بزرگ
• 39. معرفی Apache Cassandra و مدل داده ستونی
• 40. اتصال جاوا به HDFS با Hadoop FileSystem API
• 41. مفاهیم Serialization و Writable در Hadoop
• 42. معرفی Apache Accumulo برای ذخیره‌سازی امن
• 43. مدیریت امنیت و احراز هویت در Hadoop با Kerberos
• 44. معرفی Apache Ranger برای کنترل دسترسی
• 45. پشتیبان‌گیری و بازیابی داده در HDFS
• 46. مدیریت Replication Factor و Fault Tolerance
• 47. مفاهیم Data Locality و تأثیر آن بر سرعت پردازش
• 48. معرفی Tez به عنوان موتور اجرایی جایگزین
• 49. بهینه‌سازی کد جاوا برای اجرا در Spark
• 50. مدیریت داده‌های حجیم متنی و فایل‌های Log
• 51. معرفی Apache NiFi برای جمع‌آوری و انتقال داده
• 52. مفاهیم ETL در معماری کلان داده
• 53. آزمون و اشکال‌زدایی Job های توزیع‌شده
• 54. معرفی Hadoop 3 و ویژگی‌های جدید
• 55. مدیریت نسخه‌های کتابخانه‌های Hadoop و Spark
• 56. مفاهیم Checkpointing و Lineage در Spark
• 57. مدیریت حافظه نهان و Persistence در RDD
• 58. معرفی Apache Arrow برای پردازش ستونی
• 59. مفاهیم Data Lake و تفاوت با Data Warehouse
• 60. معرفی Apache Atlas برای مدیریت فراداده
• 61. مدیریت Cost و بهینه‌سازی بودجه در خوشه‌های ابری
• 62. آشنایی با ابزارهای انتقال داده مانند Sqoop
• 63. مفاهیم Containerization و Docker برای کلان داده
• 64. معرفی Kubernetes برای مدیریت خوشه‌های Spark
• 65. مدیریت لاگ‌های توزیع‌شده با ELK Stack
• 66. مفاهیم Streaming Analytics و پنجره‌های زمانی
• 67. معرفی Apache Druid برای پرس‌وجوهای لحظه‌ای
• 68. مدیریت داده‌های زمانی و سری زمانی در کلان داده
• 69. مفاهیم Data Partitioning و Bucketing در Hive
• 70. بهینه‌سازی پرس‌وجوهای Spark SQL با Catalyst Optimizer
• 71. معرفی Apache Kudu برای ذخیره‌سازی سریع تحلیلی
• 72. مفاهیم Data Skew و راه‌حل‌های مقابله با آن
• 73. مدیریت فشرده‌سازی داده‌ها با Snappy و LZ4
• 74. معرفی Apache Avro برای تبادل داده
• 75. مفاهیم Schema Evolution در Avro و Parquet
• 76. مدیریت Pipeline های پیچیده با Apache Airflow
• 77. معرفی Presto برای پرس‌وجوهای SQL توزیع‌شده
• 78. آشنایی با معماری Lakehouse و Delta Lake
• 79. مفاهیم Transaction در ذخیره‌سازهای کلان داده
• 80. مدیریت داده‌های JSON در Spark SQL
• 81. معرفی Apache Gobblin برای یکپارچه‌سازی داده
• 82. مفاهیم Multi-Tenancy و ایزوله‌سازی منابع