فلش‌کارت‌های آموزشی معماری نرم‌افزار: Designing Data Lakes with Hadoop and Spark

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره معماری نرم‌افزار: Designing Data Lakes with Hadoop and Spark

موضوع کلی: برنامه نویسی

موضوع میانی: معماری نرم‌افزار

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر معماری نرم‌افزار
• 2. اصول طراحی سیستم‌های توزیع شده
• 3. چالش‌های مدیریت داده‌های بزرگ
• 4. معرفی Data Lake
• 5. مزایای Data Lake در مقایسه با Data Warehouse
• 6. تفاوت‌های کلیدی Data Lake و Data Warehouse
• 7. انواع Data Lake (Raw, Curated, etc.)
• 8. معماری سنتی Data Lake
• 9. معماری Data Lake مدرن
• 10. مبانی Hadoop
• 11. HDFS: Hadoop Distributed File System
• 12. اجزای HDFS (NameNode, DataNode, Secondary NameNode)
• 13. مفاهیم ذخیره‌سازی در HDFS (Blocks, Replication)
• 14. مدیریت فضای ذخیره‌سازی در HDFS
• 15. دستورات پایه HDFS
• 16. معرفی Spark
• 17. مبانی Spark Core
• 18. اجزای Spark (Driver, Executors, Cluster Manager)
• 19. RDDs: Resilient Distributed Datasets
• 20. عملیات Transformation در RDDs
• 21. عملیات Action در RDDs
• 22. Spark SQL
• 23. DataFrames
• 24. DataSets
• 25. Spark Streaming
• 26. MLeap
• 27. GCP BigQuery
• 28. AWS S3
• 29. Azure Data Lake Storage (ADLS)
• 30. Apache Kafka
• 31. مفاهیم Publisher-Subscriber
• 32. معماری Kafka
• 33. کاربرد Kafka در Data Lake
• 34. Spark Streaming با Kafka
• 35. پایپ‌لاین‌های داده (Data Pipelines)
• 36. انواع پایپ‌لاین‌های داده
• 37. طراحی پایپ‌لاین‌های داده ETL/ELT
• 38. ابزارهای Orchestration (Apache Airflow, Luigi)
• 39. Apache Airflow: مقدمه و نصب
• 40. DAGs در Airflow
• 41. Operators, Tasks, و Tasks Instances
• 42. تنظیم زمان‌بندی و وابستگی‌ها در Airflow
• 43. مانیتورینگ و مدیریت پایپ‌لاین‌ها در Airflow
• 44. معماری Lambda
• 45. مزایا و معایب معماری Lambda
• 46. پیاده‌سازی معماری Lambda با Hadoop و Spark
• 47. معماری Kappa
• 48. مقایسه معماری Lambda و Kappa
• 49. پیاده‌سازی معماری Kappa
• 50. امنیت در Data Lake
• 51. اصول امنیت داده
• 52. احراز هویت (Authentication) و مجوزدهی (Authorization)
• 53. امنیت در HDFS
• 54. امنیت در Spark
• 55. رمزنگاری داده (Data Encryption)
• 56. مدیریتMetadata Data Lake
• 57. مفاهیم Metadata
• 58. انواع Metadata (Technical, Business, Operational)
• 59. ابزارهای مدیریت Metadata (Apache Atlas, AWS Glue Data Catalog)
• 60. Apache Atlas: معرفی و قابلیت‌ها
• 61. Data Governance در Data Lake
• 62. مفاهیم Data Governance
• 63. نقش Data Governance در Data Lake
• 64. سیاست‌ها و فرآیندهای Data Governance
• 65. کیفیت داده (Data Quality)
• 66. مفاهیم کیفیت داده
• 67. اندازه‌گیری و بهبود کیفیت داده
• 68. قوانین اعتبارسنجی داده (Data Validation Rules)
• 69. پاکسازی داده (Data Cleansing)
• 70. انواع داده در Data Lake (Structured, Semi-structured, Unstructured)
• 71. فرمت‌های ذخیره‌سازی داده (Parquet, ORC, Avro, JSON, CSV)
• 72. مزایا و معایب فرمت‌های مختلف
• 73. انتخاب فرمت مناسب برای Data Lake
• 74. بهینه‌سازی ذخیره‌سازی در Data Lake
• 75. فشرده‌سازی داده (Data Compression)
• 76. پارتیشن‌بندی داده (Data Partitioning)
• 77. مرتب‌سازی داده (Data Sorting)
• 78. Schema Evolution در Data Lake
• 79. چالش‌های Schema Evolution
• 80. مدیریت Schema Evolution با Avro و Parquet
• 81. مطالعات موردی Data Lake
• 82. Data Lake در صنعت مالی
• 83. Data Lake در صنعت سلامت
• 84. Data Lake در صنعت خرده‌فروشی
• 85. Data Lake در صنعت انرژی
• 86. Data Lake برای تحلیل Big Data
• 87. Data Lake برای Machine Learning
• 88. Data Lake برای هوش تجاری (BI)
• 89. طراحی Data Lake برای مقیاس‌پذیری (Scalability)
• 90. تکنیک‌های مقیاس‌پذیری افقی و عمودی
• 91. طراحی Data Lake برای دسترس‌پذیری (Availability)
• 92. مفاهیم High Availability
• 93. طراحی Data Lake برای تحمل خطا (Fault Tolerance)
• 94. استراتژی‌های تحمل خطا
• 95. استقرار (Deployment) Data Lake
• 96. استقرار On-Premise
• 97. استقرار در Cloud
• 98. استقرار Hybrid
• 99. ابزارهای کانتینرسازی (Docker, Kubernetes)
• 100. مقدمه Docker