فلش‌کارت‌های آموزشی معماری نرم‌افزار: Build data application with data Lake approach

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره معماری نرم‌افزار: Build data application with data Lake approach

موضوع کلی: برنامه نویسی

موضوع میانی: معماری نرم‌افزار

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر معماری نرم‌افزار و نقش معمار
• 2. معرفی اپلیکیشن‌های داده‌محور (Data-Driven Applications)
• 3. چالش‌های داده‌های حجیم (Big Data) و نیاز به معماری‌های جدید
• 4. مقایسه رویکردهای سنتی: پایگاه داده رابطه‌ای در مقابل انبار داده (Data Warehouse)
• 5. معرفی مفهوم دریاچه داده (Data Lake)
• 6. تفاوت‌های کلیدی بین دریاچه داده و انبار داده
• 7. مزایا و معایب رویکرد دریاچه داده
• 8. داده، فراداده (Metadata) و اهمیت آن در معماری داده
• 9. مفهوم Schema-on-Read در مقابل Schema-on-Write
• 10. بررسی چرخه‌ی حیات داده (Data Lifecycle)
• 11. معماری لایه‌ای دریاچه داده: Raw, Cleansed, Curated
• 12. منطقه خام (Raw/Bronze Zone): اصول و طراحی
• 13. منطقه پاکسازی‌شده (Cleansed/Silver Zone): تبدیل و استانداردسازی
• 14. منطقه آماده مصرف (Curated/Gold Zone): تجمیع و بهینه‌سازی برای تحلیل
• 15. الگوهای دریافت داده (Data Ingestion): دسته‌ای (Batch)
• 16. الگوهای دریافت داده (Data Ingestion): جریانی (Streaming)
• 17. الگوهای دریافت داده: Change Data Capture (CDC)
• 18. انتخاب فرمت فایل مناسب: Parquet, Avro, ORC
• 19. فشرده‌سازی داده‌ها در دریاچه داده
• 20. پارتیشن‌بندی داده‌ها (Data Partitioning) برای بهینه‌سازی کوئری
• 21. مدیریت فراداده (Metadata Management) و کاتالوگ داده (Data Catalog)
• 22. نقش کاتالوگ داده در کشف و استفاده از داده‌ها
• 23. پردازش داده‌ها: مفهوم ETL در مقابل ELT
• 24. اصول کیفیت داده (Data Quality) در دریاچه داده
• 25. حاکمیت داده (Data Governance): مقدمه‌ای بر اصول اولیه
• 26. امنیت داده در لایه‌های مختلف دریاچه داده
• 27. مفاهیم اسید (ACID) و چالش‌های آن در دریاچه داده
• 28. معرفی Lakehouse: ترکیب بهترین‌های Data Lake و Data Warehouse
• 29. آشنایی با فرمت‌های جدولی: Delta Lake, Apache Iceberg, Apache Hudi
• 30. نقش Delta Lake در افزودن قابلیت‌های تراکنشی به Data Lake
• 31. مدیریت Schema Evolution در دریاچه داده
• 32. انتخاب پلتفرم ابری: AWS vs Azure vs GCP
• 33. ذخیره‌سازی شیء (Object Storage): معرفی Amazon S3
• 34. ذخیره‌سازی شیء (Object Storage): معرفی Azure Data Lake Storage (ADLS) Gen2
• 35. ذخیره‌سازی شیء (Object Storage): معرفی Google Cloud Storage
• 36. ابزارهای دریافت داده دسته‌ای: Apache Sqoop, AWS DMS
• 37. ابزارهای دریافت داده جریانی: Apache Kafka
• 38. ابزارهای دریافت داده جریانی: Amazon Kinesis
• 39. ابزارهای هماهنگ‌سازی و انتقال داده: Apache NiFi
• 40. موتور پردازش داده توزیع‌شده: Apache Spark - معماری و مفاهیم اصلی
• 41. کار با DataFrame‌ها در Apache Spark
• 42. پردازش جریانی با Spark Structured Streaming
• 43. موتور پردازش داده توزیع‌شده: Apache Flink
• 44. ابزارهای ارکستراسیون (Orchestration): Apache Airflow
• 45. طراحی DAG در Apache Airflow برای پایپ‌لاین‌های داده
• 46. ابزارهای ارکستراسیون جایگزین: Prefect و Dagster
• 47. موتورهای کوئری توزیع‌شده: Presto و Trino
• 48. سرویس‌های کوئری Serverless: Amazon Athena
• 49. سرویس‌های کوئری Serverless: Azure Synapse Serverless SQL
• 50. سرویس‌های مدیریت‌شده Spark: AWS EMR, Databricks, Azure Synapse
• 51. معرفی Databricks و پلتفرم Lakehouse آن
• 52. ابزارهای کاتالوگ داده: AWS Glue Data Catalog
• 53. ابزارهای کاتالوگ داده متن‌باز: Amundsen و DataHub
• 54. ابزارهای هوش تجاری (BI) سازگار با Data Lake: Tableau, Power BI
• 55. اتصال ابزارهای BI به موتورهای کوئری مانند Trino
• 56. زیرساخت به عنوان کد (IaC) برای معماری داده: Terraform
• 57. کانتینرسازی (Containerization) با Docker برای اپلیکیشن‌های داده
• 58. ارکستراسیون کانتینرها با Kubernetes در اکوسیستم داده
• 59. مدیریت وابستگی‌ها و محیط‌های پایتون برای پروژه‌های داده
• 60. آشنایی با فرمت Apache Arrow و اهمیت آن در بهینه‌سازی انتقال داده
• 61. گام اول: تعریف نیازمندی‌های کسب‌وکار و موارد استفاده (Use Cases)
• 62. طراحی معماری مرجع (Reference Architecture) برای یک Data Lake
• 63. انتخاب تکنولوژی‌ها (Tech Stack) بر اساس نیازمندی‌ها
• 64. طراحی ساختار پوشه‌ها و پارتیشن‌بندی در Object Storage
• 65. پیاده‌سازی پایپ‌لاین دریافت داده دسته‌ای از پایگاه‌داده‌های رابطه‌ای
• 66. پیاده‌سازی پایپ‌لاین دریافت داده جریانی از لاگ‌های اپلیکیشن
• 67. پیاده‌سازی فرآیندهای پاکسازی و اعتبارسنجی داده (Cleansing & Validation)
• 68. استراتژی‌های مدیریت داده‌های ناقص و ناسازگار (Bad Records)
• 69. طراحی و پیاده‌سازی تبدیل‌های داده از لایه Silver به Gold
• 70. ساخت جداول تجمیعی (Aggregate Tables) و بهینه‌سازی برای داشبوردها
• 71. پیاده‌سازی امنیت: مدیریت دسترسی با IAM (Identity and Access Management)
• 72. رمزنگاری داده‌ها در حالت سکون (At Rest) و در حال انتقال (In Transit)
• 73. پیاده‌سازی کاتالوگ داده و ثبت فراداده‌های فنی و کسب‌وکار
• 74. خودکارسازی فرآیندهای کشف شمای داده (Schema Discovery)
• 75. تست پایپ‌لاین‌های داده: تست واحد، تست یکپارچه‌سازی و تست کیفیت داده
• 76. پیاده‌سازی Data Quality Checks با ابزارهایی مانند Great Expectations
• 77. استراتژی‌های مدیریت هزینه در پلتفرم‌های ابری
• 78. بهینه‌سازی هزینه‌های ذخیره‌سازی (Storage Cost Optimization)
• 79. بهینه‌سازی هزینه‌های پردازش (Compute Cost Optimization)
• 80. مستندسازی معماری و پایپ‌لاین‌های داده
• 81. اتصال ابزارهای BI و داشبورد به لایه Gold
• 82. ساخت یک API سرویس‌دهی داده (Data Serving API) بر روی Data Lake
• 83. معماری برای کاربردهای یادگیری ماشین (Machine Learning)
• 84. مهندسی ویژگی (Feature Engineering) در مقیاس بزرگ با Spark
• 85. ساخت و مدیریت یک Feature Store بر روی Data Lake
• 86. آموزش مدل‌های ML با داده‌های موجود در Data Lake
• 87. استقرار (Deployment) و سرویس‌دهی مدل‌های ML
• 88. پیاده‌سازی یک اپلیکیشن تحلیلی Real-time
• 89. مفهوم Data as a Product و ارائه داده به تیم‌های دیگر
• 90. ایجاد Sandbox برای تحلیلگران و دانشمندان داده
• 91. پیاده‌سازی کامل حاکمیت داده: نقش‌ها، سیاست‌ها و فرآیندها
• 92. ردیابی تبار داده (Data Lineage) از منبع تا مصرف
• 93. مشاهده‌پذیری داده (Data Observability): نظارت بر سلامت پایپ‌لاین‌ها
• 94. مدیریت چرخه عمر داده (Data Lifecycle Management) و بایگانی
• 95. پیاده‌سازی CI/CD برای پایپ‌لاین‌های داده (DataOps)
• 96. معماری Data Mesh: اصول و تفاوت آن با Data Lake متمرکز
• 97. بررسی یک مطالعه موردی (Case Study): ساخت Data Lake برای یک شرکت تجارت الکترونیک
• 98. بررسی یک مطالعه موردی (Case Study): مهاجرت از انبار داده سنتی به Lakehouse
• 99. روندهای آینده در معماری داده: Real-time Analytics و AI/ML
• 100. جمع‌بندی دوره و نقشه راه برای تبدیل شدن به یک معمار داده