فلش‌کارت‌های آموزشی معماری داده: طراحی سیستم‌های ذخیره‌سازی و پردازش داده

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره معماری داده: طراحی سیستم‌های ذخیره‌سازی و پردازش داده

موضوع کلی: برنامه نویسی

موضوع میانی: معماری نرم‌افزار

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر معماری داده و اهمیت آن
• 2. نقش معمار داده در سازمان و مسئولیت‌های کلیدی
• 3. سیر تکامل سیستم‌های داده‌ای و معماری‌های مختلف
• 4. مفاهیم اساسی: داده، اطلاعات، دانش و هوش
• 5. چرخه حیات داده (Data Lifecycle) در سازمان
• 6. مفاهیم بنیادی مدیریت داده و حاکمیت داده (Data Governance)
• 7. معرفی اجزای اصلی سیستم‌های داده و اکوسیستم آن‌ها
• 8. اصول و الگوهای معماری نرم‌افزار مرتبط با داده
• 9. چالش‌های رایج در مدیریت و پردازش داده‌های حجیم (Big Data)
• 10. اهداف و مزایای پیاده‌سازی معماری داده موثر
• 11. مدل‌سازی داده مفهومی (Conceptual Data Modeling)
• 12. مدل‌سازی داده منطقی (Logical Data Modeling)
• 13. مدل‌سازی داده فیزیکی (Physical Data Modeling)
• 14. نمودارهای رابطه-موجودیت (ER Diagrams) و ارتباط موجودیت‌ها
• 15. زبان یکپارچه مدل‌سازی (UML) برای نمایش مدل‌های داده
• 16. اصول و مبانی مدل رابطه‌ای (Relational Model)
• 17. نرمال‌سازی داده‌ها (Normal Forms: 1NF, 2NF, 3NF)
• 18. فرم نرمال بوییس-کاد (BCNF) و کاربردهای آن
• 19. دنرمال‌سازی (Denormalization) و موارد استفاده آن
• 20. مدل‌سازی ابعادی (Dimensional Modeling): طراحی Star Schema
• 21. مدل‌سازی ابعادی: طراحی Snowflake Schema
• 22. مدل‌سازی Data Vault برای انبار داده
• 23. ابزارهای مدل‌سازی داده و انتخاب آن‌ها
• 24. فرهنگ داده (Data Dictionary) و مدیریت فراداده (Metadata Management)
• 25. کیفیت داده (Data Quality) و تکنیک‌های پروفایل‌سازی داده
• 26. معرفی سیستم‌های مدیریت پایگاه داده رابطه‌ای (RDBMS)
• 27. زبان SQL: دستورات تعریف، دستکاری و کنترل داده
• 28. طراحی پایگاه داده رابطه‌ای: بهترین رویه‌ها و قواعد
• 29. استراتژی‌های ایندکس‌گذاری (Indexing) برای RDBMS
• 30. بهینه‌سازی پرس‌وجوها (Query Optimization) در پایگاه داده
• 31. مفهوم تراکنش (Transaction) و ویژگی‌های ACID
• 32. کنترل همزمانی (Concurrency Control) در پایگاه داده‌ها
• 33. امنیت پایگاه داده: احراز هویت، مجوزها و رمزنگاری
• 34. استراتژی‌های پشتیبان‌گیری و بازیابی (Backup & Recovery)
• 35. تکثیر داده (Replication): Master-Slave و Multi-Master
• 36. تقسیم‌بندی و شاردینگ (Partitioning & Sharding) در RDBMS
• 37. پایگاه داده‌های رابطه‌ای ابری (Cloud RDBMS) مانند Amazon RDS
• 38. تنظیم عملکرد پایگاه داده (Database Performance Tuning)
• 39. نماهای مادی (Materialized Views) و کاربردهای آن‌ها
• 40. رویه‌های ذخیره شده (Stored Procedures) و توابع در SQL
• 41. مقدمه‌ای بر پایگاه داده‌های NoSQL و چرایی نیاز به آن‌ها
• 42. قضیه CAP و کاربرد آن در طراحی سیستم‌های NoSQL
• 43. پایگاه داده‌های Key-Value Store (مانند Redis, DynamoDB)
• 44. پایگاه داده‌های Document Store (مانند MongoDB, Couchbase)
• 45. پایگاه داده‌های Column-Family Store (مانند Cassandra, HBase)
• 46. پایگاه داده‌های گراف (Graph Databases) و موارد استفاده آن‌ها
• 47. موتورهای جستجو به عنوان پایگاه داده (مانند Elasticsearch)
• 48. پایگاه داده‌های سری زمانی (Time-Series Databases)
• 49. تداوم چندزبانه (Polyglot Persistence) در معماری‌های داده
• 50. مدل‌های سازگاری (Consistency Models) در NoSQL
• 51. مهاجرت داده از پایگاه داده‌های SQL به NoSQL
• 52. معماری‌های ترکیبی ذخیره‌سازی داده (Hybrid Storage)
• 53. ذخیره‌سازی شیءگرا (Object Storage) مانند Amazon S3
• 54. سیستم‌های فایل توزیع‌شده برای کلان‌داده (مانند HDFS)
• 55. مدیریت و پردازش داده‌های غیرساختاریافته و نیمه‌ساختاریافته
• 56. مقدمه‌ای بر پردازش داده و دسته‌بندی انواع آن
• 57. پردازش دسته‌ای (Batch Processing) و ویژگی‌های آن
• 58. پردازش جریانی (Stream Processing) و پردازش بی‌درنگ (Real-time)
• 59. تفاوت‌های کلیدی بین ETL (Extract, Transform, Load) و ELT
• 60. طراحی و پیاده‌سازی پایپ‌لاین‌های داده (Data Pipelines)
• 61. روش‌های دریافت و جمع‌آوری داده (Data Ingestion) از منابع مختلف
• 62. تکنیک‌های تبدیل و پاک‌سازی داده (Data Transformation & Cleaning)
• 63. استراتژی‌های بارگذاری و همگام‌سازی داده (Data Loading)
• 64. ارکستراسیون و زمان‌بندی گردش کار داده (Workflow Orchestration)
• 65. حفظ کیفیت داده در طول پایپ‌لاین‌های پردازشی
• 66. مدیریت خطا و بازیابی در پایپ‌لاین‌های داده
• 67. مانیتورینگ و لاگ‌برداری از عملکرد پایپ‌لاین‌ها
• 68. منشأ داده (Data Lineage) و اهمیت ردیابی آن
• 69. امنیت داده در حال انتقال (Data in Transit) و در حالت سکون (Data at Rest)
• 70. اجرای حاکمیت داده (Data Governance) در فرآیندهای پردازشی
• 71. مقدمه‌ای بر کلان‌داده (Big Data) و سه V آن (Volume, Velocity, Variety)
• 72. اکوسیستم Hadoop و اجزای اصلی آن
• 73. مدل برنامه‌نویسی MapReduce و کاربردهای آن
• 74. مفاهیم هسته‌ای Apache Spark و مزایای آن
• 75. Spark SQL و DataFrames برای کار با داده‌های ساختاریافته
• 76. Spark Streaming برای پردازش جریان‌های داده
• 77. Apache Flink برای پردازش داده‌های بی‌درنگ و پیچیده
• 78. Apache Kafka برای ساخت سیستم‌های داده جریانی
• 79. انبارهای داده (Data Warehouses) و طراحی ابعادی
• 80. دریاچه‌های داده (Data Lakes) و معماری آن‌ها
• 81. معماری Data Lakehouse: ترکیب مزایای Data Lake و Data Warehouse
• 82. معماری Lambda برای پردازش همزمان دسته‌ای و جریانی
• 83. معماری Kappa برای ساده‌سازی پایپ‌لاین‌های داده
• 84. Data Marts و کاربردهای تخصصی آن‌ها
• 85. تفاوت OLTP (Online Transaction Processing) و OLAP (Online Analytical Processing)
• 86. معماری داده در محیط‌های ابری (AWS, Azure, Google Cloud)
• 87. پردازش داده‌های بدون سرور (Serverless Data Processing)
• 88. مجازی‌سازی داده (Data Virtualization) و یکپارچه‌سازی
• 89. مفهوم Data Fabric و نقش آن در معماری‌های مدرن
• 90. مفهوم Data Mesh و اصول آن
• 91. امنیت و حریم خصوصی داده (Data Security & Privacy) و مقررات (GDPR, CCPA)
• 92. رمزنگاری داده‌ها در حالت سکون و در حال انتقال
• 93. پوشش‌دهی داده (Data Masking) و توکن‌سازی (Tokenization)
• 94. بهینه‌سازی عملکرد (Performance Tuning) سیستم‌های کلان‌داده
• 95. بهینه‌سازی هزینه (Cost Optimization) در سیستم‌های داده ابری
• 96. بازیابی فاجعه (Disaster Recovery) برای سیستم‌های داده
• 97. استراتژی‌های دسترسی‌پذیری بالا (High Availability)
• 98. الگوهای مقیاس‌پذیری (Scalability Patterns) برای سیستم‌های داده
• 99. کانتینرسازی (Docker) و ارکستراسیون (Kubernetes) در معماری داده
• 100. مشاهدت‌پذیری (Data Observability) در سیستم‌های داده