فلش‌کارت‌های آموزشی مهندسی داده در AWS: مبانی و پیاده‌سازی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مهندسی داده در AWS: مبانی و پیاده‌سازی

موضوع کلی: مهندسی داده و تحلیل کلان‌داده

موضوع میانی: معماری و زیرساخت‌های ابری

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده و اکوسیستم AWS
• 2. آشنایی با سرویس‌های ذخیره‌سازی AWS: S3، Glacier، EBS
• 3. مفاهیم پایگاه داده و انواع آن در AWS
• 4. معماری پایگاه داده‌های رابطه‌ای در AWS: RDS
• 5. معماری پایگاه داده‌های NoSQL در AWS: DynamoDB
• 6. مقدمه‌ای بر سرویس‌های پردازش داده AWS: EMR، Glue، Athena
• 7. پردازش دسته‌ای داده با استفاده از EMR و Hadoop
• 8. پردازش جریان داده با استفاده از Kinesis Data Streams و Firehose
• 9. انتقال داده با استفاده از AWS Data Pipeline
• 10. استفاده از AWS Glue برای ETL و آماده‌سازی داده
• 11. تحلیل داده با استفاده از Amazon Athena
• 12. مصورسازی داده با استفاده از Amazon QuickSight
• 13. امنیت داده در AWS: IAM، KMS، VPC
• 14. مدیریت دسترسی و کنترل‌های امنیتی در AWS
• 15. مانیتورینگ و لاگ‌برداری در AWS: CloudWatch، CloudTrail
• 16. بهینه‌سازی هزینه در AWS برای مهندسی داده
• 17. معماری Lambda برای پردازش رویدادمحور داده
• 18. استفاده از API Gateway برای دسترسی به داده
• 19. انتخاب پایگاه داده مناسب برای نیازهای مختلف
• 20. طراحی معماری داده‌کده با مقیاس‌پذیری بالا
• 21. استفاده از سرویس‌های AWS برای یادگیری ماشین
• 22. پیاده‌سازی خطوط لوله داده (Data Pipelines) خودکار
• 23. استفاده از AWS Step Functions برای هماهنگی سرویس‌ها
• 24. مفاهیم Data Lake و پیاده‌سازی آن در AWS
• 25. استفاده از AWS Lake Formation برای مدیریت Data Lake
• 26. معماری داده‌کده بر اساس رویداد (Event-Driven)
• 27. بهینه‌سازی عملکرد پایگاه داده در AWS
• 28. استفاده از Elasticache برای افزایش سرعت دسترسی به داده
• 29. استفاده از Amazon Redshift برای انبار داده
• 30. مقدمه‌ای بر Data Governance و Data Catalog
• 31. استفاده از AWS Glue Data Catalog برای مدیریت فراداده
• 32. Data Lineage و ردیابی جریان داده در AWS
• 33. مفاهیم Data Quality و اعتبارسنجی داده
• 34. استفاده از AWS DataBrew برای پروفایل‌سازی و پاکسازی داده
• 35. مقدمه‌ای بر Data Science و ابزارهای AWS
• 36. استفاده از Amazon SageMaker برای ساخت و استقرار مدل‌های یادگیری ماشین
• 37. استفاده از AWS Batch برای پردازش دسته‌ای با مقیاس‌پذیری
• 38. استفاده از AWS DMS برای انتقال پایگاه داده
• 39. استفاده از Containerization با استفاده از Amazon ECS و EKS
• 40. استفاده از AWS Serverless Application Model (SAM) برای استقرار آسان
• 41. مفاهیم Infrastructure as Code (IaC) و استفاده از AWS CloudFormation
• 42. استفاده از Terraform برای مدیریت زیرساخت AWS
• 43. استفاده از CI/CD برای استقرار خودکار خطوط لوله داده
• 44. معماری میکروسرویس‌ها برای پردازش داده
• 45. استفاده از GraphQL برای دسترسی به داده
• 46. مفاهیم Real-time Data Processing و Streaming Analytics
• 47. استفاده از Amazon Kinesis Data Analytics برای تحلیل جریان داده
• 48. استفاده از Apache Flink در AWS
• 49. استفاده از Apache Kafka در AWS
• 50. مقدمه‌ای بر Data Mesh و معماری‌های توزیع‌شده
• 51. استفاده از AWS Organizations برای مدیریت چندحسابگی
• 52. مدیریت ریسک و انطباق در AWS
• 53. بهترین روش‌ها برای پشتیبان‌گیری و بازیابی داده در AWS
• 54. مقدمه‌ای بر Data Security و Encryption
• 55. استفاده از AWS WAF برای محافظت از برنامه‌های کاربردی
• 56. مفاهیم Disaster Recovery و پیاده‌سازی آن در AWS
• 57. مقدمه‌ای بر Big Data و چالش‌های آن
• 58. مقایسه سرویس‌های پردازش داده AWS
• 59. انتخاب معماری مناسب برای پردازش داده بر اساس حجم و سرعت
• 60. آشنایی با Data Modeling و طراحی شمای داده
• 61. استفاده از JSON و Parquet برای ذخیره‌سازی داده
• 62. مقدمه‌ای بر Data Visualization و Storytelling
• 63. استفاده از ابزارهای BI و داشبوردهای تعاملی
• 64. مفاهیم Data Mining و Knowledge Discovery
• 65. آشنایی با مفاهیم Data Ethics و Privacy
• 66. استفاده از AWS Cost Explorer برای تحلیل هزینه‌ها
• 67. بهینه‌سازی Query Performance در Amazon Athena و Redshift
• 68. آشنایی با مفاهیم Data Virtualization
• 69. استفاده از AWS DataSync برای انتقال داده‌های محلی به AWS
• 70. مقدمه‌ای بر Data Observability و Monitoring
• 71. استفاده از Logging و Tracing برای عیب‌یابی خطوط لوله داده
• 72. مفاهیم Data Catalog و Metadata Management
• 73. استفاده از AWS Glue Schema Registry
• 74. آشنایی با مفاهیم Data Governance Framework
• 75. استفاده از AWS Control Tower برای مدیریت حساب‌ها
• 76. مقدمه‌ای بر Data Lakehouse و ترکیب Data Lake و Data Warehouse
• 77. استفاده از Delta Lake در AWS
• 78. آشنایی با مفاهیم Data Streaming Platform
• 79. استفاده از Apache Iceberg در AWS
• 80. مقدمه‌ای بر Data Mesh Architecture
• 81. استفاده از Domain-Oriented Data Ownership
• 82. آشنایی با مفاهیم Data Products
• 83. استفاده از AWS Data Exchange
• 84. مقدمه‌ای بر Data Science MLOps
• 85. استفاده از AWS CodePipeline برای استقرار مدل‌های یادگیری ماشین
• 86. آشنایی با مفاهیم Feature Store
• 87. استفاده از AWS SageMaker Feature Store
• 88. مقدمه‌ای بر Data Quality Monitoring
• 89. استفاده از AWS Deequ برای اعتبارسنجی داده
• 90. آشنایی با مفاهیم Data Observability Tools
• 91. استفاده از Datadog و New Relic در AWS
• 92. مقدمه‌ای بر Serverless Data Engineering
• 93. استفاده از AWS Lambda و API Gateway برای پردازش داده
• 94. آشنایی با مفاهیم Event-Driven Architecture
• 95. استفاده از Amazon EventBridge برای مدیریت رویدادها
• 96. مقدمه‌ای بر Data Security Best Practices
• 97. استفاده از AWS KMS و CloudHSM برای مدیریت کلیدها
• 98. آشنایی با مفاهیم Data Compliance Regulations
• 99. استفاده از AWS Config برای مدیریت انطباق
• 100. مقدمه‌ای بر Data Governance Policies