فلش‌کارت‌های آموزشی مهندسی داده در AWS: آموزش سرویس‌های کلیدی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مهندسی داده در AWS: آموزش سرویس‌های کلیدی

موضوع کلی: برنامه نویسی

موضوع میانی: مهندسی داده (Data Engineering)

📋 سرفصل‌های دوره

• 1. معرفی مهندسی داده و نقش مهندس داده
• 2. چرا AWS برای مهندسی داده؟ اکوسیستم و مزایا
• 3. مفاهیم کلیدی رایانش ابری: IaaS, PaaS, SaaS
• 4. آشنایی با کنسول مدیریت AWS، ریجن‌ها و Availability Zone ها
• 5. مدیریت هویت و دسترسی (IAM): کاربران، گروه‌ها، نقش‌ها و پالیسی‌ها
• 6. مقدمه‌ای بر شبکه در AWS: VPC، زیرشبکه‌ها و گروه‌های امنیتی
• 7. آشنایی با AWS CLI و SDK: ابزارهای تعامل با AWS
• 8. مفاهیم پایه داده: Data Lake، Data Warehouse، Data Mart
• 9. مقایسه ETL، ELT و معماری‌های مدرن داده
• 10. آشنایی با فرمت‌های داده رایج: CSV, JSON, Parquet, Avro, ORC
• 11. Amazon S3: سنگ بنای Data Lake
• 12. ساختار S3: باکت‌ها، اشیاء، پیشوندها و کلیدها
• 13. کلاس‌های ذخیره‌سازی S3 و مدیریت چرخه حیات (Lifecycle Management)
• 14. کنترل نسخه (Versioning) و امنیت در S3
• 15. رویدادهای S3 (S3 Events) و کاربرد آن در پایپلاین‌های داده
• 16. بهینه‌سازی عملکرد در S3: پارتیشن‌بندی و انتخاب فرمت
• 17. Amazon RDS: پایگاه‌داده‌های رابطه‌ای مدیریت‌شده
• 18. انتخاب انجین مناسب در RDS: PostgreSQL, MySQL, Aurora
• 19. Read Replicas و Multi-AZ در RDS برای دسترس‌پذیری بالا
• 20. Amazon DynamoDB: مفاهیم کلیدی NoSQL
• 21. طراحی مدل داده در DynamoDB: کلیدهای پارتیشن و مرتب‌سازی
• 22. Amazon Redshift: معرفی انبار داده ابری
• 23. معماری Redshift: نودهای Leader و Compute
• 24. Amazon Glacier: آرشیو داده‌های سرد
• 25. مقایسه راه‌حل‌های ذخیره‌سازی داده در AWS
• 26. معرفی AWS Glue: سرویس ETL سرورلس
• 27. AWS Glue Data Catalog: متادیتای مرکزی
• 28. استفاده از Glue Crawlers برای شناسایی خودکار اسکما
• 29. ایجاد و اجرای اولین Glue ETL Job با PySpark
• 30. اسکریپت‌نویسی پیشرفته در Glue: DynamicFrames و Transformations
• 31. زمان‌بندی و مانیتورینگ Glue Jobs
• 32. Glue Data Quality: تضمین کیفیت داده‌ها
• 33. Glue Blueprints و Workflows برای ساخت پایپلاین‌های پیچیده
• 34. معرفی Amazon EMR (Elastic MapReduce)
• 35. معماری EMR: کلاسترها، نودهای Master, Core, Task
• 36. اجرای جاب‌های Spark بر روی EMR
• 37. تفاوت Glue و EMR: چه زمانی از کدام استفاده کنیم؟
• 38. بهینه‌سازی هزینه‌ها در EMR با Spot Instances
• 39. استفاده از EMR Serverless
• 40. AWS Batch: اجرای وظایف پردازشی دسته‌ای در مقیاس
• 41. Lambda برای پردازش‌های کوچک و مبتنی بر رویداد
• 42. اتصال Lambda به S3 Events برای ETL ساده
• 43. مدیریت وابستگی‌ها (Dependencies) در Lambda Layers
• 44. مقایسه ابزارهای پردازش دسته‌ای: Glue, EMR, Lambda
• 45. مفاهیم پردازش جریانی: Windowing, Watermarking
• 46. معرفی خانواده Amazon Kinesis
• 47. Amazon Kinesis Data Streams: دریافت و ذخیره داده‌های جریانی
• 48. Shards و Throughput در Kinesis Data Streams
• 49. Amazon Kinesis Data Firehose: بارگذاری داده‌های جریانی به مقصد
• 50. تبدیل فرمت داده در Kinesis Data Firehose
• 51. Amazon Kinesis Data Analytics برای تحلیل آنی داده‌ها
• 52. نوشتن کوئری‌های SQL بر روی داده‌های جریانی
• 53. یکپارچه‌سازی Kinesis با Lambda برای پردازش Real-time
• 54. معرفی Amazon MSK (Managed Streaming for Apache Kafka)
• 55. ساخت و مدیریت کلاستر MSK
• 56. تفاوت Kinesis و MSK
• 57. معماری Lambda برای پردازش جریانی: Event Source Mapping
• 58. طراحی یک پایپلاین داده Real-time از ابتدا تا انتها
• 59. چرا به ابزار ارکستراسیون نیاز داریم؟
• 60. معرفی AWS Step Functions برای هماهنگ‌سازی میکروسرویس‌ها و توابع Lambda
• 61. ساخت یک State Machine ساده در Step Functions
• 62. الگوهای رایج در Step Functions: موازی‌سازی، انشعاب و مدیریت خطا
• 63. یکپارچه‌سازی Step Functions با Glue و EMR
• 64. معرفی Amazon MWAA (Managed Workflows for Apache Airflow)
• 65. ساخت و مدیریت محیط Airflow در MWAA
• 66. نوشتن DAGs برای پایپلاین‌های داده در MWAA
• 67. مقایسه Step Functions و MWAA
• 68. Amazon EventBridge: ساخت معماری‌های مبتنی بر رویداد (Event-driven)
• 69. استفاده از EventBridge برای راه‌اندازی پایپلاین‌های داده
• 70. Amazon Athena: کوئری سرورلس بر روی S3 Data Lake
• 71. بهینه‌سازی عملکرد کوئری در Athena: پارتیشن‌بندی و فشرده‌سازی
• 72. کار با داده‌های پیچیده (JSON, Structs) در Athena
• 73. Redshift Spectrum: کوئری زدن بر روی S3 از داخل Redshift
• 74. بارگذاری داده‌ها به Redshift: دستور COPY
• 75. بهینه‌سازی عملکرد در Redshift: Distribution و Sort Keys
• 76. Amazon QuickSight: هوش تجاری و مصورسازی داده
• 77. ساخت داشبوردهای تعاملی در QuickSight
• 78. اتصال QuickSight به منابع داده مختلف (S3, Redshift, RDS)
• 79. Amazon OpenSearch Service (Elasticsearch سابق) برای تحلیل لاگ‌ها
• 80. مدل مسئولیت مشترک (Shared Responsibility Model) در AWS
• 81. رمزنگاری داده‌ها در حالت سکون (At Rest) با AWS KMS
• 82. رمزنگاری داده‌ها در حین انتقال (In-Transit) با SSL/TLS
• 83. پالیسی‌های IAM پیشرفته برای سرویس‌های داده
• 84. استفاده از VPC Endpoints برای دسترسی امن به سرویس‌ها
• 85. معرفی AWS Lake Formation برای ساخت و مدیریت Data Lake امن
• 86. کنترل دسترسی به جداول و ستون‌ها با Lake Formation
• 87. AWS CloudTrail: ردیابی تمام فراخوانی‌های API
• 88. Amazon CloudWatch: مانیتورینگ، لاگ‌ها و آلارم‌ها
• 89. مانیتورینگ عملکرد پایپلاین‌های داده با CloudWatch Metrics
• 90. مدیریت هزینه‌ها: AWS Budgets و Cost Explorer
• 91. زیرساخت به عنوان کد (IaC) با AWS CloudFormation
• 92. تعریف یک پایپلاین داده ساده با CloudFormation
• 93. استفاده از Terraform برای مدیریت زیرساخت داده
• 94. CI/CD برای پایپلاین‌های داده با AWS CodePipeline و CodeBuild
• 95. تست خودکار برای کدهای ETL
• 96. مفهوم Data Mesh و پیاده‌سازی آن در AWS
• 97. آشنایی با AWS Data Exchange برای استفاده از داده‌های شخص ثالث
• 98. یکپارچه‌سازی مهندسی داده با یادگیری ماشین: نقش Amazon SageMaker
• 99. مطالعه موردی: ساخت یک Data Lake مدرن در AWS
• 100. مطالعه موردی: پیاده‌سازی یک پلتفرم تحلیل Real-time