دوره پیاده‌سازی Data Lake با AWS همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پیاده‌سازی Data Lake با AWS

موضوع کلی: معماری و مهندسی کامپیوتر

موضوع میانی: معماری معماری Data Lakes (Data Lake Architectures)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر دریاچه‌های داده و معماری آن‌ها
• 2. مفاهیم کلیدی ذخیره‌سازی داده در مقیاس وسیع
• 3. معرفی سرویس‌های AWS برای دریاچه‌های داده
• 4. S3: ذخیره‌سازی اشیاء و پیکربندی دسترسی
• 5. IAM: مدیریت هویت و دسترسی در AWS
• 6. فرمت‌های فایل مناسب برای دریاچه‌های داده (Parquet, ORC, Avro)
• 7. طراحی Schema و فرآیند تکامل Schema
• 8. مقایسه فرمت‌های داده و انتخاب بهینه
• 9. وارد کردن داده‌ها به S3 با استفاده از AWS CLI
• 10. وارد کردن داده‌ها به S3 با استفاده از AWS SDK
• 11. پردازش داده با AWS Glue: معرفی و پیکربندی
• 12. AWS Glue Data Catalog: مدیریت متادیتا
• 13. تبدیل داده با AWS Glue ETL
• 14. تنظیم زمان‌بندی اجرای ETL با AWS Glue
• 15. معماری Lambda برای پردازش داده‌های جریانی
• 16. معرفی سرویس Kinesis Data Streams
• 17. جمع‌آوری داده‌های جریانی با Kinesis Data Firehose
• 18. تجزیه و تحلیل داده‌های جریانی با Kinesis Data Analytics
• 19. ذخیره‌سازی داده‌های جریانی در S3
• 20. استفاده از AWS Athena برای کوئری زدن مستقیم داده‌ها در S3
• 21. نوشتن کوئری‌های SQL برای داده‌های دریاچه
• 22. بهینه‌سازی کوئری‌های Athena برای کارایی بیشتر
• 23. معرفی سرویس AWS Redshift Spectrum
• 24. ادغام Redshift Spectrum با دریاچه داده
• 25. امنیت داده‌ها در دریاچه داده AWS
• 26. رمزنگاری داده‌ها در S3 و Glue
• 27. مدیریت دسترسی به داده‌ها با استفاده از IAM
• 28. پایش و مانیتورینگ دریاچه داده با CloudWatch
• 29. بهینه‌سازی هزینه دریاچه داده AWS
• 30. انتخاب کلاس‌های ذخیره‌سازی S3 مناسب
• 31. مدیریت چرخه حیات داده‌ها در S3
• 32. مقایسه هزینه‌های سرویس‌های مختلف AWS
• 33. معماری لایه‌ای برای دریاچه داده AWS
• 34. بهترین روش‌ها برای طراحی دریاچه داده
• 35. استفاده از Data Lake Formation برای ساده‌سازی مدیریت
• 36. ایجاد و پیکربندی Data Lake Formation
• 37. مدیریت کاربران و گروه‌ها در Data Lake Formation
• 38. امنیت و کنترل دسترسی در Data Lake Formation
• 39. ادغام Lake Formation با سرویس‌های دیگر AWS
• 40. مراحل عیب‌یابی و رفع مشکلات رایج
• 41. مدیریت کیفیت داده‌ها در دریاچه داده
• 42. اعتبارسنجی داده‌ها و شناسایی خطاهای رایج
• 43. استفاده از ابزارهای کیفیت داده AWS
• 44. آشنایی با معماری Kappa و Lambda
• 45. پیاده‌سازی معماری Kappa با استفاده از AWS