اپلیکیشن اندرویدی فلش‌کارت آموزشی مهندسی داده ابری: مهاجرت و بهینه‌سازی پایپ‌لاین‌ها در Cloud

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مهندسی داده ابری: مهاجرت و بهینه‌سازی پایپ‌لاین‌ها در Cloud

موضوع کلی: برنامه نویسی

موضوع میانی: مهندسی داده (Data Engineering)

📋 سرفصل‌های دوره

• 1. معرفی مهندسی داده و نقش آن در سازمان‌ها
• 2. مبانی رایانش ابری و مدل‌های سرویس (IaaS, PaaS, SaaS)
• 3. مزایای استفاده از ابر برای مهندسی داده
• 4. معماری‌های اصلی داده: دریاچه داده، انبار داده و دیتا مارت
• 5. چرخه حیات داده در محیط ابری
• 6. مفاهیم داده‌های Batch و Streaming
• 7. معرفی انواع سرویس‌های ابری مرتبط با داده
• 8. مقدمه‌ای بر امنیت داده در ابر
• 9. اصول حاکمیت داده (Data Governance)
• 10. آشنایی با ابزارهای پرکاربرد در مهندسی داده ابری
• 11. ذخیره‌سازی شیئی در ابر (Object Storage) و کاربردهای آن
• 12. طراحی و پیاده‌سازی دریاچه داده (Data Lake) در فضای ابری
• 13. پایگاه‌های داده رابطه‌ای مدیریت شده در ابر (Managed Relational Databases)
• 14. پایگاه‌های داده NoSQL در ابر و موارد استفاده آن‌ها
• 15. فرمت‌های ذخیره‌سازی ستونی (Columnar Formats) مانند Parquet و ORC
• 16. کاتالوگ‌سازی داده (Data Cataloging) و مدیریت فراداده (Metadata)
• 17. نسخه‌بندی داده (Data Versioning) و مدیریت تغییرات
• 18. مدیریت چرخه حیات ذخیره‌سازی داده (Storage Lifecycle Management)
• 19. رمزنگاری داده در حالت سکون (Encryption at Rest) و در حال انتقال (In Transit)
• 20. استراتژی‌های پشتیبان‌گیری (Backup) و بازیابی فاجعه (Disaster Recovery)
• 21. انتخاب راهکار ذخیره‌سازی مناسب برای بارهای کاری مختلف
• 22. بهینه‌سازی هزینه ذخیره‌سازی در ابر
• 23. فشرده‌سازی داده (Data Compression) برای کاهش هزینه و افزایش کارایی
• 24. طراحی معماری Lakehouse و مزایای آن
• 25. معرفی ذخیره‌سازی بلوکی و فایلی در ابر
• 26. مقدمه‌ای بر سرویس‌های دریافت داده (Data Ingestion) در ابر
• 27. استراتژی‌های دریافت داده Batch از منابع مختلف
• 28. دریافت داده بلادرنگ (Real-time) با استفاده از صف‌های پیام و جریان رویداد
• 29. سرویس‌های ETL مدیریت شده در ابر (Managed ETL Services)
• 30. پردازش و تبدیل داده بدون سرور (Serverless Data Transformation)
• 31. استفاده از Apache Spark برای تبدیل داده در ابر
• 32. مفاهیم پایه ارکستراسیون پایپ‌لاین داده (Data Pipeline Orchestration)
• 33. پیاده‌سازی بررسی‌های کیفیت داده (Data Quality Checks) در پایپ‌لاین‌ها
• 34. مدیریت تکامل شمای داده (Schema Evolution)
• 35. دریافت تغییرات داده (Change Data Capture - CDC) در محیط ابری
• 36. تکنیک‌های تبدیل داده (تجمیع، جوین، نگاشت)
• 37. مقایسه ELT و ETL در زمینه ابری
• 38. اعتبارسنجی داده (Data Validation) و مدیریت خطا
• 39. پردازش داده‌های جریانی (Streaming Data Processing) با سرویس‌های ابری
• 40. رویکرد Micro-batching برای پردازش نزدیک به بلادرنگ
• 41. دریافت داده از منابع On-premise به ابر
• 42. الگوهای دریافت داده در محیط ابری هیبریدی
• 43. بهترین روش‌های امنیتی برای دریافت داده
• 44. بهینه‌سازی هزینه برای سرویس‌های دریافت و تبدیل داده
• 45. ردیابی خط سیر داده (Data Lineage Tracking)
• 46. معرفی انبارهای داده ابری (Cloud Data Warehouses)
• 47. معماری MPP (Massively Parallel Processing) در انبارهای داده
• 48. طراحی شمای Star و Snowflake در انبارهای داده ابری
• 49. مدل‌سازی داده برای انبارهای داده ابری
• 50. بهینه‌سازی پرس‌وجو (Query Optimization) در انبارهای داده ابری
• 51. نماهای مادی شده (Materialized Views) و استراتژی‌های کشینگ
• 52. نقش دیتا مارت‌ها و نحوه پیاده‌سازی آن‌ها
• 53. یکپارچه‌سازی با ابزارهای هوش تجاری (Business Intelligence)
• 54. پرس‌وجوهای SQL بدون سرور (Serverless SQL Querying)
• 55. مفاهیم مجازی‌سازی داده (Data Virtualization)
• 56. یکپارچه‌سازی انبار داده با دریاچه داده
• 57. فدراسیون داده (Data Federation) بین منابع ابری مختلف
• 58. مقیاس‌پذیری و انعطاف‌پذیری انبارهای داده ابری
• 59. مدیریت هزینه برای انبارهای داده ابری
• 60. شاخص‌گذاری و پارتیشن‌بندی در انبارهای داده
• 61. بررسی محرک‌ها و چالش‌های مهاجرت پایپ‌لاین‌های داده به ابر
• 62. فاز ارزیابی و کشف برای برنامه‌ریزی مهاجرت
• 63. استراتژی مهاجرت Lift-and-Shift (انتقال بدون تغییر)
• 64. استراتژی مهاجرت Re-platforming (انتقال با بازسازی پلتفرم)
• 65. استراتژی مهاجرت Refactoring (بازنویسی کامل)
• 66. رویکرد مهاجرت فازبندی شده (Phased Migration)
• 67. ابزارها و سرویس‌های مهاجرت داده ابری
• 68. تکنیک‌های مهاجرت شمای داده
• 69. مهاجرت برنامه‌ها و جریان‌های کاری مرتبط با داده
• 70. آزمایش و اعتبارسنجی پس از مهاجرت
• 71. استراتژی‌های بازگشت به عقب (Rollback) در صورت شکست مهاجرت
• 72. برنامه‌ریزی و اجرای مرحله قطع (Cutover)
• 73. مهاجرت به محیط چند ابری (Multi-Cloud)
• 74. حاکمیت و انطباق در طول فرآیند مهاجرت
• 75. تحلیل هزینه و بازگشت سرمایه (ROI) مهاجرت به ابر
• 76. بهینه‌سازی عملکرد (Performance Tuning) پایپ‌لاین‌های داده ابری
• 77. استراتژی‌های بهینه‌سازی هزینه (Cost Optimization) در مهندسی داده ابری
• 78. پایش و هشداردهی (Monitoring and Alerting) برای پایپ‌لاین‌ها با ابزارهای ابری
• 79. ثبت وقایع (Logging) و حسابرسی (Auditing) برای انطباق
• 80. زیرساخت به عنوان کد (Infrastructure as Code - IaC) برای مهندسی داده
• 81. استقرار و تحویل پیوسته (CI/CD) برای پایپ‌لاین‌های داده
• 82. تست خودکار (Automated Testing) برای تضمین کیفیت داده و پایپ‌لاین
• 83. چارچوب‌های پیشرفته حاکمیت داده در ابر
• 84. کاتالوگ‌سازی و کشف داده برای سازمان‌های بزرگ
• 85. پوشش و ناشناس‌سازی داده (Data Masking and Anonymization)
• 86. رعایت قوانین GDPR, CCPA و انطباق داده ابری
• 87. مقدمه‌ای بر MLOps برای مهندسان داده
• 88. استفاده از Feature Stores برای یادگیری ماشین
• 89. معماری‌های تحلیل بلادرنگ (Real-time Analytics)
• 90. پایپ‌لاین‌های داده رویداد محور (Event-Driven Data Pipelines)
• 91. معماری‌های داده بدون سرور (Serverless Data Architectures)
• 92. اصول Data Mesh و پیاده‌سازی آن
• 93. مفاهیم Data Fabric
• 94. تشخیص ناهنجاری (Anomaly Detection) در پایپ‌لاین‌های داده
• 95. نگهداری پیش‌بینی‌کننده (Predictive Maintenance) برای سیستم‌های داده
• 96. امنیت پیشرفته: جلوگیری از نشت داده (Data Loss Prevention - DLP)
• 97. FinOps برای مهندسی داده ابری
• 98. عیب‌یابی مشکلات رایج در پایپ‌لاین‌های داده
• 99. روندهای آینده در مهندسی داده ابری
• 100. پروژه پایانی: طراحی یک پایپ‌لاین داده ابری بهینه و مهاجرت آن