دوره Google Cloud Platform: اتوماسیون گزارش گیری در GCP همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Google Cloud Platform: اتوماسیون گزارش گیری در GCP

موضوع کلی: برنامه نویسی

موضوع میانی: Google Cloud Platform (GCP)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر Google Cloud Platform (GCP)
• 2. چرا اتوماسیون گزارش‌گیری در GCP؟
• 3. مروری بر سرویس‌های کلیدی GCP برای داده
• 4. مفاهیم پروژه، منابع و سلسله‌مراتب در GCP
• 5. مدیریت هویت و دسترسی (IAM) در GCP برای منابع داده
• 6. مدیریت صورت‌حساب (Billing) و کنترل هزینه‌ها در GCP
• 7. ابزارهای خط فرمان (gcloud CLI) و کنسول GCP
• 8. ساختار داده و نیازهای گزارش‌گیری در سازمان
• 9. معماری‌های رایج برای گزارش‌گیری در مقیاس ابری
• 10. معرفی سناریوهای اتوماسیون گزارش‌گیری
• 11. Cloud Storage: مبانی ذخیره‌سازی اشیاء
• 12. سطل‌ها (Buckets) و اشیاء (Objects) در Cloud Storage
• 13. کلاس‌های ذخیره‌سازی و مدیریت چرخه حیات داده در Cloud Storage
• 14. انتقال داده به Cloud Storage با gsutil
• 15. Cloud Pub/Sub: مبانی پیام‌رسانی بلادرنگ
• 16. موضوعات (Topics) و اشتراک‌ها (Subscriptions) در Pub/Sub
• 17. الگوهای انتشار/مصرف در Pub/Sub برای داده‌ها
• 18. Cloud Storage Transfer Service: انتقال داده‌های حجیم
• 19. Storage Transfer Service برای منابع خارج از GCP
• 20. انتخاب سرویس ذخیره‌سازی مناسب برای داده‌های ورودی
• 21. BigQuery: انبار داده تحلیلی مقیاس‌پذیر
• 22. ساختار پروژه‌ها، دیتاست‌ها و جداول در BigQuery
• 23. وارد کردن داده به BigQuery از Cloud Storage
• 24. وارد کردن داده جریانی (Streaming) به BigQuery
• 25. انواع داده و Schema در BigQuery
• 26. کوئری‌نویسی پیشرفته در BigQuery (SQL استاندارد)
• 27. پارتیشن‌بندی (Partitioning) جداول BigQuery برای عملکرد
• 28. خوشه‌بندی (Clustering) جداول BigQuery برای بهینه‌سازی
• 29. جداول خارجی (External Tables) در BigQuery
• 30. نماها (Views) و نماهای مادی‌سازی‌شده (Materialized Views)
• 31. توابع تعریف‌شده توسط کاربر (UDFs) در BigQuery
• 32. مدیریت تغییرات Schema در BigQuery
• 33. Cost Control و Best Practices در BigQuery
• 34. BigQuery BI Engine: افزایش سرعت کوئری‌ها
• 35. BigQuery ML: مقدمه‌ای بر یادگیری ماشین در BigQuery
• 36. مقدمه‌ای بر پردازش داده در GCP
• 37. Dataflow: چارچوبی برای پردازش داده‌های دسته و جریانی
• 38. مفاهیم Pipelines و Jobs در Dataflow
• 39. ساخت یک Pipeline ساده با Dataflow SDK (Python/Java)
• 40. اجرای Jobs در Dataflow با استفاده از Templates
• 41. پردازش داده‌های جریانی با Dataflow
• 42. Dataflow Flex Templates برای خودکارسازی
• 43. مانیتورینگ و عیب‌یابی Jobs در Dataflow
• 44. Cloud Functions: مبانی و کاربردها در ETL
• 45. فعال‌سازی Cloud Function با رویدادهای Cloud Storage
• 46. پردازش رویدادهای Pub/Sub با Cloud Functions
• 47. Cloud Run: اجرای کانتینرهای بدون سرور برای پردازش
• 48. استقرار یک سرویس پردازشی روی Cloud Run
• 49. انتخاب بین Dataflow، Cloud Functions و Cloud Run برای ETL
• 50. استفاده از BigQuery Scripting و Stored Procedures برای Transform
• 51. مقدمه‌ای بر اتوماسیون گردش کار (Workflow Automation) در GCP
• 52. Cloud Scheduler: زمان‌بندی Jobهای تکراری
• 53. زمان‌بندی Pub/Sub و HTTP Jobs با Cloud Scheduler
• 54. Cloud Composer: Orchestration با Apache Airflow
• 55. مفاهیم DAGs، Tasks و Operators در Airflow
• 56. استقرار اولین DAG در Cloud Composer
• 57. اتصال Cloud Composer به سرویس‌های GCP
• 58. مدیریت Dependencies و Task Groups در Airflow
• 59. مانیتورینگ و لاگ‌برداری در Cloud Composer
• 60. مدیریت Workerها و Resourceها در Cloud Composer
• 61. Dataform: توسعه و مدیریت Pipelineهای تحول داده (ELT)
• 62. اصول Dataform: Version Control، Tests و Documentation
• 63. تعریف جداول و Views با Dataform
• 64. اجرای Pipelineهای Dataform به صورت خودکار
• 65. استقرار و مانیتورینگ پروژه‌های Dataform
• 66. Eventarc: معماری رویدادمحور در GCP
• 67. فعال‌سازی Cloud Run/Functions با رویدادهای Eventarc
• 68. اتوماسیون با Workflows: ساخت Workflowsهای پیچیده
• 69. مدیریت Secretها و Credentialها در اتوماسیون (Secret Manager)
• 70. الگوهای رایج برای Pipelineهای داده اتوماتیک
• 71. مقدمه‌ای بر ابزارهای گزارش‌گیری و هوش تجاری
• 72. Looker Studio (Data Studio سابق): مبانی و اتصال به داده‌ها
• 73. ساخت داشبوردهای پایه در Looker Studio با BigQuery
• 74. منابع داده (Data Sources) و انواع نمودارها در Looker Studio
• 75. فیلترها، کنترل‌ها و پارامترها در Looker Studio
• 76. گزارش‌های زمان‌بندی‌شده و اشتراک‌گذاری در Looker Studio
• 77. Looker: پلتفرم BI سازمانی (مقدمه و کاربردها)
• 78. اتصال Looker به BigQuery و مدل‌سازی داده در LookML
• 79. APIهای گزارش‌گیری GCP (مثلاً BigQuery API)
• 80. ساخت گزارش‌های سفارشی با استفاده از API
• 81. Cloud Data Catalog: کشف و مدیریت فراداده (Metadata)
• 82. استفاده از Data Catalog برای حکمرانی داده (Data Governance)
• 83. Data Loss Prevention (DLP) API: حفاظت از داده‌های حساس
• 84. اعمال DLP برای داده‌های گزارش‌گیری
• 85. مانیتورینگ و هشدار (Alerting) با Cloud Monitoring
• 86. لاگ‌برداری متمرکز (Centralized Logging) با Cloud Logging
• 87. ساخت Metricهای سفارشی و داشبوردهای مانیتورینگ
• 88. بهینه‌سازی هزینه برای Pipelineهای گزارش‌گیری
• 89. مدیریت خطا و مکانیزم‌های بازیابی در اتوماسیون
• 90. توسعه CI/CD برای Pipelineهای داده با Cloud Build
• 91. انتخاب معماری مناسب برای سناریوهای مختلف گزارش‌گیری
• 92. داده‌های دسته‌ای (Batch) در مقابل داده‌های جریانی (Streaming)
• 93. پیاده‌سازی گزارش‌گیری بلادرنگ (Real-time Reporting)
• 94. مدیریت کیفیت داده (Data Quality) در Pipelineها
• 95. حکمرانی داده (Data Governance) و رعایت مقررات
• 96. نکات امنیتی پیشرفته برای داده‌ها در GCP
• 97. مقیاس‌پذیری و عملکرد Pipelineهای گزارش‌گیری
• 98. استفاده از Terraform برای زیرساخت به عنوان کد (IaC)
• 99. مثال کاربردی: اتوماسیون گزارش فروش روزانه
• 100. جمع‌بندی و مسیرهای یادگیری آینده