فلش‌کارت‌های آموزشی پیاده‌سازی عملی مدیریت داده و لیک‌ها در Dataplex

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پیاده‌سازی عملی مدیریت داده و لیک‌ها در Dataplex

موضوع کلی: مدیریت و تحلیل داده‌های ابری

موضوع میانی: یکپارچه‌سازی و مدیریت داده با پلتفرم‌های ابری

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر Dataplex و مفاهیم مدیریت داده ابری
• 2. شروع کار با پروژه و محیط Google Cloud
• 3. معرفی معماری Dataplex: Lake، Zone و Asset
• 4. ایجاد و پیکربندی یک Data Lake در Dataplex
• 5. تعریف Zone های خام (Raw) و نهایی (Curated)
• 6. ثبت Asset های داده در Dataplex
• 7. مدیران دسترسی (Identity and Access Management) در Dataplex
• 8. مدیریت خط مشی های دسترسی به داده در سطح Lake و Zone
• 9. ایجاد و اعمال خط مشی های امنیتی با Data Policies
• 10. اتصال Dataplex به سرویس های ذخیره‌سازی (Cloud Storage و BigQuery)
• 11. مدیریت ابرداده (Metadata) با Data Catalog
• 12. جستجو و کشف داده‌ها با استفاده از Data Catalog
• 13. برچسب‌گذاری (Tagging) خودکار و دستی داده‌ها
• 14. مدیریت چرخه حیات داده با Data Lifecycle Management
• 15. ایجاد و مدیریت Task های پردازش داده در Dataplex
• 16. معرفی و راه‌اندازی Dataflow Jobs برای تبدیل داده
• 17. پردازش داده با Dataproc و ادغام با Dataplex
• 18. انتقال و بارگذاری داده از منابع خارجی به Data Lake
• 19. فرآیند ETL و ELT در معماری Dataplex
• 20. تبدیل داده‌ها از Zone خام به Zone نهایی
• 21. اجرای Data Quality Task ها و اعتبارسنجی داده
• 22. تعریف و مدیریت قوانین کیفیت داده (Data Quality Rules)
• 23. نمایش و تحلیل نتایج ارزیابی کیفیت داده
• 24. مدیریت استثناها و خطاهای کیفیت داده
• 25. یکپارچه‌سازی Dataplex با Data Lineage
• 26. رهگیری و نمایش منشأ داده (Data Lineage)
• 27. مدیریت داده‌های حساس با Sensitive Data Protection
• 28. معرفی و پیاده‌سازی Data Mesh با Dataplex
• 29. ایجاد و مدیریت دامنه‌های داده (Data Domains)
• 30. مدیریت فدرال دسترسی و مالکیت داده
• 31. اتصال به BigQuery و مدیریت Lake های تحلیلی
• 32. مدیریت جدول های خارجی (External Tables) در Dataplex
• 33. اتصال Dataplex به Cloud Storage و مدیریت فایل‌ها
• 34. مدیریت مجوزهای دسترسی در سطح فایل و دایرکتوری
• 35. ایجاد و مدیریت Lake های چندناحیه‌ای
• 36. مدیریت نسخه‌های داده (Data Versioning) در Dataplex
• 37. بازیابی و مدیریت نسخه‌های قدیمی داده
• 38. مدیریت لاگ‌ها و ممیزی دسترسی به داده
• 39. یکپارچه‌سازی Dataplex با Cloud Logging
• 40. مدیریت هشدارها و اعلان‌ها برای رویدادهای Lake
• 41. مدیریت هزینه‌ها و بهینه‌سازی ذخیره‌سازی در Dataplex
• 42. بهینه‌سازی عملکرد Lake و Zone ها
• 43. مدیریت Metadata Imports از سیستم‌های خارجی
• 44. مدیریت Schema و تغییرات آن در داده‌های Lake
• 45. مدیریت داده‌های جریانی (Streaming Data) در Dataplex
• 46. یکپارچه‌سازی با Pub/Sub برای داده‌های بلادرنگ
• 47. ایجاد و مدیریت Lake های ترکیبی (Hybrid)
• 48. مدیریت داده‌های ساخت‌یافته و نیمه‌ساخت‌یافته
• 49. مدیریت Lake های با مقیاس بزرگ و میلیاردها رکورد
• 50. عیب‌یابی مشکلات رایج در Dataplex
• 51. مدیریت خطاهای دسترسی و مجوزها
• 52. مدیریت خطاهای مرتبط با Task ها و Job ها
• 53. مدیریت خطاهای مرتبط با Metadata
• 54. مدیریت خطاهای مرتبط با Data Quality
• 55. مدیریت خطاهای مرتبط با Data Lineage
• 56. مدیریت خطاهای مرتبط با Sensitive Data Protection
• 57. مدیریت خطاهای مرتبط با Data Lifecycle
• 58. مدیریت خطاهای مرتبط با Data Mesh
• 59. مدیریت خطاهای مرتبط با Lake های چندناحیه‌ای
• 60. مدیریت خطاهای مرتبط با Data Catalog
• 61. مدیریت خطاهای مرتبط با IAM و Data Policies
• 62. مدیریت خطاهای مرتبط با اتصال به BigQuery و Cloud Storage
• 63. مدیریت خطاهای مرتبط با Dataflow و Dataproc
• 64. مدیریت خطاهای مرتبط با Pub/Sub و Streaming
• 65. مدیریت خطاهای مرتبط با Hybrid Lake
• 66. مدیریت خطاهای مرتبط با Schema و Metadata
• 67. مدیریت خطاهای مرتبط با Cost و Optimization
• 68. مدیریت خطاهای مرتبط با Backup و Versioning
• 69. مدیریت خطاهای مرتبط با Audit و Logging
• 70. مدیریت خطاهای مرتبط با Alerts و Notifications
• 71. مدیریت خطاهای مرتبط با Data Domains
• 72. مدیریت خطاهای مرتبط با Data Quality Rules
• 73. مدیریت خطاهای مرتبط با Data Quality Results
• 74. مدیریت خطاهای مرتبط با Data Quality Exceptions
• 75. مدیریت خطاهای مرتبط با Data Quality Integration
• 76. مدیریت خطاهای مرتبط با Data Lineage Integration
• 77. مدیریت خطاهای مرتبط با Sensitive Data Protection Integration
• 78. مدیریت خطاهای مرتبط با Data Lifecycle Integration
• 79. مدیریت خطاهای مرتبط با Data Mesh Integration
• 80. مدیریت خطاهای مرتبط با Multi-Region Lake
• 81. مدیریت خطاهای مرتبط با Data Catalog Integration
• 82. مدیریت خطاهای مرتبط با IAM Integration
• 83. مدیریت خطاهای مرتبط با BigQuery Integration
• 84. مدیریت خطاهای مرتبط با Cloud Storage Integration
• 85. مدیریت خطاهای مرتبط با Dataflow Integration
• 86. مدیریت خطاهای مرتبط با Dataproc Integration
• 87. مدیریت خطاهای مرتبط با Pub/Sub Integration
• 88. مدیریت خطاهای مرتبط با Hybrid Integration
• 89. مدیریت خطاهای مرتبط با Schema Integration
• 90. مدیریت خطاهای مرتبط با Metadata Integration