فلش‌کارت‌های آموزشی مهندسی کیفیت پایپلاین‌های داده: از قرارداد تا پایش و بازیابی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مهندسی کیفیت پایپلاین‌های داده: از قرارداد تا پایش و بازیابی

موضوع کلی: مهندسی داده و تضمین کیفیت

موضوع میانی: کیفیت‌سنجی، آزمون و قابلیت‌اطمینان پایپلاین‌های داده

📋 سرفصل‌های دوره

• 1. نقش کیفیت داده در ارزش کسب‌وکار و کاهش ریسک
• 2. معماری مرجع پایپلاین‌های داده و نقاط شکست
• 3. تفاوت کنترل کیفیت، تضمین کیفیت و مهندسی کیفیت
• 4. چرخه حیات کیفیت در داده‌های Batch و Streaming
• 5. طراحی مدل بلوغ کیفیت پایپلاین‌ها
• 6. استخراج نیازمندی‌های کیفیت از ذی‌نفعان
• 7. تعریف معیارها، آستانه‌ها و سیاست‌های پذیرش داده
• 8. اولویت‌بندی ریسک بر اساس اثر کسب‌وکاری و احتمال خرابی
• 9. طراحی چارچوب حکمرانی کیفیت و نقش‌ها
• 10. کیفیت به‌عنوان ویژگی داده‌محصول‌ها
• 11. ابعاد کیفیت داده و انتخاب معیارهای متناسب
• 12. سنجش کامل‌بودن و نرخ‌های ازدست‌رفته
• 13. سنجش اعتبار، صحت و انطباق با دامنه مقادیر
• 14. سنجش یکتایی، تکراری‌بودن و کلیدهای کسب‌وکاری
• 15. سنجش سازگاری درون‌داده‌ای و بین‌سیستمی
• 16. سنجش به‌هنگامی، تازگی و پایبندی به پنجره تحویل
• 17. سنجش حجم، توزیع و تغییرات آماری داده
• 18. سنجش یکپارچگی ارجاعی و روابط موجودیت‌ها
• 19. سنجش کیفیت معنایی و انطباق با قوانین کسب‌وکار
• 20. تعریف SLI، SLO و SLA برای کیفیت داده
• 21. طراحی بودجه خطا و سیاست‌های نقض کیفیت
• 22. پروفایلینگ داده و کشف الگوهای پنهان
• 23. پاک‌سازی داده در برابر رد، قرنطینه و اصلاح داده
• 24. طراحی قوانین کیفیت قابل‌اجرا و قابل‌اندازه‌گیری
• 25. مدیریت استثناها و انحراف‌های مجاز کسب‌وکار
• 26. طراحی Data Contract برای تولیدکنندگان و مصرف‌کنندگان داده
• 27. اعتبارسنجی Schema و سازگاری Backward و Forward
• 28. مدیریت نسخه‌بندی و تکامل قرارداد داده
• 29. مدل‌سازی داده و استانداردسازی نام‌گذاری برای کیفیت
• 30. مدیریت Metadata و ثبت معنای داده
• 31. پیاده‌سازی Lineage برای ردیابی اثر خرابی‌ها
• 32. استفاده از Data Catalog در کشف و مالکیت داده
• 33. الگوهای معماری پایپلاین قابل‌اطمینان
• 34. طراحی مراحل استخراج، بارگذاری و تبدیل با شکست‌پذیری کم
• 35. Idempotency و جلوگیری از پردازش تکراری
• 36. Atomicity و مدیریت تراکنش در بارگذاری داده
• 37. مدیریت وابستگی‌ها و ترتیب اجرای وظایف
• 38. الگوهای Retry، Backoff و Circuit Breaker در پایپلاین داده
• 39. مدیریت Checkpoint و بازیابی در پردازش جریان
• 40. طراحی Backfill و Reprocessing بدون افت کیفیت
• 41. کنترل کیفیت در معماری Batch
• 42. کنترل کیفیت در معماری Streaming
• 43. کنترل کیفیت در معماری Lambda و Kappa
• 44. طراحی Test Pyramid برای پایپلاین‌های داده
• 45. نوشتن Unit Test برای توابع تبدیل
• 46. نوشتن Integration Test برای اتصالات و مخازن داده
• 47. نوشتن Contract Test برای رابط‌های داده
• 48. نوشتن آزمون End-to-End برای مسیر کامل داده
• 49. طراحی Regression Test برای تغییرات کسب‌وکار و کد
• 50. ساخت Fixture و داده‌های مصنوعی برای آزمون
• 51. مدیریت Test Data و حفظ حریم خصوصی
• 52. آزمون Schema، انواع داده و محدودیت‌ها
• 53. آزمون قوانین کسب‌وکار و محاسبات کلیدی
• 54. آزمون Freshness، Volume و Distribution
• 55. آزمون Idempotency، ترتیب و تأخیر رویدادها
• 56. انتخاب و استقرار ابزارهای Validation
• 57. پیاده‌سازی Quality Checks با Great Expectations
• 58. پیاده‌سازی آزمون‌های Declarative در dbt
• 59. پیاده‌سازی اعتبارسنجی مقیاس‌پذیر با Apache Spark و Deequ
• 60. توسعه Assertionهای سفارشی و کتابخانه مشترک کیفیت
• 61. یکپارچه‌سازی آزمون‌ها با CI/CD
• 62. کیفیت‌سنجی در Pre-commit و Pull Request
• 63. طراحی Quality Gate برای انتشار ایمن
• 64. راهبردهای Fail Fast، Fail Closed و Fail Open
• 65. قرنطینه داده، Dead Letter Queue و مسیر اصلاح
• 66. انتشار تدریجی با Canary، Blue-Green و Shadow Pipeline
• 67. مدیریت Migration Schema بدون Downtime
• 68. مانیتورینگ، Logging و Tracing در پایپلاین‌های داده
• 69. طراحی Dashboard برای سلامت داده و کیفیت
• 70. تشخیص ناهنجاری با Baseline و آستانه‌های پویا
• 71. کاربرد یادگیری ماشین در کشف ناهنجاری داده
• 72. پایش Drift در Schema، توزیع و معنای داده
• 73. مدیریت Alert و کاهش هشدارهای کاذب
• 74. طراحی Runbook برای پاسخ به حادثه‌های کیفیت داده
• 75. تحلیل علت ریشه‌ای و جلوگیری از تکرار خرابی
• 76. بازیابی داده، جبران خسارت و اطلاع‌رسانی به مصرف‌کنندگان
• 77. سنجش Performance و تأثیر آن بر کیفیت سرویس داده
• 78. بهینه‌سازی مقیاس‌پذیری و کنترل هزینه بدون افت کیفیت
• 79. امنیت، حریم خصوصی و الزامات انطباق در کنترل کیفیت
• 80. مستندسازی سیاست‌ها، مالکیت‌ها و تصمیم‌های کیفیت
• 81. طراحی برنامه عملیاتی استقرار مهندسی کیفیت
• 82. پروژه پایانی: ساخت پایپلاین داده با کیفیت End-to-End