کتاب مهندسی کیفیت پایپلاینهای داده: از قرارداد تا پایش و بازیابی با فرمت AZW3 برای کتابخوان کیندل و فرمت EPUB
249,950 تومان
🎓 دوره آموزشی جامع
📚 اطلاعات دوره
عنوان دوره: دوره مهندسی کیفیت پایپلاینهای داده: از قرارداد تا پایش و بازیابی
موضوع کلی: مهندسی داده و تضمین کیفیت
موضوع میانی: کیفیت‌سنجی، آزمون و قابلیت‌اطمینان پایپلاینهای داده
📋 سرفصل‌های دوره
- 1. نقش کیفیت داده در ارزش کسب‌وکار و کاهش ریسک
- 2. معماری مرجع پایپلاینهای داده و نقاط شکست
- 3. تفاوت کنترل کیفیت، تضمین کیفیت و مهندسی کیفیت
- 4. چرخه حیات کیفیت در داده‌های Batch و Streaming
- 5. طراحی مدل بلوغ کیفیت پایپلاین‌ها
- 6. استخراج نیازمندی‌های کیفیت از ذی‌نفعان
- 7. تعریف معیارها، آستانه‌ها و سیاست‌های پذیرش داده
- 8. اولویت‌بندی ریسک بر اساس اثر کسب‌وکاری و احتمال خرابی
- 9. طراحی چارچوب حکمرانی کیفیت و نقش‌ها
- 10. کیفیت به‌عنوان ویژگی داده‌محصول‌ها
- 11. ابعاد کیفیت داده و انتخاب معیارهای متناسب
- 12. سنجش کامل‌بودن و نرخ‌های ازدست‌رفته
- 13. سنجش اعتبار، صحت و انطباق با دامنه مقادیر
- 14. سنجش یکتایی، تکراری‌بودن و کلیدهای کسب‌وکاری
- 15. سنجش سازگاری درون‌داده‌ای و بین‌سیستمی
- 16. سنجش به‌هنگامی، تازگی و پایبندی به پنجره تحویل
- 17. سنجش حجم، توزیع و تغییرات آماری داده
- 18. سنجش یکپارچگی ارجاعی و روابط موجودیت‌ها
- 19. سنجش کیفیت معنایی و انطباق با قوانین کسب‌وکار
- 20. تعریف SLI، SLO و SLA برای کیفیت داده
- 21. طراحی بودجه خطا و سیاست‌های نقض کیفیت
- 22. پروفایلینگ داده و کشف الگوهای پنهان
- 23. پاک‌سازی داده در برابر رد، قرنطینه و اصلاح داده
- 24. طراحی قوانین کیفیت قابل‌اجرا و قابل‌اندازه‌گیری
- 25. مدیریت استثناها و انحراف‌های مجاز کسب‌وکار
- 26. طراحی Data Contract برای تولیدکنندگان و مصرف‌کنندگان داده
- 27. اعتبارسنجی Schema و سازگاری Backward و Forward
- 28. مدیریت نسخه‌بندی و تکامل قرارداد داده
- 29. مدل‌سازی داده و استانداردسازی نام‌گذاری برای کیفیت
- 30. مدیریت Metadata و ثبت معنای داده
- 31. پیاده‌سازی Lineage برای ردیابی اثر خرابی‌ها
- 32. استفاده از Data Catalog در کشف و مالکیت داده
- 33. الگوهای معماری پایپلاین قابل‌اطمینان
- 34. طراحی مراحل استخراج، بارگذاری و تبدیل با شکست‌پذیری کم
- 35. Idempotency و جلوگیری از پردازش تکراری
- 36. Atomicity و مدیریت تراکنش در بارگذاری داده
- 37. مدیریت وابستگی‌ها و ترتیب اجرای وظایف
- 38. الگوهای Retry، Backoff و Circuit Breaker در پایپلاین داده
- 39. مدیریت Checkpoint و بازیابی در پردازش جریان
- 40. طراحی Backfill و Reprocessing بدون افت کیفیت
- 41. کنترل کیفیت در معماری Batch
- 42. کنترل کیفیت در معماری Streaming
- 43. کنترل کیفیت در معماری Lambda و Kappa
- 44. طراحی Test Pyramid برای پایپلاینهای داده
- 45. نوشتن Unit Test برای توابع تبدیل
- 46. نوشتن Integration Test برای اتصالات و مخازن داده
- 47. نوشتن Contract Test برای رابط‌های داده
- 48. نوشتن آزمون End-to-End برای مسیر کامل داده
- 49. طراحی Regression Test برای تغییرات کسب‌وکار و کد
- 50. ساخت Fixture و داده‌های مصنوعی برای آزمون
- 51. مدیریت Test Data و حفظ حریم خصوصی
- 52. آزمون Schema، انواع داده و محدودیت‌ها
- 53. آزمون قوانین کسب‌وکار و محاسبات کلیدی
- 54. آزمون Freshness، Volume و Distribution
- 55. آزمون Idempotency، ترتیب و تأخیر رویدادها
- 56. انتخاب و استقرار ابزارهای Validation
- 57. پیاده‌سازی Quality Checks با Great Expectations
- 58. پیاده‌سازی آزمون‌های Declarative در dbt
- 59. پیاده‌سازی اعتبارسنجی مقیاس‌پذیر با Apache Spark و Deequ
- 60. توسعه Assertionهای سفارشی و کتابخانه مشترک کیفیت
- 61. یکپارچه‌سازی آزمون‌ها با CI/CD
- 62. کیفیت‌سنجی در Pre-commit و Pull Request
- 63. طراحی Quality Gate برای انتشار ایمن
- 64. راهبردهای Fail Fast، Fail Closed و Fail Open
- 65. قرنطینه داده، Dead Letter Queue و مسیر اصلاح
- 66. انتشار تدریجی با Canary، Blue-Green و Shadow Pipeline
- 67. مدیریت Migration Schema بدون Downtime
- 68. مانیتورینگ، Logging و Tracing در پایپلاینهای داده
- 69. طراحی Dashboard برای سلامت داده و کیفیت
- 70. تشخیص ناهنجاری با Baseline و آستانه‌های پویا
- 71. کاربرد یادگیری ماشین در کشف ناهنجاری داده
- 72. پایش Drift در Schema، توزیع و معنای داده
- 73. مدیریت Alert و کاهش هشدارهای کاذب
- 74. طراحی Runbook برای پاسخ به حادثه‌های کیفیت داده
- 75. تحلیل علت ریشه‌ای و جلوگیری از تکرار خرابی
- 76. بازیابی داده، جبران خسارت و اطلاع‌رسانی به مصرف‌کنندگان
- 77. سنجش Performance و تأثیر آن بر کیفیت سرویس داده
- 78. بهینه‌سازی مقیاس‌پذیری و کنترل هزینه بدون افت کیفیت
- 79. امنیت، حریم خصوصی و الزامات انطباق در کنترل کیفیت
- 80. مستندسازی سیاست‌ها، مالکیت‌ها و تصمیم‌های کیفیت
- 81. طراحی برنامه عملیاتی استقرار مهندسی کیفیت
- 82. پروژه پایانی: ساخت پایپلاین داده با کیفیت End-to-End
تگ‌ها:
Apache Spark
CI/CD
Data Contracts
Data Engineering
Data Lineage
Data Observability
Data Pipeline
Data Quality
Data Testing
dbt
Great Expectations
تست داده
کیفیت داده
مهندسی داده
نظرات
هنوز نظری ثبت نشده است.
وارد شوید تا نظر ثبت کنید.