دوره پیاده‌سازی خط‌لوله‌های داده با dbt در محیط Databricks (راهکار جامع مدیریت داده‌های سازمانی) همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پیاده‌سازی خط‌لوله‌های داده با dbt در محیط Databricks (راهکار جامع مدیریت داده‌های سازمانی)

موضوع کلی: مهندسی داده و هوش تجاری (Data Engineering & BI)

موضوع میانی: مدیریت و تحول داده‌ها در پلتفرم‌های ابری

📋 سرفصل‌های دوره

• 1. مبانی مهندسی داده در پلتفرم‌های ابری
• 2. معماری پلتفرم داده در دیتابریکس
• 3. آشنایی با مفاهیم انبار داده مدرن و دریاچه داده
• 4. اصول و چرخه حیات مدیریت داده در محیط ابری
• 5. نصب و راه‌اندازی محیط توسعه برای dbt
• 6. پیکربندی اتصال dbt به فضای کاری دیتابریکس
• 7. ساختار پروژه در dbt و مدیریت فایل‌های تنظیمات
• 8. مفهوم مدل‌سازی داده و اهمیت تبدیل داده‌ها
• 9. کار با زبان SQL در محیط dbt برای پردازش داده‌ها
• 10. استفاده از مدل‌های Select در dbt
• 11. مدیریت وابستگی‌ها در خط‌لوله‌های داده
• 12. استفاده از منابع داده در dbt و اتصال به جداول Delta Lake
• 13. کار با متغیرها و پارامترسازی در پروژه‌های داده
• 14. ایجاد و مدیریت مدل‌های داده‌ای با استفاده از دستورات dbt
• 15. استفاده از الگوهای Jinja در شخصی‌سازی مدل‌ها
• 16. مفهوم تست داده در dbt برای تضمین کیفیت
• 17. انواع تست‌های پیش‌فرض در dbt و کاربرد آن‌ها
• 18. ایجاد تست‌های سفارشی برای منطق کسب‌وکار
• 19. مستندسازی پروژه‌های داده در dbt
• 20. استفاده از فرآیند Snapshot برای مدیریت داده‌های تغییرپذیر
• 21. بهینه‌سازی عملکرد کوئری‌ها در دیتابریکس
• 22. مدیریت محیط‌های توسعه، تست و عملیات
• 23. یکپارچه‌سازی dbt با ابزارهای کنترل نسخه مانند Git
• 24. پیاده‌سازی CI/CD برای خط‌لوله‌های داده
• 25. مدیریت وظایف و زمان‌بندی اجرا در دیتابریکس
• 26. مانیتورینگ و مشاهده وضعیت اجرای خط‌لوله‌ها
• 27. مدیریت سطوح دسترسی و امنیت در پلتفرم داده
• 28. اصول طراحی داشبوردهای هوش تجاری بر پایه مدل‌های dbt
• 29. اتصال dbt به ابزارهای تحلیل داده و گزارش‌گیری
• 30. مدیریت هزینه‌های پردازش در محیط ابری دیتابریکس
• 31. پیاده‌سازی استانداردهای حاکمیت داده در خط‌لوله‌ها
• 32. بهترین روش‌های نام‌گذاری و سازماندهی مدل‌ها
• 33. مدیریت تغییرات در طرح‌واره پایگاه داده
• 34. استفاده از ماکروها برای کاهش تکرار در کدنویسی
• 35. مدیریت بسته‌های جانبی و کتابخانه‌های dbt
• 36. بررسی چالش‌های مقیاس‌پذیری در داده‌های حجیم
• 37. راهکارهای عیب‌یابی و رفع خطا در خط‌لوله‌های داده
• 38. استفاده از ویژگی‌های پیشرفته Delta Lake در dbt
• 39. تلفیق داده‌های جریانی و دسته‌ای در مدل‌های dbt
• 40. ارائه گزارش‌های مدیریتی با استفاده از خروجی‌های dbt