فلش‌کارت‌های آموزشی تسلط بر مدل‌سازی داده با SQL و خودکارسازی تحلیل‌ها به کمک Jinja در ابزار dbt

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تسلط بر مدل‌سازی داده با SQL و خودکارسازی تحلیل‌ها به کمک Jinja در ابزار dbt

موضوع کلی: علوم داده و تحلیل کلان‌داده (Data Science & Big Data)

موضوع میانی: مهندسی داده و مدیریت پایگاه‌داده (Data Engineering)

📋 سرفصل‌های دوره (100 موضوع)

• 1. مبانی و مفاهیم مهندسی داده در اکوسیستم مدرن
• 2. نقش ابزار dbt در چرخه حیات مدل‌سازی داده
• 3. نصب و راه‌اندازی محیط توسعه برای dbt
• 4. ساختار و سلسله‌مراتب پروژه‌ها در dbt
• 5. اتصال به انبار داده و تنظیمات کانکشن‌ها
• 6. مفهوم مدل‌سازی داده و اهمیت آن در تحلیل کسب‌وکار
• 7. آشنایی با سینتکس SQL در محیط dbt
• 8. استفاده از مدل‌های Select برای استخراج داده‌های اولیه
• 9. مدیریت رفرنس‌ها با دستور Ref برای پیوند مدل‌ها
• 10. کاربرد دستور Source در تعریف منابع داده‌ای
• 11. تولید مستندات خودکار برای مدل‌های داده
• 12. اعمال تست‌های کیفیت داده بر روی مدل‌ها
• 13. مفهوم جینس (Jinja) در توسعه کوئری‌های پویا
• 14. استفاده از متغیرهای Jinja برای مدیریت تنظیمات
• 15. کاربرد حلقه‌های تکرار (For Loops) در کدهای SQL
• 16. استفاده از شرط‌های (If Statements) برای منطق‌های پویا
• 17. نحوه تعریف و فراخوانی ماکروها (Macros) در dbt
• 18. بهینه‌سازی کدهای SQL با استفاده از ماکروهای سفارشی
• 19. مدیریت مدل‌های افزایشی (Incremental Models) برای بهینه‌سازی عملکرد
• 20. استفاده از Materialization برای مدیریت جداول و ویوها
• 21. پیاده‌سازی منطق‌های پیچیده تجاری با استفاده از Jinja
• 22. استفاده از پکیج‌های آماده در dbt برای افزایش بهره‌وری
• 23. مدیریت و سازمان‌دهی مدل‌های مرحله‌ای (Staging Models)
• 24. مدل‌سازی ابعادی (Dimensional Modeling) در انبار داده
• 25. طراحی جداول Fact و Dimension با استفاده از dbt
• 26. پیاده‌سازی مفاهیم Slowly Changing Dimensions در dbt
• 27. استفاده از Snapshot برای ردیابی تغییرات داده‌ها
• 28. ایجاد تست‌های سفارشی برای تضمین صحت داده‌ها
• 29. تحلیل عملکرد کوئری‌ها و بهینه‌سازی انبار داده
• 30. مدیریت محیط‌های توسعه، تست و عملیات
• 31. کنترل نسخه و همکاری تیمی با Git در پروژه‌های dbt
• 32. خودکارسازی جریان‌های کاری با ابزارهای زمان‌بندی
• 33. یکپارچه‌سازی dbt با ابزارهای مصورسازی داده
• 34. امنیت و کنترل دسترسی در لایه مدل‌سازی داده
• 35. رعایت اصول حریم خصوصی در پردازش داده‌ها
• 36. بررسی الگوهای طراحی برای مقیاس‌پذیری داده‌ها
• 37. رفع خطاهای متداول در مدل‌سازی و کامپایل کدها
• 38. مستندسازی پیشرفته و مدیریت دانش داده‌ای
• 39. ارائه گزارش‌های تحلیلی مبتنی بر مدل‌های dbt
• 40. پروژه نهایی طراحی یک خط لوله داده از استخراج تا تحلیل