فلش‌کارت‌های آموزشی اصول پیشرفته مهندسی داده با ابزار dbt

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره اصول پیشرفته مهندسی داده با ابزار dbt

موضوع کلی: فناوری اطلاعات و علوم کامپیوتر

موضوع میانی: مهندسی داده و تحلیل داده

📋 سرفصل‌های دوره

• 1. مقدمه ای بر مهندسی داده پیشرفته
• 2. آشنایی با مفاهیم کلیدی dbt
• 3. نصب و پیکربندی dbt
• 4. ساختار پروژه dbt
• 5. توسعه مدل های منبع (Source Models)
• 6. تبدیل داده ها با استفاده از مدل های CTE
• 7. پیاده سازی مدل های تبدیل شده (Transformed Models)
• 8. مدیریت وابستگی ها در dbt
• 9. تست نویسی برای مدل ها
• 10. انواع تست ها در dbt
• 11. تست های منحصر به فرد (Unique Tests)
• 12. تست های عدم وجود مقادیر خالی (Not Null Tests)
• 13. تست های مقادیر مجاز (Accepted Values Tests)
• 14. تست های کلید خارجی (Foreign Key Tests)
• 15. تست های مقادیر سفارشی (Custom Tests)
• 16. مستندسازی پروژه dbt
• 17. تولید خودکار مستندات
• 18. استفاده از Git برای کنترل نسخه
• 19. ایجاد و مدیریت شاخه ها (Branches)
• 20. ادغام تغییرات (Merging)
• 21. بررسی درخواست های ادغام (Merge Requests)
• 22. پایپ لاین های CI/CD برای dbt
• 23. خودکارسازی تست ها و انتشار
• 24. استفاده از Jinja برای منطق شرطی
• 25. متغیرها در dbt
• 26. توابع Jinja سفارشی
• 27. مدیریت داده های حساس
• 28. نقش dbt در امنیت داده ها
• 29. پیکربندی های محیطی (Environments)
• 30. توسعه در محیط توسعه (Development)
• 31. استقرار در محیط تولید (Production)
• 32. مدیریت کاربران و مجوزها
• 33. بهینه سازی عملکرد مدل ها
• 34. شناسایی گلوگاه های عملکردی
• 35. استفاده از استراتژی های بارگذاری (Loading Strategies)
• 36. بارگذاری افزایشی (Incremental Loading)
• 37. بارگذاری کامل (Full Refresh)
• 38. مدیریت تاریخچه داده ها (Data History)
• 39. استفاده از جداول موقتی (Ephemeral Models)
• 40. جداول دیدگاهی (View Models)
• 41. جداول جدولی (Table Models)
• 42. جداول افزایشی (Incremental Models)
• 43. مدیریت داده های استریمینگ (Streaming Data)
• 44. یکپارچگی داده ها (Data Integrity)
• 45. اعتبار سنجی داده ها (Data Validation)
• 46. قوانین کسب و کار (Business Rules)
• 47. استفاده از ابزارهای خارجی با dbt
• 48. اتصال به انباره های داده (Data Warehouses)
• 49. اتصال به دریاچه های داده (Data Lakes)
• 50. استفاده از dbt Cloud
• 51. مدیریت پروژه ها در dbt Cloud
• 52. زمان بندی اجرا در dbt Cloud
• 53. مانیتورینگ و گزارش دهی
• 54. استفاده از DAG (Directed Acyclic Graph)
• 55. نمایش گراف وابستگی ها
• 56. تجزیه و تحلیل خطاها
• 57. مدیریت خطاها و بازیابی
• 58. ملاحظات امنیتی در مهندسی داده
• 59. حفاظت از اطلاعات محرمانه
• 60. رعایت حریم خصوصی داده ها
• 61. اصول مهندسی داده اخلاقی
• 62. مدیریت کیفیت داده ها
• 63. روش های بهبود کیفیت داده ها
• 64. شاخص های کلیدی عملکرد (KPIs) در مهندسی داده
• 65. انتخاب ابزارهای مناسب
• 66. استفاده از ابزارهای بصری سازی داده
• 67. اتصال dbt به ابزارهای BI
• 68. اصول طراحی انبار داده
• 69. مفاهیم مدل سازی داده
• 70. مدل سازی ابعادی (Dimensional Modeling)
• 71. مدل سازی ستاره ای (Star Schema)
• 72. مدل سازی برف دانه ای (Snowflake Schema)
• 73. مدیریت داده های تاریخی در انبار داده
• 74. استفاده از پارتیشن بندی (Partitioning)
• 75. استفاده از شاخص گذاری (Indexing)
• 76. بهینه سازی کوئری ها (Query Optimization)
• 77. مفاهیم کلان داده (Big Data)
• 78. معماری های کلان داده
• 79. تکنیک های پردازش کلان داده
• 80. امنیت در معماری های کلان داده
• 81. ملاحظات قانونی و مقرراتی در داده ها
• 82. قوانین حفاظت از داده ها
• 83. استانداردهای صنعتی
• 84. مدیریت ریسک در پروژه های داده
• 85. برنامه ریزی و زمان بندی پروژه
• 86. تخصیص منابع
• 87. مدیریت ذینفعان
• 88. ارتباطات موثر در پروژه های داده
• 89. آموزش و توانمندسازی تیم
• 90. فرهنگ داده محور (Data-Driven Culture)
• 91. استفاده از یادگیری ماشین در مهندسی داده
• 92. مقدمه ای بر الگوریتم های یادگیری ماشین
• 93. آماده سازی داده ها برای یادگیری ماشین
• 94. ارزیابی مدل های یادگیری ماشین
• 95. کاربرد یادگیری ماشین در تحلیل داده
• 96. ملاحظات اخلاقی در هوش مصنوعی
• 97. تفسیرپذیری مدل های یادگیری ماشین
• 98. مقدمه ای بر پردازش زبان طبیعی
• 99. کاربرد NLP در تحلیل داده
• 100. مقدمه ای بر بینایی ماشین