dbt یک ابزار متن‌باز است که رویکردی جدید و مبتنی بر کد را به فرآیند تبدیل داده‌ها در انبار داده (Data Warehouse) ارائه می‌دهد. این ابزار با تمرکز بر SQL، به مهندسان داده امکان می‌دهد تا منطق تبدیل داده‌ها را به صورت ماژولار، قابل تست و قابل نگهداری بنویسند. ویژگی‌های کلیدی dbt عبارتند از:

• مدیریت وابستگی (Dependency Management): dbt به شما کمک می‌کند تا جریان‌های کاری پیچیده داده را به صورت گراف جهت‌دار غیرمدور (DAG) تعریف کرده و وابستگی بین مدل‌های داده‌ای را به طور خودکار مدیریت کنید.
• تست داده (Data Testing): با dbt می‌توانید انواع تست‌ها را بر روی داده‌های خود پیاده‌سازی کنید، از جمله بررسی یکتایی رکوردها، وجود مقادیر null، و سازگاری با مقادیر مورد انتظار.
• مستندسازی (Documentation): dbt به شما امکان می‌دهد تا مستندات جامعی برای مدل‌های داده‌ای خود تولید کنید، که شامل توضیحات جداول، ستون‌ها و روابط بین آن‌ها می‌شود.
• سازگاری با Git: dbt به طور کامل با سیستم‌های کنترل نسخه مانند Git ادغام می‌شود، که این امر امکان همکاری تیمی، مدیریت تغییرات و بازگشت به نسخه‌های قبلی را فراهم می‌آورد.
• قابلیت توسعه (Extensibility): با استفاده از Jinja، می‌توانید منطق‌های پیچیده‌تری را در قالب کد SQL خود بگنجانید.

این دوره آموزشی جامع، شما را گام به گام با مفاهیم و کاربردهای dbt آشنا می‌کند. سرفصل‌های اصلی دوره به شرح زیر است:

مقدمه و مبانی dbt

• آشنایی با مفهوم مهندسی داده و چالش‌های مدرن
• معرفی dbt و نقش آن در اکوسیستم داده
• نصب و پیکربندی اولیه dbt
• آشنایی با ساختار پروژه‌های dbt
• پروژه‌های عملی: راه‌اندازی اولین پروژه dbt

مدل‌سازی داده با dbt

• مفهوم مدل‌های منبع (Sources)، جداول (Tables)، دیدگاه‌ها (Views) و مارتی‌های (Marits) داده
• ایجاد مدل‌های داده‌ای با استفاده از SQL
• استفاده از Jinja برای پارامترسازی و کدنویسی پویا
• تکنیک‌های پیشرفته مدل‌سازی: استراتژی‌های کامپایل (Compile Strategies)
• پروژه‌های عملی: ساخت زنجیره‌ای از مدل‌های داده‌ای

مدیریت وابستگی و اجرای پروژه‌ها

• تعریف وابستگی بین مدل‌های داده‌ای
• دسته‌بندی مدل‌ها (Model Selectors)
• زمان‌بندی اجرای مدل‌ها (Run Order)
• مدیریت منابع (Resources) مانند مدل‌ها، تست‌ها و مستندات
• پروژه‌های عملی: اجرای گراف وابستگی پروژه

تست داده در dbt

• انواع تست‌های پیش‌فرض dbt (Unique, Not Null, Accepted Values, Relationships)
• نوشتن تست‌های سفارشی (Custom Tests)
• اهمیت تست در تضمین کیفیت داده
• پروژه‌های عملی: پیاده‌سازی مجموعه‌ای از تست‌های داده

مستندسازی در dbt

• نوشتن مستندات برای مدل‌ها و ستون‌ها
• تولید و انتشار سایت مستندات dbt
• اهمیت مستندسازی در همکاری تیمی و شفافیت داده
• پروژه‌های عملی: ایجاد سایت مستندات برای پروژه

بهینه‌سازی و مدیریت پروژه

• تنظیمات پروژه (Project Configuration)
• مدیریت محیط‌ها (Environments)
• استفاده از dbt Cloud برای مدیریت پروژه‌های بزرگتر
• یکپارچه‌سازی با ابزارهای CI/CD
• نکات و ترفندهای کاربردی برای پروژه‌های واقعی

کاربرد عملی dbt در سناریوهای واقعی

• ساخت Data Marts برای تیم‌های BI
• پاکسازی و تبدیل داده‌های CRM
• پردازش لاگ‌های وب‌سرور
• مدل‌سازی داده‌های مالی
• پروژه‌های عملی: پیاده‌سازی یک سناریوی کامل مهندسی داده با dbt

با گذراندن این دوره، شما به مهارت‌های کلیدی دست خواهید یافت که شما را به یک مهندس داده توانمند و کارآمد تبدیل می‌کند:

• تخصص عملی: تمرکز بر کاربردهای عملی و پروژه‌های واقعی، درک عمیقی از نحوه استفاده از dbt در محیط‌های کاری واقعی به شما می‌دهد.
• محتوای جامع و به‌روز: این دوره بر اساس آخرین به‌روزرسانی‌های dbt در سال 2023 طراحی شده و شامل جدیدترین تکنیک‌ها و بهترین روش‌ها است.
• دسترسی پایدار: محتوای دوره بر روی یک فلش مموری 32 گیگابایتی با کیفیت بالا ارائه می‌شود که دسترسی سریع و بدون نیاز به اینترنت را برای شما تضمین می‌کند.
• افزایش بهره‌وری: یادگیری dbt به شما کمک می‌کند تا فرآیندهای تبدیل داده را سریع‌تر، مطمئن‌تر و با کیفیت بالاتر انجام دهید.
• پرورش مهارت‌های کدنویسی: با dbt، شما یاد می‌گیرید که چگونه منطق پیچیده داده را با استفاده از SQL و Jinja به صورت کارآمد بیان کنید.
• پیشرفت شغلی: مهارت در dbt، یک مزیت رقابتی قوی در بازار کار مهندسی داده محسوب می‌شود و فرصت‌های شغلی شما را به طور قابل توجهی افزایش می‌دهد.

برای بهره‌مندی کامل از این دوره، دانش پایه و تجربه‌ی کار با مفاهیم زیر ضروری است:

• دانش SQL: تسلط کامل بر زبان SQL، شامل دستورات SELECT، JOIN، GROUP BY، Window Functions و CTEs (Common Table Expressions).
• مفاهیم پایگاه داده: درک مفاهیم پایگاه داده رابطه‌ای، انبار داده (Data Warehouse)، جداول، کلیدهای اصلی و خارجی.
• آشنایی با خط فرمان (Command Line): آشنایی اولیه با دستورات پایه خط فرمان برای ناوبری و اجرای دستورات.
• مبانی مهندسی داده: درک کلی از فرآیندهای ETL/ELT و چرخه حیات داده.

دانش اولیه در مورد سیستم کنترل نسخه Git نیز مفید خواهد بود، هرچند در طول دوره به اصول آن نیز پرداخته خواهد شد.

دوره مهندسی داده: dbt برای SQL (نسخه 2023-9) بر بستر فلش مموری 32 گیگابایتی، یک سرمایه‌گذاری ارزشمند برای هر کسی است که به دنبال ارتقاء مهارت‌های خود در حوزه مهندسی داده و کار با ابزارهای مدرن است. این دوره جامع، با ارائه محتوای کاربردی، پروژه‌های عملی و تمرکز بر بهترین روش‌ها، شما را قادر می‌سازد تا پروژه‌های پیچیده داده را با اطمینان و کارایی بالا مدیریت کنید. با یادگیری dbt، شما گامی بلند در جهت تبدیل شدن به یک مهندس داده حرفه‌ای و مورد تقاضا در صنعت برمی‌دارید.