کتاب آموزش SQL برای مهندسان داده: Query نویسی پیشرفته و بهینه‌سازی

آموزش SQL برای مهندسان داده: Query نویسی پیشرفته و بهینه‌سازی – گامی بلند در مسیر تخصص

در دنیای پرشتاب امروز، داده‌ها موتور محرک نوآوری و تصمیم‌گیری‌های استراتژیک هستند. به عنوان یک مهندس داده، تسلط بر SQL نه تنها یک مهارت، بلکه یک مزیت رقابتی بی‌بدیل است. شما مسئول شکل‌دهی، پاکسازی و آماده‌سازی داده‌هایی هستید که هوش تجاری سازمان‌ها را تغذیه می‌کنند. اما آیا کوئری‌های شما همیشه بهینه هستند؟ آیا می‌توانید با حجم‌های عظیم داده به سرعت و کارآمدی بالا کار کنید؟

این دوره فرصتی استثنایی برای شماست تا از یک کاربر SQL صرف به یک معمار داده‌های قدرتمند تبدیل شوید. ما فراتر از مبانی حرکت می‌کنیم و شما را با پیچیده‌ترین و کارآمدترین تکنیک‌های Query نویسی آشنا می‌سازیم. هدف ما توانمندسازی شما برای حل چالش‌های واقعی مهندسی داده، افزایش چشمگیر عملکرد کوئری‌ها و ساخت خطوط لوله داده (Data Pipelines) پایدار و مقیاس‌پذیر است.

اگر آماده‌اید که مهارت‌های SQL خود را به سطحی برسانید که در دنیای مهندسی داده مورد تحسین قرار گیرد، این دوره دقیقاً همان چیزی است که به آن نیاز دارید. آماده شوید تا قدرت واقعی داده‌ها را از طریق SQL پیشرفته کشف کنید و به ستاره‌ای در تیم مهندسی داده خود تبدیل شوید.

درباره دوره: فراتر از SQL پایه، به سوی تسلط بر داده‌ها

دوره “آموزش SQL برای مهندسان داده: Query نویسی پیشرفته و بهینه‌سازی” به گونه‌ای طراحی شده است که دانش شما را از SQL پایه‌ای به سمت مهارت‌های پیشرفته و حیاتی برای نقش مهندسی داده ارتقاء دهد. این دوره بر ابزارهای کلیدی و تکنیک‌های عملی تمرکز دارد که به شما امکان می‌دهد با حجم‌های بزرگ داده کار کنید، کوئری‌های پیچیده را بنویسید، عملکرد پایگاه داده را بهینه کنید و داده‌ها را به شکلی کارآمد برای تحلیل و گزارش‌گیری آماده سازید.

ما به شما نشان می‌دهیم چگونه ساختارهای داده‌ای را درک کنید، بهترین استراتژی‌های ایندکس‌گذاری را پیاده‌سازی کنید، از توابع پنجره‌ای (Window Functions) برای محاسبات پیشرفته بهره ببرید و با استفاده از Common Table Expressions (CTEs) کوئری‌های خواناتر و قابل نگهداری‌تر ایجاد کنید. این دوره نه تنها دانش فنی شما را افزایش می‌دهد، بلکه تفکر تحلیلی و مهارت‌های حل مسئله شما را نیز تقویت خواهد کرد.

موضوعات کلیدی این دوره: ابزارهای شما برای مهندسی داده مدرن

• تکنیک‌های پیشرفته Query نویسی: Subqueries، CTEs، Views و Stored Procedures
• تسلط بر توابع پنجره‌ای (Window Functions) برای تحلیل‌های پیچیده
• بهینه‌سازی عملکرد کوئری‌ها: ایندکس‌گذاری، طرح‌های اجرایی (Execution Plans) و بازنویسی کوئری
• مدیریت و دستکاری داده‌ها (DML) در مقیاس بزرگ: ETL و پاکسازی داده‌ها
• طراحی پایگاه داده برای مهندسان داده: نرمال‌سازی و دینرمال‌سازی در عمل
• کار با انواع داده‌های پیچیده: JSON، XML و داده‌های مکانی
• استفاده از SQL در اکوسیستم‌های داده بزرگ (مانند Spark SQL و Data Warehouses)

این دوره برای چه کسانی مناسب است؟ مسیر شما به سوی تخصص

• **مهندسان داده (Data Engineers)**: چه در ابتدای مسیر باشید و چه به دنبال ارتقاء مهارت‌های خود، این دوره برای شماست.
• **تحلیلگران داده (Data Analysts)**: که می‌خواهند فراتر از Query نویسی پایه رفته و کوئری‌های پیچیده و بهینه بنویسند.
• **توسعه‌دهندگان ETL**: که به دنبال بهبود کارایی و سرعت فرآیندهای انتقال داده خود هستند.
• **توسعه‌دهندگان BI**: برای ساخت داشبوردها و گزارشات مبتنی بر داده‌های آماده و بهینه.
• **مدیران پایگاه داده (DBAs)**: که قصد دارند درک عمیق‌تری از چگونگی بهینه‌سازی کوئری‌ها برای مهندسان داده داشته باشند.
• **هر کسی با دانش SQL پایه**: که مشتاق است مهارت‌های خود را به سطح حرفه‌ای و پیشرفته برساند و در دنیای داده‌ها بدرخشد.

چرا باید این دوره را بگذرانید؟ سرمایه‌گذاری بر روی آینده شغلی شما

• **تسلط بر SQL پیشرفته**: مهارت‌های خود را به سطحی برسانید که کمتر کسی از آن برخوردار است و در حل پیچیده‌ترین چالش‌های داده‌ای پیشرو باشید.
• **افزایش چشمگیر کارایی**: یاد بگیرید چگونه کوئری‌هایی بنویسید که نه تنها درست کار می‌کنند، بلکه با نهایت سرعت و کمترین مصرف منابع اجرا شوند.
• **افزایش ارزش در بازار کار**: با این مهارت‌های تخصصی، به یکی از ارزشمندترین اعضای تیم مهندسی داده تبدیل شوید و فرصت‌های شغلی بهتری را جذب کنید.
• **مدیریت حجم بالای داده**: بدون نگرانی با ترابایت‌ها و پتابایت‌ها داده کار کنید و سیستم‌های داده‌ای مقیاس‌پذیر بسازید.
• **ساخت خطوط لوله داده قوی**: اصول و بهترین روش‌ها را برای طراحی و پیاده‌سازی ETL/ELT قدرتمند با استفاده از SQL فرا بگیرید.
• **یادگیری از متخصصان**: محتوای این دوره توسط متخصصان مجرب مهندسی داده طراحی شده است که تجربه عملی در پروژه‌های بزرگ دارند.
• **آموزش کاربردی و عملی**: با مثال‌های واقعی و تمرینات چالش‌برانگیز، آنچه را یاد می‌گیرید فوراً در کار خود به کار ببرید.

سرفصل‌های جامع دوره: سفر عمیق به دنیای SQL پیشرفته (بیش از 100 سرفصل)

ماژول 1: پایه و اساس محکم در SQL (مروری کاربردی برای مهندسی داده)

• مروری بر اصول SQL (SELECT, FROM, WHERE, GROUP BY, HAVING, ORDER BY)
• انواع داده‌ها و انتخاب صحیح آن‌ها در طراحی دیتا مدل
• اهمیت NULL و کار با آن در Query نویسی
• مقدمه‌ای بر توابع SQL (رشته‌ای، عددی، تاریخ و زمان)
• اصول Joins و کاربرد آن‌ها در تجمیع داده‌ها
• چالش‌ها و راه‌حل‌های مربوط به داده‌های تکراری
• توابع تجمیعی پیشرفته (Aggregate Functions)
• مقدمه‌ای بر مفاهیم Index و تاثیر آن بر عملکرد
• مدیریت تراکنش‌ها (Transactions) و ACID Properties
• استفاده از Constraints برای یکپارچگی داده‌ها

ماژول 2: تکنیک‌های پیشرفته Query نویسی برای مهندسان داده

• Subqueries: انواع و کاربردهای پیشرفته (IN, EXISTS, Scalar Subqueries)
• Common Table Expressions (CTEs): اصول و کاربرد در کوئری‌های پیچیده
• CTEs بازگشتی (Recursive CTEs) برای کار با داده‌های سلسله‌مراتبی
• Views: ایجاد، مدیریت و بهینه‌سازی Views
• Temporary Tables و Table Variables: تفاوت‌ها و زمان استفاده
• Stored Procedures: طراحی، پیاده‌سازی و پارامترها
• User-Defined Functions (UDFs): انواع و کاربردها
• Cursor: شناخت و زمان اجتناب از آن
• پیاده‌سازی MERGE Statement برای ETL (UPSERT)
• Pivot و Unpivot: تبدیل ردیف‌ها به ستون‌ها و برعکس

ماژول 3: تسلط بر توابع پنجره‌ای (Window Functions)

• مقدمه‌ای بر Window Functions و تفاوت با Aggregate Functions
• PARTITION BY و ORDER BY در Window Functions
• توابع رتبه‌بندی (Ranking Functions): ROW_NUMBER, RANK, DENSE_RANK, NTILE
• توابع تحلیل ارزش‌ها (Value Functions): LAG, LEAD, FIRST_VALUE, LAST_VALUE
• توابع تجمیعی در Context توابع پنجره‌ای (SUM, AVG, COUNT Over Partition)
• فریم‌های پنجره (Window Frames): ROWS BETWEEN, RANGE BETWEEN
• کاربردهای Window Functions در تحلیل سری‌های زمانی
• شناسایی و تحلیل تغییرات در طول زمان با Window Functions
• محاسبه مجموع‌های متحرک (Moving Averages/Sums)
• سناریوهای پیشرفته با ترکیب چندین Window Function

ماژول 4: بهینه‌سازی عملکرد کوئری‌ها و پایگاه داده

• آشنایی عمیق با Execution Plans (طرح‌های اجرایی)
• تشخیص گلوگاه‌های عملکردی در کوئری‌ها
• استراتژی‌های صحیح ایندکس‌گذاری (Clustered vs. Non-Clustered Indexes)
• Columnstore Indexes برای Data Warehousing و آنالیز
• نکات و ترفندهای بازنویسی کوئری برای بهبود عملکرد
• تفاوت‌های IN و EXISTS از دیدگاه Performance
• استفاده بهینه از UNION vs. UNION ALL
• اهمیت Statistics و به‌روزرسانی آن‌ها
• Fragmented Indexes و بازسازی/مرتب‌سازی (Rebuild/Reorganize)
• تنظیمات سرور و پایگاه داده برای Performance بالاتر

ماژول 5: مهندسی داده و ETL با SQL

• معرفی چرخه ETL و ELT
• استخراج داده‌ها (Extraction): روش‌ها و ملاحظات
• تبدیل داده‌ها (Transformation): پاکسازی، تجمیع و استانداردسازی
• بارگذاری داده‌ها (Loading): روش‌های Incremental و Full Load
• مدیریت Slowly Changing Dimensions (SCD Type 1, 2, 3) با SQL
• استفاده از CTEs و Subqueries در Transformation های پیچیده
• اعتبارسنجی داده‌ها (Data Validation) با SQL
• شناسایی و حذف ردیف‌های تکراری در فرآیندهای ETL
• مهار خطاهای داده‌ای در طول فرآیند ETL
• بهینه‌سازی عملیات INSERT, UPDATE, DELETE در حجم بالا

ماژول 6: طراحی پایگاه داده و مدل‌سازی برای مهندسان داده

• مروری بر اصول نرمال‌سازی (Normalization) و فرم‌های نرمال
• دینرمال‌سازی (Denormalization) و کاربرد آن در Data Warehousing
• طراحی Schema ستاره‌ای (Star Schema) و Snowflake Schema
• Fact Tables و Dimension Tables: تفاوت‌ها و طراحی
• انتخاب کلیدهای اصلی و خارجی مناسب
• اصول طراحی جداول برای کارایی و مقیاس‌پذیری
• بررسی Impact تغییرات Schema بر کوئری‌ها و Pipelineها
• تفاوت OLTP و OLAP Data Models
• Data Vault Modeling (مقدمه و کاربرد)
• اهمیت مستندسازی مدل داده

ماژول 7: کار با انواع داده‌های پیچیده

• کار با داده‌های JSON: ساخت، تجزیه و کوئری نویسی
• کار با داده‌های XML: Querying XML با XPath و XQuery
• توابع و عملیات مربوط به داده‌های مکانی (Geospatial Data)
• انواع داده‌های BLOB و CLOB و کاربرد آن‌ها
• استفاده از Arrays و Structs (در سیستم‌هایی مانند PostgreSQL یا Spark SQL)
• تبدیل انواع داده‌ها (Casting and Converting)
• توابع مربوط به Regular Expressions برای پردازش رشته‌ها
• کار با HSTORE/Key-Value Pairs
• فشرده‌سازی داده‌ها در سطح ستون و جدول
• استفاده از Check Constraints برای اعتبارسنجی داده‌های پیچیده

ماژول 8: SQL در اکوسیستم‌های داده بزرگ و ابری

• مقدمه‌ای بر Data Warehouses و Data Lakes
• SQL در محیط‌های توزیع شده (مانند Spark SQL، Hive SQL)
• تفاوت‌های سینتکسی و عملکردی SQL در پلتفرم‌های مختلف (PostgreSQL, MySQL, SQL Server, Oracle)
• استفاده از SQL در Cloud Data Warehouses (مانند Snowflake, Redshift, BigQuery)
• کار با داده‌های خارجی (External Tables)
• توابع و بهینه‌سازی‌های خاص پلتفرم
• مقدمه‌ای بر مفهوم ELT (Extract, Load, Transform) در Cloud Data Warehouses
• Partitioning و Clustering در محیط‌های توزیع شده
• امنیت داده‌ها در محیط‌های SQL بزرگ
• ادغام SQL با ابزارهای BI و گزارش‌گیری

ماژول 9: ابزارها، بهترین روش‌ها و عیب‌یابی

• استفاده از Source Control برای کوئری‌های SQL (Git)
• بهترین روش‌ها برای سازماندهی و مستندسازی کد SQL
• Unit Testing و Integration Testing برای کوئری‌های SQL
• استراتژی‌های عیب‌یابی (Troubleshooting) کوئری‌های کند
• مراقبت و نظارت بر Performance پایگاه داده
• طراحی کوئری‌های Defensive برای جلوگیری از خطاها
• مدیریت و کنترل دسترسی کاربران (Roles and Permissions)
• بهبود خوانایی کد SQL
• استفاده از ابزارهای SQL Profiler یا مانیتورینگ
• بررسی موارد امنیتی در Query نویسی

ماژول 10: سناریوهای پیشرفته و پروژه‌های عملی

• پیاده‌سازی یک Data Mart با SQL
• ساخت یک خط لوله ETL کامل با SQL
• تحلیل Log Files با استفاده از SQL
• پیش‌بینی سری‌های زمانی ساده با Window Functions
• بهینه‌سازی یک کوئری واقعی با مشکلات عملکردی
• پروژه Case Study: طراحی یک Schema برای یک کسب‌وکار خاص
• کار با داده‌های غیرساخت‌یافته و نیمه‌ساخت‌یافته
• حل چالش‌های Codility/LeetCode با SQL پیشرفته
• مرور و Critique کوئری‌های پیچیده (Code Review)
• نکات حرفه‌ای برای مصاحبه‌های شغلی مهندسی داده مبتنی بر SQL

آموزش SQL برای مهندسان داده: Query نویسی پیشرفته و بهینه‌سازی – گامی بلند در مسیر تخصص

در دنیای پرشتاب امروز، داده‌ها موتور محرک نوآوری و تصمیم‌گیری‌های استراتژیک هستند. به عنوان یک مهندس داده، تسلط بر SQL نه تنها یک مهارت، بلکه یک مزیت رقابتی بی‌بدیل است. شما مسئول شکل‌دهی، پاکسازی و آماده‌سازی داده‌هایی هستید که هوش تجاری سازمان‌ها را تغذیه می‌کنند. اما آیا کوئری‌های شما همیشه بهینه هستند؟ آیا می‌توانید با حجم‌های عظیم داده به سرعت و کارآمدی بالا کار کنید؟

این دوره فرصتی استثنایی برای شماست تا از یک کاربر SQL صرف به یک معمار داده‌های قدرتمند تبدیل شوید. ما فراتر از مبانی حرکت می‌کنیم و شما را با پیچیده‌ترین و کارآمدترین تکنیک‌های Query نویسی آشنا می‌سازیم. هدف ما توانمندسازی شما برای حل چالش‌های واقعی مهندسی داده، افزایش چشمگیر عملکرد کوئری‌ها و ساخت خطوط لوله داده (Data Pipelines) پایدار و مقیاس‌پذیر است.

اگر آماده‌اید که مهارت‌های SQL خود را به سطحی برسانید که در دنیای مهندسی داده مورد تحسین قرار گیرد، این دوره دقیقاً همان چیزی است که به آن نیاز دارید. آماده شوید تا قدرت واقعی داده‌ها را از طریق SQL پیشرفته کشف کنید و به ستاره‌ای در تیم مهندسی داده خود تبدیل شوید.

درباره دوره: فراتر از SQL پایه، به سوی تسلط بر داده‌ها

دوره “آموزش SQL برای مهندسان داده: Query نویسی پیشرفته و بهینه‌سازی” به گونه‌ای طراحی شده است که دانش شما را از SQL پایه‌ای به سمت مهارت‌های پیشرفته و حیاتی برای نقش مهندسی داده ارتقاء دهد. این دوره بر ابزارهای کلیدی و تکنیک‌های عملی تمرکز دارد که به شما امکان می‌دهد با حجم‌های بزرگ داده کار کنید، کوئری‌های پیچیده را بنویسید، عملکرد پایگاه داده را بهینه کنید و داده‌ها را به شکلی کارآمد برای تحلیل و گزارش‌گیری آماده سازید.

ما به شما نشان می‌دهیم چگونه ساختارهای داده‌ای را درک کنید، بهترین استراتژی‌های ایندکس‌گذاری را پیاده‌سازی کنید، از توابع پنجره‌ای (Window Functions) برای محاسبات پیشرفته بهره ببرید و با استفاده از Common Table Expressions (CTEs) کوئری‌های خواناتر و قابل نگهداری‌تر ایجاد کنید. این دوره نه تنها دانش فنی شما را افزایش می‌دهد، بلکه تفکر تحلیلی و مهارت‌های حل مسئله شما را نیز تقویت خواهد کرد.

موضوعات کلیدی این دوره: ابزارهای شما برای مهندسی داده مدرن

• تکنیک‌های پیشرفته Query نویسی: Subqueries، CTEs، Views و Stored Procedures
• تسلط بر توابع پنجره‌ای (Window Functions) برای تحلیل‌های پیچیده
• بهینه‌سازی عملکرد کوئری‌ها: ایندکس‌گذاری، طرح‌های اجرایی (Execution Plans) و بازنویسی کوئری
• مدیریت و دستکاری داده‌ها (DML) در مقیاس بزرگ: ETL و پاکسازی داده‌ها
• طراحی پایگاه داده برای مهندسان داده: نرمال‌سازی و دینرمال‌سازی در عمل
• کار با انواع داده‌های پیچیده: JSON، XML و داده‌های مکانی
• استفاده از SQL در اکوسیستم‌های داده بزرگ (مانند Spark SQL و Data Warehouses)

این دوره برای چه کسانی مناسب است؟ مسیر شما به سوی تخصص

• **مهندسان داده (Data Engineers)**: چه در ابتدای مسیر باشید و چه به دنبال ارتقاء مهارت‌های خود، این دوره برای شماست.
• **تحلیلگران داده (Data Analysts)**: که می‌خواهند فراتر از Query نویسی پایه رفته و کوئری‌های پیچیده و بهینه بنویسند.
• **توسعه‌دهندگان ETL**: که به دنبال بهبود کارایی و سرعت فرآیندهای انتقال داده خود هستند.
• **توسعه‌دهندگان BI**: برای ساخت داشبوردها و گزارشات مبتنی بر داده‌های آماده و بهینه.
• **مدیران پایگاه داده (DBAs)**: که قصد دارند درک عمیق‌تری از چگونگی بهینه‌سازی کوئری‌ها برای مهندسان داده داشته باشند.
• **هر کسی با دانش SQL پایه**: که مشتاق است مهارت‌های خود را به سطح حرفه‌ای و پیشرفته برساند و در دنیای داده‌ها بدرخشد.

چرا باید این دوره را بگذرانید؟ سرمایه‌گذاری بر روی آینده شغلی شما

• **تسلط بر SQL پیشرفته**: مهارت‌های خود را به سطحی برسانید که کمتر کسی از آن برخوردار است و در حل پیچیده‌ترین چالش‌های داده‌ای پیشرو باشید.
• **افزایش چشمگیر کارایی**: یاد بگیرید چگونه کوئری‌هایی بنویسید که نه تنها درست کار می‌کنند، بلکه با نهایت سرعت و کمترین مصرف منابع اجرا شوند.
• **افزایش ارزش در بازار کار**: با این مهارت‌های تخصصی، به یکی از ارزشمندترین اعضای تیم مهندسی داده تبدیل شوید و فرصت‌های شغلی بهتری را جذب کنید.
• **مدیریت حجم بالای داده**: بدون نگرانی با ترابایت‌ها و پتابایت‌ها داده کار کنید و سیستم‌های داده‌ای مقیاس‌پذیر بسازید.
• **ساخت خطوط لوله داده قوی**: اصول و بهترین روش‌ها را برای طراحی و پیاده‌سازی ETL/ELT قدرتمند با استفاده از SQL فرا بگیرید.
• **یادگیری از متخصصان**: محتوای این دوره توسط متخصصان مجرب مهندسی داده طراحی شده است که تجربه عملی در پروژه‌های بزرگ دارند.
• **آموزش کاربردی و عملی**: با مثال‌های واقعی و تمرینات چالش‌برانگیز، آنچه را یاد می‌گیرید فوراً در کار خود به کار ببرید.

سرفصل‌های جامع دوره: سفر عمیق به دنیای SQL پیشرفته (بیش از 100 سرفصل)

ماژول 1: پایه و اساس محکم در SQL (مروری کاربردی برای مهندسی داده)

• مروری بر اصول SQL (SELECT, FROM, WHERE, GROUP BY, HAVING, ORDER BY)
• انواع داده‌ها و انتخاب صحیح آن‌ها در طراحی دیتا مدل
• اهمیت NULL و کار با آن در Query نویسی
• مقدمه‌ای بر توابع SQL (رشته‌ای، عددی، تاریخ و زمان)
• اصول Joins و کاربرد آن‌ها در تجمیع داده‌ها
• چالش‌ها و راه‌حل‌های مربوط به داده‌های تکراری
• توابع تجمیعی پیشرفته (Aggregate Functions)
• مقدمه‌ای بر مفاهیم Index و تاثیر آن بر عملکرد
• مدیریت تراکنش‌ها (Transactions) و ACID Properties
• استفاده از Constraints برای یکپارچگی داده‌ها

ماژول 2: تکنیک‌های پیشرفته Query نویسی برای مهندسان داده

• Subqueries: انواع و کاربردهای پیشرفته (IN, EXISTS, Scalar Subqueries)
• Common Table Expressions (CTEs): اصول و کاربرد در کوئری‌های پیچیده
• CTEs بازگشتی (Recursive CTEs) برای کار با داده‌های سلسله‌مراتبی
• Views: ایجاد، مدیریت و بهینه‌سازی Views
• Temporary Tables و Table Variables: تفاوت‌ها و زمان استفاده
• Stored Procedures: طراحی، پیاده‌سازی و پارامترها
• User-Defined Functions (UDFs): انواع و کاربردها
• Cursor: شناخت و زمان اجتناب از آن
• پیاده‌سازی MERGE Statement برای ETL (UPSERT)
• Pivot و Unpivot: تبدیل ردیف‌ها به ستون‌ها و برعکس

ماژول 3: تسلط بر توابع پنجره‌ای (Window Functions)

• مقدمه‌ای بر Window Functions و تفاوت با Aggregate Functions
• PARTITION BY و ORDER BY در Window Functions
• توابع رتبه‌بندی (Ranking Functions): ROW_NUMBER, RANK, DENSE_RANK, NTILE
• توابع تحلیل ارزش‌ها (Value Functions): LAG, LEAD, FIRST_VALUE, LAST_VALUE
• توابع تجمیعی در Context توابع پنجره‌ای (SUM, AVG, COUNT Over Partition)
• فریم‌های پنجره (Window Frames): ROWS BETWEEN, RANGE BETWEEN
• کاربردهای Window Functions در تحلیل سری‌های زمانی
• شناسایی و تحلیل تغییرات در طول زمان با Window Functions
• محاسبه مجموع‌های متحرک (Moving Averages/Sums)
• سناریوهای پیشرفته با ترکیب چندین Window Function

ماژول 4: بهینه‌سازی عملکرد کوئری‌ها و پایگاه داده

• آشنایی عمیق با Execution Plans (طرح‌های اجرایی)
• تشخیص گلوگاه‌های عملکردی در کوئری‌ها
• استراتژی‌های صحیح ایندکس‌گذاری (Clustered vs. Non-Clustered Indexes)
• Columnstore Indexes برای Data Warehousing و آنالیز
• نکات و ترفندهای بازنویسی کوئری برای بهبود عملکرد
• تفاوت‌های IN و EXISTS از دیدگاه Performance
• استفاده بهینه از UNION vs. UNION ALL
• اهمیت Statistics و به‌روزرسانی آن‌ها
• Fragmented Indexes و بازسازی/مرتب‌سازی (Rebuild/Reorganize)
• تنظیمات سرور و پایگاه داده برای Performance بالاتر

ماژول 5: مهندسی داده و ETL با SQL

• معرفی چرخه ETL و ELT
• استخراج داده‌ها (Extraction): روش‌ها و ملاحظات
• تبدیل داده‌ها (Transformation): پاکسازی، تجمیع و استانداردسازی
• بارگذاری داده‌ها (Loading): روش‌های Incremental و Full Load
• مدیریت Slowly Changing Dimensions (SCD Type 1, 2, 3) با SQL
• استفاده از CTEs و Subqueries در Transformation های پیچیده
• اعتبارسنجی داده‌ها (Data Validation) با SQL
• شناسایی و حذف ردیف‌های تکراری در فرآیندهای ETL
• مهار خطاهای داده‌ای در طول فرآیند ETL
• بهینه‌سازی عملیات INSERT, UPDATE, DELETE در حجم بالا

ماژول 6: طراحی پایگاه داده و مدل‌سازی برای مهندسان داده

• مروری بر اصول نرمال‌سازی (Normalization) و فرم‌های نرمال
• دینرمال‌سازی (Denormalization) و کاربرد آن در Data Warehousing
• طراحی Schema ستاره‌ای (Star Schema) و Snowflake Schema
• Fact Tables و Dimension Tables: تفاوت‌ها و طراحی
• انتخاب کلیدهای اصلی و خارجی مناسب
• اصول طراحی جداول برای کارایی و مقیاس‌پذیری
• بررسی Impact تغییرات Schema بر کوئری‌ها و Pipelineها
• تفاوت OLTP و OLAP Data Models
• Data Vault Modeling (مقدمه و کاربرد)
• اهمیت مستندسازی مدل داده

ماژول 7: کار با انواع داده‌های پیچیده

• کار با داده‌های JSON: ساخت، تجزیه و کوئری نویسی
• کار با داده‌های XML: Querying XML با XPath و XQuery
• توابع و عملیات مربوط به داده‌های مکانی (Geospatial Data)
• انواع داده‌های BLOB و CLOB و کاربرد آن‌ها
• استفاده از Arrays و Structs (در سیستم‌هایی مانند PostgreSQL یا Spark SQL)
• تبدیل انواع داده‌ها (Casting and Converting)
• توابع مربوط به Regular Expressions برای پردازش رشته‌ها
• کار با HSTORE/Key-Value Pairs
• فشرده‌سازی داده‌ها در سطح ستون و جدول
• استفاده از Check Constraints برای اعتبارسنجی داده‌های پیچیده

ماژول 8: SQL در اکوسیستم‌های داده بزرگ و ابری

• مقدمه‌ای بر Data Warehouses و Data Lakes
• SQL در محیط‌های توزیع شده (مانند Spark SQL، Hive SQL)
• تفاوت‌های سینتکسی و عملکردی SQL در پلتفرم‌های مختلف (PostgreSQL, MySQL, SQL Server, Oracle)
• استفاده از SQL در Cloud Data Warehouses (مانند Snowflake, Redshift, BigQuery)
• کار با داده‌های خارجی (External Tables)
• توابع و بهینه‌سازی‌های خاص پلتفرم
• مقدمه‌ای بر مفهوم ELT (Extract, Load, Transform) در Cloud Data Warehouses
• Partitioning و Clustering در محیط‌های توزیع شده
• امنیت داده‌ها در محیط‌های SQL بزرگ
• ادغام SQL با ابزارهای BI و گزارش‌گیری

ماژول 9: ابزارها، بهترین روش‌ها و عیب‌یابی

• استفاده از Source Control برای کوئری‌های SQL (Git)
• بهترین روش‌ها برای سازماندهی و مستندسازی کد SQL
• Unit Testing و Integration Testing برای کوئری‌های SQL
• استراتژی‌های عیب‌یابی (Troubleshooting) کوئری‌های کند
• مراقبت و نظارت بر Performance پایگاه داده
• طراحی کوئری‌های Defensive برای جلوگیری از خطاها
• مدیریت و کنترل دسترسی کاربران (Roles and Permissions)
• بهبود خوانایی کد SQL
• استفاده از ابزارهای SQL Profiler یا مانیتورینگ
• بررسی موارد امنیتی در Query نویسی

ماژول 10: سناریوهای پیشرفته و پروژه‌های عملی

• پیاده‌سازی یک Data Mart با SQL
• ساخت یک خط لوله ETL کامل با SQL
• تحلیل Log Files با استفاده از SQL
• پیش‌بینی سری‌های زمانی ساده با Window Functions
• بهینه‌سازی یک کوئری واقعی با مشکلات عملکردی
• پروژه Case Study: طراحی یک Schema برای یک کسب‌وکار خاص
• کار با داده‌های غیرساخت‌یافته و نیمه‌ساخت‌یافته
• حل چالش‌های Codility/LeetCode با SQL پیشرفته
• مرور و Critique کوئری‌های پیچیده (Code Review)
• نکات حرفه‌ای برای مصاحبه‌های شغلی مهندسی داده مبتنی بر SQL