فلش‌کارت‌های آموزشی ETL با SQL و ابزارهای مرتبط

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ETL با SQL و ابزارهای مرتبط

موضوع کلی: برنامه نویسی

موضوع میانی: پایگاه داده‌های رابطه‌ای (Relational Databases)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مفاهیم ETL و اهمیت آن در پایگاه داده
• 2. آشنایی با SQL و ساختار کلی آن
• 3. مفاهیم پایگاه داده رابطه‌ای و زبان SQL
• 4. دستورات پایه‌ای SQL: SELECT, FROM, WHERE
• 5. فیلتر کردن داده‌ها با استفاده از دستور WHERE
• 6. مرتب‌سازی داده‌ها با دستور ORDER BY
• 7. توابع تجمعی در SQL: COUNT, SUM, AVG, MIN, MAX
• 8. گروه‌بندی داده‌ها با دستور GROUP BY
• 9. فیلتر کردن گروه‌ها با دستور HAVING
• 10. اتصال جداول با استفاده از JOIN ها (INNER, LEFT, RIGHT)
• 11. کاربرد JOIN ها در ترکیب داده‌ها از منابع مختلف
• 12. زیرپرس و جوها (Subqueries) و کاربرد آن‌ها
• 13. انواع زیرپرس و جوها: در SELECT, FROM, WHERE
• 14. استفاده از CTEs (Common Table Expressions) برای خوانایی بهتر
• 15. توابع پنجره‌ای (Window Functions) در SQL
• 16. کاربرد توابع پنجره‌ای برای تحلیل پیچیده داده‌ها
• 17. مدیریت داده‌های Null و مقادیر گمشده
• 18. تبدیل داده‌ها (Data Transformation) در SQL
• 19. عملیات تاریخ و زمان در SQL
• 20. کاربرد عبارات شرطی CASE در SQL
• 21. ایندکس‌گذاری (Indexing) برای بهبود عملکرد پرس و جوها
• 22. مقدمه‌ای بر ابزارهای ETL
• 23. چرا به ابزارهای ETL نیاز داریم؟
• 24. معرفی ابزارهای رایج ETL (مانند SSIS, Talend, Informatica)
• 25. نصب و پیکربندی اولیه یک ابزار ETL (مثال: SSIS)
• 26. مفاهیم اولیه در یک ابزار ETL: Source, Destination, Transformation
• 27. طراحی یک جریان کاری (Workflow) ساده ETL
• 28. استفاده از Task های مختلف در ابزار ETL
• 29. اتصال به منابع داده مختلف (پایگاه داده، فایل)
• 30. استفاده از Source Components برای خواندن داده‌ها
• 31. استفاده از Destination Components برای نوشتن داده‌ها
• 32. مقدمه‌ای بر Transform Components
• 33. تبدیلات رایج داده: Data Conversion, Derived Column
• 34. پاکسازی داده‌ها با استفاده از Transform Components
• 35. ادغام و ترکیب داده‌ها (Merge, Union)
• 36. مرتب‌سازی و گروه‌بندی داده‌ها در ابزار ETL
• 37. مدیریت خطا و لاگ‌گیری در جریان کاری ETL
• 38. مقدمه‌ای بر Data Warehousing
• 39. مفاهیم Data Warehouse و Data Mart
• 40. مدل‌سازی داده برای Data Warehouse (Star Schema, Snowflake Schema)
• 41. طراحی جداول Fact و Dimension
• 42. بارگذاری داده‌ها در Data Warehouse (Full Load, Incremental Load)
• 43. اهمیت کیفیت داده (Data Quality) در ETL
• 44. تکنیک‌های بهبود کیفیت داده در ETL
• 45. اعتبارسنجی داده‌ها (Data Validation)
• 46. پاکسازی و استانداردسازی داده‌ها
• 47. مقدمه‌ای بر Data Governance
• 48. نقش ETL در Data Governance
• 49. مفاهیم Data Lineage و Data Catalog
• 50. امنیت در ETL و پایگاه داده
• 51. رمزنگاری داده‌ها در حالت سکون و در حال انتقال
• 52. مدیریت دسترسی‌ها و مجوزها
• 53. مقدمه‌ای بر Big Data و ETL
• 54. چالش‌های ETL در محیط Big Data
• 55. معرفی ابزارهای ETL برای Big Data (مانند Spark, Hive)
• 56. مفاهیم Data Lake و ETL
• 57. مقایسه Data Warehouse و Data Lake
• 58. استفاده از SQL در محیط Big Data
• 59. ابزارهای ETL مبتنی بر Cloud (مانند Azure Data Factory, AWS Glue)
• 60. مفهوم ELT (Extract, Load, Transform)
• 61. مقایسه ETL و ELT
• 62. کاربرد SQL در ELT
• 63. مقدمه‌ای بر Data Pipeline
• 64. طراحی و پیاده‌سازی Data Pipeline
• 65. نظارت و مدیریت Data Pipeline
• 66. مقدمه‌ای بر Data Orchestration
• 67. ابزارهای Data Orchestration (مانند Apache Airflow)
• 68. تنظیم زمان‌بندی اجرای Job ها
• 69. مدیریت وابستگی‌ها بین Job ها
• 70. مقدمه‌ای بر Data Quality Frameworks
• 71. پیاده‌سازی Data Quality Rules
• 72. متریک‌های کیفیت داده
• 73. مقدمه‌ای بر Data Profiling
• 74. ابزارهای Data Profiling
• 75. تحلیل الگوهای داده با Data Profiling
• 76. مقدمه‌ای بر Metadata Management
• 77. اهمیت Metadata در ETL
• 78. مدیریت Metadata در طول چرخه عمر داده
• 79. مقدمه‌ای بر Data Virtualization
• 80. کاربرد Data Virtualization در ETL
• 81. مزایا و معایب Data Virtualization
• 82. مقدمه‌ای بر Data Masking
• 83. تکنیک‌های Data Masking
• 84. کاربرد Data Masking در محیط‌های توسعه و تست
• 85. مقدمه‌ای بر Data Observability
• 86. اهمیت Data Observability
• 87. ابزارها و تکنیک‌های Data Observability
• 88. مقدمه‌ای بر ETL و هوش تجاری (BI)
• 89. نقش ETL در پشتیبانی از ابزارهای BI
• 90. مثال‌های عملی از ETL برای گزارش‌گیری BI
• 91. مقدمه‌ای بر ETL برای یادگیری ماشین (ML)
• 92. آماده‌سازی داده‌ها برای مدل‌های ML
• 93. استفاده از SQL در پیش‌پردازش داده‌های ML
• 94. مقدمه‌ای بر ETL و Data Science Workflow
• 95. مراحل مختلف در Data Science Workflow
• 96. تطابق ETL با نیازهای Data Science
• 97. مقدمه‌ای بر ETL و چالش‌های سازمانی
• 98. مدیریت تغییرات در فرآیندهای ETL
• 99. آموزش و توسعه تیم ETL
• 100. آینده ETL و روندهای نوظهور