فلش‌کارت‌های آموزشی استقرار و مدیریت پیوسته Azure Data Factory با رویکرد CI/CD

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره استقرار و مدیریت پیوسته Azure Data Factory با رویکرد CI/CD

موضوع کلی: توسعه و مدیریت داده‌های ابری

موضوع میانی: اتوماسیون و یکپارچه‌سازی فرآیندهای داده در محیط ابری

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مفاهیم کلیدی Azure Data Factory
• 2. آشنایی با معماری Azure Data Factory
• 3. مفاهیم پایه‌ای جریان داده (Data Flow)
• 4. ساخت و پیکربندی مجموعه داده (Dataset)
• 5. ایجاد و مدیریت لینکد سرویس (Linked Service)
• 6. طراحی پایپ‌لاین (Pipeline) در Azure Data Factory
• 7. استفاده از فعالیت‌های کپی (Copy Activity)
• 8. فعالیت‌های تبدیل داده (Transformation Activities)
• 9. فعالیت‌های کنترلی (Control Activities)
• 10. اجرای پایپ‌لاین و نظارت بر آن
• 11. پیکربندی پارامترها در Azure Data Factory
• 12. استفاده از متغیرها در پایپ‌لاین‌ها
• 13. مدیریت وابستگی‌ها بین فعالیت‌ها
• 14. فعالیت‌های جستجو (Lookup Activity) و جستجوی جدول (Table Lookup)
• 15. فعالیت‌های اجرای فرآیند (Stored Procedure Activity)
• 16. فعالیت‌های اجرای کد (Code Activity)
• 17. فعالیت‌های اجرای Notebook (Notebook Activity)
• 18. فعالیت‌های اجرای Batch (Batch Activity)
• 19. فعالیت‌های اجرای HDInsight (HDInsight Activity)
• 20. فعالیت‌های اجرای Databricks (Databricks Activity)
• 21. فعالیت‌های اجرای Azure Functions (Azure Function Activity)
• 22. فعالیت‌های اجرای Logic Apps (Logic App Activity)
• 23. فعالیت‌های اجرای SSIS (SSIS Activity)
• 24. فعالیت‌های اجرای Data Lake Analytics (Data Lake Analytics Activity)
• 25. فعالیت‌های اجرای Machine Learning (Machine Learning Activity)
• 26. فعالیت‌های اجرای Kubernetes (Kubernetes Activity)
• 27. فعالیت‌های اجرای Docker (Docker Activity)
• 28. فعالیت‌های اجرای PowerShell (PowerShell Activity)
• 29. فعالیت‌های اجرای CLI (CLI Activity)
• 30. فعالیت‌های اجرای Custom (Custom Activity)
• 31. مفاهیم CI/CD در توسعه نرم‌افزار
• 32. اصول یکپارچه‌سازی پیوسته (Continuous Integration)
• 33. اصول تحویل پیوسته (Continuous Delivery)
• 34. مراحل پیاده‌سازی CI/CD برای Azure Data Factory
• 35. استفاده از Azure Repos برای کنترل نسخه
• 36. پیکربندی مخازن Git در Azure Data Factory
• 37. اتصال Azure Data Factory به Azure Repos
• 38. ایجاد شاخه‌های توسعه (Development Branches)
• 39. ادغام تغییرات با استفاده از Pull Requests
• 40. استفاده از Azure Pipelines برای اتوماسیون
• 41. ایجاد پایپ‌لاین‌های CI/CD در Azure Pipelines
• 42. پیکربندی Triggerهای Build در Azure Pipelines
• 43. ساخت Artifactهای استقرار
• 44. پیکربندی پایپ‌لاین‌های Release
• 45. مراحل استقرار خودکار (Automated Deployment)
• 46. استفاده از Environmentهای مختلف (Dev, Test, Prod)
• 47. مدیریت تنظیمات استقرار برای محیط‌های مختلف
• 48. استفاده از Variable Groups در Azure Pipelines
• 49. مدیریت Secretها با Azure Key Vault
• 50. استقرار Azure Data Factory با استفاده از ARM Templates
• 51. تولید ARM Templates از Azure Data Factory
• 52. سفارشی‌سازی ARM Templates
• 53. استقرار خودکار با استفاده از ARM Templates
• 54. استفاده از Bicep برای استقرار زیرساخت
• 55. مفاهیم Infrastructure as Code (IaC)
• 56. پیاده‌سازی IaC برای Azure Data Factory
• 57. آزمون خودکار برای پایپ‌لاین‌های داده
• 58. انواع آزمون در CI/CD (Unit, Integration, End-to-End)
• 59. طراحی آزمون‌های واحد برای فعالیت‌های Data Factory
• 60. پیاده‌سازی آزمون‌های یکپارچه‌سازی برای پایپ‌لاین‌ها
• 61. استفاده از ابزارهای آزمون خارجی
• 62. مانیتورینگ و گزارش‌دهی در Azure Data Factory
• 63. تنظیمات هشدار (Alerts) برای پایپ‌لاین‌های ناموفق
• 64. تحلیل لاگ‌ها و ردیابی خطاها
• 65. استفاده از Azure Monitor و Application Insights
• 66. بهینه‌سازی عملکرد پایپ‌لاین‌های داده
• 67. شناسایی گلوگاه‌های عملکردی
• 68. تکنیک‌های بهبود کارایی فعالیت کپی
• 69. بهینه‌سازی تبدیل داده در Data Flows
• 70. مدیریت هزینه‌ها در Azure Data Factory
• 71. بررسی مصرف منابع و هزینه‌ها
• 72. استراتژی‌های کاهش هزینه‌های ابری
• 73. امنیت در Azure Data Factory
• 74. مدیریت دسترسی‌ها و Role-Based Access Control (RBAC)
• 75. امنیت داده‌ها در حین انتقال و ذخیره‌سازی
• 76. پروتکل‌های امنیتی و بهترین شیوه‌ها
• 77. مدیریت خطا و بازیابی در Azure Data Factory
• 78. استراتژی‌های بازگشت به حالت قبل (Rollback)
• 79. بازیابی از خرابی‌ها و خطاهای پیش‌بینی نشده
• 80. مفاهیم پیشرفته Data Flow
• 81. استفاده از Sinks و Sources در Data Flow
• 82. Transformationهای پیشرفته در Data Flow
• 83. Join, Aggregate, Derived Column, Filter
• 84. Window, Pivot, Unpivot, Conditional Split
• 85. Surrogate Key, Deduplicate, Row Number
• 86. استفاده از Script Activity برای اجرای SQL
• 87. استفاده از Lookup Activity برای دریافت مقادیر
• 88. استفاده از ForEach Activity برای تکرار
• 89. استفاده از If Condition Activity برای منطق شرطی
• 90. استفاده از Execute Pipeline Activity برای فراخوانی پایپ‌لاین
• 91. استفاده از Web Activity برای فراخوانی APIها
• 92. استفاده از Script Activity برای اجرای Stored Procedure
• 93. استفاده از Databricks Notebook Activity
• 94. استفاده از Azure Function Activity
• 95. مفاهیم Data Governance در محیط ابری
• 96. اهمیت Data Governance برای داده‌های ابری
• 97. اصول Data Governance و مدیریت کیفیت داده
• 98. مدیریت متادیتا (Metadata Management)
• 99. مدیریت کیفیت داده (Data Quality Management)
• 100. قوانین و مقررات مربوط به داده در ایران