فلش‌کارت‌های آموزشی آموزش جامع طراحی و پیاده‌سازی جریان‌های داده (Data Flows) در Azure Data Factory

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره آموزش جامع طراحی و پیاده‌سازی جریان‌های داده (Data Flows) در Azure Data Factory

موضوع کلی: مهندسی داده و هوش تجاری

موضوع میانی: یکپارچه‌سازی و پردازش داده‌ها در رایانش ابری

📋 سرفصل‌های دوره

• 1. آشنایی با مفاهیم و معماری جریان‌های داده در Azure Data Factory
• 2. بررسی پیش‌نیازها و تنظیمات محیط توسعه در Azure
• 3. ایجاد و مدیریت سرویس‌های پیوندی در محیط ابری
• 4. مبانی اتصال به منابع داده‌ در Azure Data Factory
• 5. آشنایی با محیط طراحی بصری جریان‌های داده
• 6. کار با تبدیل Source برای فراخوانی داده‌های حجیم
• 7. مدیریت انواع فرمت‌های فایل در جریان‌های داده
• 8. استفاده از تبدیل Select برای مدیریت ستون‌ها
• 9. فیلتر کردن داده‌ها با استفاده از تبدیل Filter
• 10. مرتب‌سازی داده‌ها با تبدیل Sort
• 11. تجمیع و خلاصه‌سازی داده‌ها با تبدیل Aggregate
• 12. اتصال جداول مختلف با استفاده از تبدیل Join
• 13. پیاده‌سازی الگوی Conditional Split برای تفکیک داده‌ها
• 14. استفاده از تبدیل Derived Column برای ایجاد ستون‌های محاسباتی
• 15. تغییر نوع داده‌ها و تبدیل‌های متنی در Data Flow
• 16. مدیریت مقادیر تهی و پاک‌سازی داده‌ها
• 17. کار با تبدیل Lookup برای غنی‌سازی داده‌ها
• 18. استفاده از تبدیل Exists برای تحلیل رابطه بین مجموعه‌داده‌ها
• 19. پیاده‌سازی تبدیل Union برای ترکیب جریان‌های موازی
• 20. انجام عملیات تغییر شکل با استفاده از تبدیل Pivot
• 21. استفاده از تبدیل Unpivot برای استانداردسازی ساختار داده‌ها
• 22. کار با تبدیل Window برای تحلیل‌های بازه‌ای در جریان داده
• 23. مدیریت پنجره‌های زمانی و محاسبات ردیفی
• 24. تنظیم تبدیل Sink برای ذخیره‌سازی داده‌های پردازش‌شده
• 25. مدیریت پارتیشن‌بندی داده‌ها در جریان‌های داده
• 26. بهینه‌سازی عملکرد (Performance Tuning) در جریان‌های داده
• 27. بررسی استراتژی‌های ذخیره‌سازی موقت در اجرای جریان‌ها
• 28. مانیتورینگ و عیب‌یابی جریان‌های داده در Azure
• 29. مدیریت خطا و استراتژی‌های مدیریت ردیف‌های نامعتبر
• 30. استفاده از پارامترها در جریان‌های داده برای انعطاف‌پذیری
• 31. کار با عبارات و توابع در محیط Mapping Data Flow
• 32. پیاده‌سازی جریان‌های داده افزایشی (Incremental Loading)
• 33. امنیت و کنترل دسترسی در جریان‌های داده مبتنی بر Azure
• 34. استفاده از Managed Identity در اتصالات داده
• 35. رمزنگاری و حفاظت از اطلاعات حساس در جریان‌های داده
• 36. یکپارچه‌سازی جریان‌های داده با خط‌لوله‌های (Pipelines) اصلی
• 37. زمان‌بندی و اجرای خودکار جریان‌های داده
• 38. استفاده از Triggerها برای اجرای رویدادمحور
• 39. مدیریت محیط‌های توسعه، تست و عملیاتی (CI/CD)
• 40. بهترین روش‌های طراحی جریان داده مقیاس‌پذیر
• 41. مستندسازی و مدیریت نسخه‌های جریان داده
• 42. بررسی خروجی‌های عملیاتی و گزارش‌های هوش تجاری از داده‌های پردازش‌شده