فلش‌کارت‌های آموزشی طراحی و پیاده‌سازی خطوط لوله داده با Azure Data Factory برای تحلیل داده‌های همه‌گیری کووید-۱۹

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره طراحی و پیاده‌سازی خطوط لوله داده با Azure Data Factory برای تحلیل داده‌های همه‌گیری کووید-۱۹

موضوع کلی: علوم کامپیوتر و مهندسی نرم‌افزار

موضوع میانی: مهندسی داده و تحلیل کلان‌داده

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده و تحلیل کلان‌داده
• 2. مفاهیم بنیادی Azure Data Factory
• 3. معماری Azure Data Factory
• 4. راه‌اندازی محیط توسعه Azure Data Factory
• 5. اتصال به منابع داده متنوع
• 6. کار با مجموعه‌داده‌ها (Datasets) در Azure Data Factory
• 7. فعالیت‌های (Activities) پایه‌ای در Azure Data Factory
• 8. ساخت خطوط لوله (Pipelines) داده
• 9. مدیریت پارامترها در خطوط لوله
• 10. استفاده از متغیرها در Azure Data Factory
• 11. فعالیت‌های کپی (Copy Activity)
• 12. تنظیمات پیشرفته کپی دیتا
• 13. نظارت بر اجرای خطوط لوله
• 14. مدیریت زمان‌بندی‌ها (Triggers)
• 15. انواع زمان‌بندی‌ها: زمان‌بندی مبتنی بر پنجره (Tumbling Window)
• 16. زمان‌بندی مبتنی بر رویداد (Event-based)
• 17. زمان‌بندی دستی (Manual)
• 18. استفاده از فعالیت‌های تبدیل داده
• 19. فعالیت Data Flow
• 20. طراحی Data Flow ها
• 21. مفاهیم Transform در Data Flow
• 22. عملیات Join و Union در Data Flow
• 23. عملیات Aggregate و GroupBy در Data Flow
• 24. استفاده از فعالیت Mapping Data Flow
• 25. اتصال به Azure Blob Storage
• 26. مدیریت فایل‌ها در Blob Storage
• 27. اتصال به Azure SQL Database
• 28. انتقال داده بین Blob Storage و Azure SQL Database
• 29. استفاده از فعالیت Stored Procedure
• 30. اجرای Stored Procedure ها برای پردازش داده
• 31. اتصال به Azure Data Lake Storage Gen2
• 32. مفاهیم File System در Data Lake Storage Gen2
• 33. انتقال داده به Data Lake Storage Gen2
• 34. استفاده از فعالیت Web Activity
• 35. فراخوانی API های خارجی
• 36. مدیریت کلیدهای دسترسی و احراز هویت
• 37. امنیت در Azure Data Factory
• 38. رمزنگاری داده‌ها در حال انتقال و ذخیره
• 39. مدیریت هویت و دسترسی (IAM)
• 40. اصول DevOps در Azure Data Factory
• 41. ادغام با Azure DevOps
• 42. کنترل نسخه (Source Control)
• 43. استقرار خطوط لوله (Deployment)
• 44. اتوماسیون استقرار
• 45. نظارت و گزارش‌گیری پیشرفته
• 46. داشبوردهای نظارتی
• 47. هشداردهی (Alerting)
• 48. مدیریت خطا و بازیابی
• 49. خطایابی در خطوط لوله
• 50. استراتژی‌های مدیریت خطا
• 51. مطالعه موردی: تحلیل داده‌های کووید-۱۹
• 52. جمع‌آوری داده‌های کووید-۱۹
• 53. مصادر داده‌ای عمومی کووید-۱۹
• 54. پیش‌پردازش داده‌های کووید-۱۹
• 55. پاکسازی داده‌های کووید-۱۹
• 56. تبدیل و غنی‌سازی داده‌های کووید-۱۹
• 57. طراحی خط لوله برای داده‌های کووید-۱۹
• 58. بارگذاری داده‌های کووید-۱۹ در Azure SQL Database
• 59. بارگذاری داده‌های کووید-۱۹ در Azure Data Lake Storage Gen2
• 60. تحلیل اکتشافی داده‌های کووید-۱۹
• 61. مصورسازی داده‌های کووید-۱۹
• 62. مفاهیم کلان‌داده و Big Data
• 63. معماری‌های کلان‌داده
• 64. کاربرد کلان‌داده در حوزه سلامت
• 65. کاربرد کلان‌داده در تحلیل همه‌گیری‌ها
• 66. مقیاس‌پذیری در مهندسی داده
• 67. بهینه‌سازی عملکرد خطوط لوله
• 68. مدیریت هزینه‌ها در Azure Data Factory
• 69. انتخاب منابع محاسباتی مناسب
• 70. اصول طراحی داده (Data Modeling)
• 71. مفاهیم Data Warehouse
• 72. مفاهیم Data Lakehouse
• 73. مقدمه‌ای بر هوش تجاری (BI)
• 74. ابزارهای هوش تجاری سازگار با Azure
• 75. کاربرد Azure Data Factory در BI
• 76. مفاهیم ETL و ELT
• 77. تفاوت‌های ETL و ELT
• 78. مهاجرت داده‌ها (Data Migration)
• 79. خطوط لوله داده برای پردازش دسته‌ای (Batch Processing)
• 80. خطوط لوله داده برای پردازش جریانی (Stream Processing)
• 81. مقدمه‌ای بر Azure Stream Analytics
• 82. ادغام Azure Data Factory با Azure Stream Analytics
• 83. مفاهیم Data Governance
• 84. مدیریت کیفیت داده (Data Quality)
• 85. امنیت داده‌ها (Data Security)
• 86. حریم خصوصی داده‌ها (Data Privacy)
• 87. استانداردهای داده در صنعت سلامت
• 88. ملاحظات اخلاقی در تحلیل داده‌های سلامت
• 89. کاربرد Azure Data Factory در پروژه‌های واقعی
• 90. بررسی چالش‌های رایج در مهندسی داده
• 91. بهترین شیوه‌ها (Best Practices) در Azure Data Factory
• 92. آینده مهندسی داده و کلان‌داده
• 93. نتیجه‌گیری و جمع‌بندی مباحث
• 94. آمادگی برای آزمون و گواهینامه
• 95. منابع بیشتر برای مطالعه
• 96. پرسش و پاسخ متداول
• 97. نکات تکمیلی برای تسریع یادگیری