فلش‌کارت‌های آموزشی راهکارهای عملیاتی مهندسی داده با استفاده از Microsoft Fabric: پیاده‌سازی پروژه‌های کاربردی و تحلیل داده‌های بلادرنگ

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره راهکارهای عملیاتی مهندسی داده با استفاده از Microsoft Fabric: پیاده‌سازی پروژه‌های کاربردی و تحلیل داده‌های بلادرنگ

موضوع کلی: علوم داده و تحلیل هوشمند داده‌ها

موضوع میانی: مهندسی داده در بسترهای ابری و یکپارچه

📋 سرفصل‌های دوره

• 1. مبانی و معماری کلی پلتفرم Microsoft Fabric در مهندسی داده
• 2. آشنایی با محیط کاربری و مدیریت منابع در Fabric Capacity
• 3. بررسی مفاهیم OneLake و ساختار ذخیره‌سازی داده‌های یکپارچه
• 4. مدیریت دسترسی‌ها و امنیت داده‌ها بر اساس استانداردهای سازمانی
• 5. اتصال به منابع داده‌ای متنوع با استفاده از ابزار Data Factory
• 6. طراحی و پیاده‌سازی خط لوله انتقال داده یا Data Pipeline
• 7. مفاهیم تبدیل داده در مقیاس بزرگ با استفاده از Dataflows Gen2
• 8. آشنایی با محیط نوت‌بوک‌های Spark در Fabric
• 9. بررسی زبان‌های برنامه‌نویسی پایتون و PySpark برای پردازش داده
• 10. مدیریت کتابخانه‌ها و پیکربندی محیط‌های اجرای کد
• 11. مفاهیم Lakehouse و تفاوت آن با انبارهای داده سنتی
• 12. ایجاد و مدیریت جداول در ساختار Delta Lake
• 13. بهینه‌سازی کارایی جداول با استفاده از تکنیک‌های پارتیشن‌بندی
• 14. استفاده از Fabric Notebook برای پاک‌سازی و آماده‌سازی داده‌ها
• 15. پیاده‌سازی فرآیندهای ETL مبتنی بر Spark
• 16. آشنایی با قابلیت‌های Direct Lake برای دسترسی سریع به داده‌ها
• 17. مفاهیم مهندسی داده بلادرنگ یا Real-Time Intelligence
• 18. کار با Eventstream برای دریافت و پردازش جریان داده‌های زنده
• 19. مدیریت داده‌های جریانی در KQL Database
• 20. پرس‌وجو و تحلیل داده‌های زمانی با زبان KQL
• 21. یکپارچه‌سازی خروجی‌های بلادرنگ با Power BI
• 22. مانیتورینگ و مشاهده وضعیت اجرای خط لوله‌های داده
• 23. مدیریت خطا و استراتژی‌های بازسازی داده‌ها در خطوط لوله
• 24. بررسی مفاهیم اعتبارسنجی داده‌ها و کنترل کیفیت
• 25. تکنیک‌های افزایش سرعت پردازش در محیط‌های توزیع‌شده
• 26. امنیت در انتقال داده با استفاده از اتصالات ایمن و Private Link
• 27. مدیریت نسخه‌بندی کدها و یکپارچه‌سازی با Git
• 28. اتوماسیون فرآیندهای مهندسی داده با استفاده از Triggerها
• 29. طراحی معماری لایه‌بندی داده‌ها در Lakehouse (Medallion Architecture)
• 30. پیاده‌سازی لایه برنز برای ذخیره‌سازی داده‌های خام
• 31. پیاده‌سازی لایه نقره برای پاک‌سازی و استانداردسازی داده‌ها
• 32. پیاده‌سازی لایه طلا برای داده‌های آماده تحلیل
• 33. مدیریت چرخه‌حیات داده و سیاست‌های نگهداری
• 34. آشنایی با قابلیت‌های هوش مصنوعی در Fabric برای مهندسی داده
• 35. به‌کارگیری Copilot در توسعه کدهای مهندسی داده
• 36. مدیریت هزینه‌ها و بهینه‌سازی مصرف منابع در پلتفرم
• 37. بررسی سناریوهای عملیاتی برای تحلیل داده‌های فروش
• 38. پروژه عملی: پیاده‌سازی خط لوله انتقال داده از منابع ابری
• 39. پروژه عملی: تحلیل بلادرنگ داده‌های حسگرهای صنعتی
• 40. پروژه عملی: ایجاد یک داشبورد تحلیلی بر پایه Lakehouse
• 41. بررسی چالش‌های مقیاس‌پذیری در پروژه‌های بزرگ داده
• 42. نکات کلیدی در مستندسازی پروژه‌های مهندسی داده
• 43. اخلاق حرفه‌ای و صیانت از داده‌های حساس در پروژه‌های سازمانی
• 44. جمع‌بندی و مسیرهای پیشرفته در مهندسی داده با Fabric