فلش‌کارت‌های آموزشی مهندسی داده با Azure Synapse و Apache Spark Pools

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مهندسی داده با Azure Synapse و Apache Spark Pools

موضوع کلی: مهندسی داده و تحلیل داده

موضوع میانی: پردازش و تحلیل داده‌های کلان با ابزارهای ابری

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده و تحلیل داده
• 2. اصول و مفاهیم کلیدی مهندسی داده
• 3. نقش مهندسی داده در سازمان‌ها
• 4. معماری‌های رایج مهندسی داده
• 5. مبانی داده‌های کلان (Big Data)
• 6. اکوسیستم داده‌های کلان
• 7. چالش‌های داده‌های کلان
• 8. مقدمه‌ای بر پردازش توزیع‌شده
• 9. آشنایی با Apache Spark
• 10. معماری Spark Core
• 11. اجزای Spark و نحوه عملکرد آن
• 12. RDD ها در Spark
• 13. عملیات تبدیل و کنش در RDD ها
• 14. Spark SQL و DataFrame ها
• 15. کار با DataFrame ها در Spark
• 16. بهینه‌سازی کوئری‌ها در Spark SQL
• 17. Spark Streaming برای پردازش جریانی
• 18. مفاهیم اولیه پردازش جریانی
• 19. آشنایی با Azure Synapse Analytics
• 20. معماری Azure Synapse Analytics
• 21. مخازن داده در Azure Synapse
• 22. SQL Pools در Azure Synapse
• 23. Spark Pools در Azure Synapse
• 24. یکپارچه‌سازی SQL Pools و Spark Pools
• 25. کار با داده‌ها در Azure Data Lake Storage
• 26. اتصال Synapse به Data Lake Storage
• 27. مراحل مهندسی داده در Synapse
• 28. طراحی پایپ‌لاین‌های داده در Synapse
• 29. نحوه ساخت پایپ‌لاین‌های داده
• 30. اجرا و مانیتورینگ پایپ‌لاین‌ها
• 31. مدیریت منابع در Spark Pools
• 32. تنظیم پارامترهای Spark Pools
• 33. بهینه‌سازی عملکرد Spark Pools
• 34. استفاده از Notebook ها در Synapse
• 35. نوشتن کد در Notebook ها
• 36. اجرای کد Python و Scala در Notebook ها
• 37. استفاده از Spark Scala API
• 38. استفاده از Spark Python API (PySpark)
• 39. تبدیل و بارگذاری داده (ETL) با Spark
• 40. مراحل ETL در محیط ابری
• 41. استفاده از Spark برای ETL
• 42. کار با فرمت‌های داده مختلف (Parquet, ORC)
• 43. فشرده‌سازی داده‌ها در Spark
• 44. پارتیشن‌بندی داده‌ها در Spark
• 45. استفاده از Delta Lake در Synapse
• 46. مزایای Delta Lake
• 47. مدیریت تراکنش‌ها در Delta Lake
• 48. امنیت داده‌ها در Azure Synapse
• 49. کنترل دسترسی در Synapse
• 50. مدیریت احراز هویت و مجوزها
• 51. حاکمیت داده در Azure Synapse
• 52. ابزارهای حاکمیت داده
• 53. اهمیت حاکمیت داده
• 54. نمونه‌های عملی مهندسی داده با Synapse
• 55. پروژه تحلیل داده فروش
• 56. پروژه تحلیل داده مشتریان
• 57. پروژه تحلیل داده سنسورها
• 58. پروژه تحلیل داده لاگ‌های سیستم
• 59. پروژه تحلیل داده مالی
• 60. مقدمه‌ای بر یادگیری ماشین با داده‌های کلان
• 61. نقش مهندسی داده در ML
• 62. آماده‌سازی داده برای ML
• 63. استفاده از Spark MLlib
• 64. مقدمه‌ای بر MLOps
• 65. پایپ‌لاین‌های ML در Synapse
• 66. مقدمه‌ای بر هوش تجاری (BI)
• 67. ابزارهای BI در Synapse
• 68. ایجاد داشبوردهای BI
• 69. تحلیل داده‌های اکتشافی (EDA)
• 70. تکنیک‌های EDA
• 71. ابزارهای EDA در Synapse
• 72. مقدمه‌ای بر انبار داده (Data Warehousing)
• 73. انبار داده در Azure Synapse
• 74. طراحی اسکیمای انبار داده
• 75. مدل‌سازی داده برای انبار داده
• 76. مفاهیم Data Mart
• 77. کار با داده‌های نیمه‌ساختاریافته
• 78. کار با داده‌های بدون ساختار
• 79. استخراج داده از منابع مختلف
• 80. بارگذاری داده در Synapse
• 81. تست و اعتبارسنجی داده‌ها
• 82. خطایابی در پایپ‌لاین‌های داده
• 83. مانیتورینگ عملکرد پایپ‌لاین‌ها
• 84. بهبود مستمر فرآیندهای داده
• 85. اصول طراحی پایدار برای مهندسی داده
• 86. ملاحظات هزینه‌ای در مهندسی داده ابری
• 87. مدیریت چرخه عمر داده
• 88. مقدمه‌ای بر مفاهیم Data Governance
• 89. پیاده‌سازی Data Governance در Synapse
• 90. نقش مهندس داده در تیم‌های چابک
• 91. آینده مهندسی داده
• 92. روندهای جدید در پردازش داده
• 93. جمع‌بندی و گام‌های بعدی