فلش‌کارت‌های آموزشی مهندسی داده با Apache Spark در Azure Synapse Analytics

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مهندسی داده با Apache Spark در Azure Synapse Analytics

موضوع کلی: مهندسی داده

موضوع میانی: پردازش داده‌های کلان با استفاده از ابزارهای متن‌باز

📋 سرفصل‌های دوره

• 1. مبانی مهندسی داده در Azure Synapse Analytics
• 2. مقدمه‌ای بر پردازش داده‌های کلان
• 3. معماری Azure Synapse Analytics
• 4. آشنایی با Apache Spark
• 5. مفهوم Pool در Azure Synapse Spark
• 6. ایجاد و پیکربندی Spark Pool
• 7. اتصال به داده‌ها در Azure Data Lake Storage
• 8. خواندن و نوشتن داده‌ها با Spark
• 9. فرمت‌های داده‌ای رایج (Parquet, Delta Lake)
• 10. مقدمه‌ای بر زبان PySpark
• 11. عملیات پایه PySpark (DataFrame API)
• 12. دستورات select, filter, groupBy
• 13. توابع آماری و تجمیعی در PySpark
• 14. کار با انواع داده در PySpark
• 15. مدیریت Schema در PySpark
• 16. پیوستن (Join) داده‌ها در PySpark
• 17. عملیات Union و Intersect
• 18. استفاده از Window Functions
• 19. مقدمه‌ای بر Spark SQL
• 20. نوشتن کوئری‌های SQL در Spark
• 21. ترکیب PySpark و Spark SQL
• 22. بهینه‌سازی عملکرد PySpark
• 23. نکات و ترفندهای نوشتن کد PySpark
• 24. مدیریت منابع در Spark Pool
• 25. نظارت بر اجرای Jobها در Spark
• 26. عیب‌یابی Jobهای Spark
• 27. مقدمه‌ای بر Delta Lake
• 28. ویژگی‌های Delta Lake (ACID Transactions)
• 29. زمان‌سفر (Time Travel) در Delta Lake
• 30. بهینه‌سازی Delta Lake (Optimize, Vacuum)
• 31. استفاده از Delta Lake برای Data Warehousing
• 32. مقدمه‌ای بر Data Engineering Pipelines
• 33. ساخت Pipelineهای داده در Azure Synapse
• 34. زمان‌بندی اجرای Pipelineها
• 35. پارامترسازی در Pipelineها
• 36. انتقال داده با Azure Data Factory (در Synapse)
• 37. اتصال به منابع داده خارجی
• 38. استفاده از Copy Activity
• 39. استفاده از Lookup Activity
• 40. استفاده از ForEach Activity
• 41. استفاده از If Condition Activity
• 42. مدیریت خطا در Pipelineها
• 43. لاگ‌برداری و مانیتورینگ Pipelineها
• 44. مقدمه‌ای بر Data Governance
• 45. اصول Data Governance در Azure
• 46. امنیت داده در Azure Synapse
• 47. کنترل دسترسی بر روی Spark Pool
• 48. کنترل دسترسی بر روی داده‌ها
• 49. رمزنگاری داده‌ها
• 50. مفاهیم Data Catalog
• 51. استفاده از Azure Purview (با چارچوب رسمی)
• 52. مقدمه‌ای بر Data Modeling
• 53. انواع مدل‌های داده (Dimensional Modeling)
• 54. طراحی استار اسکما (Star Schema)
• 55. طراحی اسنیک اسکما (Snowflake Schema)
• 56. مدل‌سازی داده برای تحلیل
• 57. مدل‌سازی داده برای گزارش‌گیری
• 58. استفاده از ابزارهای مدل‌سازی (با رویکرد رسمی)
• 59. مقدمه‌ای بر Big Data Architectures
• 60. معماری Lambda
• 61. معماری Kappa
• 62. معماری Lakehouse
• 63. مقایسه معماری‌های کلان داده
• 64. نقش Spark در معماری‌های کلان داده
• 65. امنیت در معماری‌های کلان داده
• 66. مقدمه‌ای بر MLOps (با رویکرد مهندسی داده)
• 67. نقش مهندس داده در MLOps
• 68. آماده‌سازی داده برای مدل‌های یادگیری ماشین
• 69. استفاده از Spark برای Feature Engineering
• 70. استقرار مدل‌های یادگیری ماشین (با چارچوب رسمی)
• 71. پایش مدل‌های یادگیری ماشین (با چارچوب رسمی)
• 72. مقدمه‌ای بر DataOps
• 73. اصول DataOps
• 74. پیاده‌سازی DataOps در Azure Synapse
• 75. اتوماسیون در DataOps
• 76. مقدمه‌ای بر Azure Databricks (به عنوان مقایسه)
• 77. مقایسه Spark در Synapse و Databricks
• 78. ملاحظات هزینه در Azure Synapse Spark
• 79. نکات پایانی برای مهندسان داده
• 80. تمرین عملی: تحلیل داده‌های فروش
• 81. تمرین عملی: ساخت Pipeline پردازش لاگ
• 82. تمرین عملی: مدل‌سازی داده برای داشبورد
• 83. تمرین عملی: بهینه‌سازی یک Job کند Spark
• 84. تمرین عملی: پیاده‌سازی Delta Lake برای داده‌های جریان
• 85. تمرین عملی: تنظیمات امنیتی پیشرفته
• 86. تمرین عملی: مانیتورینگ و عیب‌یابی پیشرفته
• 87. مروری بر ابزارهای متن‌باز مرتبط
• 88. جمع‌بندی مباحث پیشرفته
• 89. آینده مهندسی داده با Spark
• 90. منابع تکمیلی و مطالعات بیشتر
• 91. مبانی ذخیره‌سازی داده در Azure
• 92. مبانی شبکه‌سازی در Azure برای Synapse
• 93. مدیریت Cluster در Spark
• 94. استفاده از Notebooks در Synapse
• 95. نوشتن کد با زبان Scala در Spark (مقدماتی)
• 96. مقدمه‌ای بر Spark Streaming (با رویکرد Batch)
• 97. مدیریت Metadata در Synapse
• 98. استفاده از Azure Key Vault برای امنیت