فلش‌کارت‌های آموزشی مهندسی داده در Azure Databricks: از مفاهیم تا پیاده‌سازی عملی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مهندسی داده در Azure Databricks: از مفاهیم تا پیاده‌سازی عملی

موضوع کلی: مهندسی داده و تحلیل کلان‌داده

موضوع میانی: پلتفرم‌های پردازش کلان‌داده

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده و کلان‌داده
• 2. اصول مهندسی داده در عصر کلان‌داده
• 3. معرفی Azure Databricks
• 4. معماری Azure Databricks
• 5. محیط کاری Azure Databricks
• 6. کار با نوت‌بوک‌ها در Azure Databricks
• 7. زبان‌های برنامه‌نویسی در Azure Databricks (Python, SQL, Scala)
• 8. کار با DataFrame ها در PySpark
• 9. عملیات پایه روی DataFrame ها
• 10. عملیات پیشرفته روی DataFrame ها
• 11. دستورات SQL در Azure Databricks
• 12. کار با پارکت و فرمت‌های دیگر داده
• 13. ذخیره‌سازی و دسترسی به داده در Azure Data Lake Storage
• 14. یکپارچه‌سازی Azure Databricks با Azure Data Lake Storage
• 15. مفاهیم Delta Lake
• 16. عملیات CRUD در Delta Lake
• 17. زمان‌سنجی (Time Travel) در Delta Lake
• 18. بهینه‌سازی عملکرد Delta Lake
• 19. مدیریت جدول در Delta Lake
• 20. مفاهیم Streaming در Azure Databricks
• 21. پردازش داده‌های جریانی با Spark Structured Streaming
• 22. اتصال به منابع داده جریانی
• 23. پردازش داده‌های جریانی در زمان واقعی
• 24. مدیریت وضعیت در پردازش جریانی
• 25. استفاده از Azure Event Hubs برای داده‌های جریانی
• 26. استفاده از Azure IoT Hub برای داده‌های جریانی
• 27. مفاهیم و معماری Cluster در Azure Databricks
• 28. پیکربندی و مدیریت Cluster ها
• 29. بهینه‌سازی هزینه Cluster ها
• 30. استفاده از Spot Instances برای Cluster ها
• 31. امنیت در Azure Databricks
• 32. مدیریت دسترسی و احراز هویت
• 33. رمزگذاری داده‌ها در Azure Databricks
• 34. مراقبت و نظارت بر Azure Databricks
• 35. لاگ‌گیری و ردیابی فعالیت‌ها
• 36. استفاده از Azure Monitor برای Databricks
• 37. مفاهیم Orchestration و Workflow
• 38. مدیریت Job ها در Azure Databricks
• 39. زمان‌بندی Job ها
• 40. وابستگی بین Job ها
• 41. استفاده از Azure Data Factory برای Orchestration
• 42. مفاهیم MLflow در Azure Databricks
• 43. ردیابی آزمایش‌های یادگیری ماشین
• 44. مدیریت مدل‌ها در MLflow
• 45. استقرار مدل‌ها با MLflow
• 46. مفاهیم مهندسی ویژگی (Feature Engineering)
• 47. تکنیک‌های Feature Engineering
• 48. کار با ویژگی‌های دسته‌ای و عددی
• 49. ایجاد ویژگی‌های زمانی
• 50. استفاده از کتابخانه‌های مهندسی داده
• 51. کار با Pandas API در Spark
• 52. مفاهیم Data Governance
• 53. اهمیت Data Governance در مهندسی داده
• 54. استانداردهای نام‌گذاری و مستندسازی
• 55. مدیریت کیفیت داده (Data Quality)
• 56. تکنیک‌های اعتبارسنجی داده
• 57. پاکسازی داده‌ها
• 58. مدیریت داده‌های حساس و حریم خصوصی
• 59. قوانین و مقررات حفاظت از داده
• 60. پیاده‌سازی ملاحظات امنیتی در داده‌ها
• 61. مفاهیم Data Lakehouse
• 62. تفاوت Data Lake و Data Warehouse
• 63. مزایای Data Lakehouse
• 64. معماری Data Lakehouse با Delta Lake
• 65. بهینه‌سازی Query ها در Azure Databricks
• 66. تکنیک‌های Partitioning
• 67. استفاده از Indexing
• 68. Caching داده‌ها
• 69. مفاهیم Data Pipeline
• 70. طراحی Data Pipeline مؤثر
• 71. مراحل ایجاد Data Pipeline
• 72. مدیریت خطا و بازیابی در Data Pipeline
• 73. مفاهیم ETL و ELT
• 74. مقایسه ETL و ELT
• 75. پیاده‌سازی ELT در Azure Databricks
• 76. استفاده از ابزارهای ETL/ELT
• 77. مفاهیم Data Modeling
• 78. انواع Data Model
• 79. مدل‌سازی ابعادی (Dimensional Modeling)
• 80. مدل‌سازی ستاره‌ای و برف‌دانه‌ای
• 81. طراحی Schema برای Delta Lake
• 82. مفاهیم Data Catalog
• 83. اهمیت Data Catalog
• 84. ابزارهای Data Catalog
• 85. کار با Azure Purview
• 86. استفاده از Data Catalog در Databricks
• 87. مفاهیم Data Virtualization
• 88. مزایای Data Virtualization
• 89. ابزارهای Data Virtualization
• 90. کار با Data Virtualization در Databricks
• 91. مفاهیم Data Observability
• 92. اهمیت Data Observability
• 93. معیارهای کلیدی Data Observability
• 94. ابزارهای Data Observability
• 95. پیاده‌سازی Data Observability در Databricks
• 96. مفاهیم Data Security Best Practices
• 97. مدیریت دسترسی در سطح ستون و ردیف
• 98. رمزنگاری داده‌ها در حالت سکون و انتقال
• 99. ممیزی و گزارش‌دهی امنیتی
• 100. مفاهیم Cost Optimization در Azure Databricks