فلش‌کارت‌های آموزشی مهندسی داده با دیتابریکس: از پایه تا پیشرفته

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مهندسی داده با دیتابریکس: از پایه تا پیشرفته

موضوع کلی: مهندسی داده و تحلیل داده

موضوع میانی: پلتفرم‌های داده مدرن

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده با دیتابریکس
• 2. مفاهیم کلیدی مهندسی داده
• 3. معماری دیتابریکس
• 4. راه‌اندازی محیط دیتابریکس
• 5. کار با نوت‌بوک‌های دیتابریکس
• 6. زبان‌های برنامه‌نویسی در دیتابریکس (پایتون، اسکالا)
• 7. آشنایی با Spark در دیتابریکس
• 8. مفاهیم RDD و DataFrame
• 9. عملیات پایه Spark
• 10. بهینه‌سازی عملکرد Spark
• 11. کار با Delta Lake
• 12. مزایای Delta Lake
• 13. ساختار جداول Delta
• 14. عملیات ACID در Delta Lake
• 15. زمان‌سفر (Time Travel) در Delta Lake
• 16. بهینه‌سازی جداول Delta
• 17. قوانین دسترسی در Delta Lake
• 18. امنیت داده در دیتابریکس
• 19. مدیریت هویت و دسترسی
• 20. رمزنگاری داده‌ها
• 21. نظارت و ثبت وقایع
• 22. کار با کلاسترها در دیتابریکس
• 23. انواع کلاسترها
• 24. پیکربندی کلاسترها
• 25. مدیریت چرخه عمر کلاستر
• 26. استقرار کلاسترها
• 27. کار با Job ها در دیتابریکس
• 28. ایجاد و اجرای Job
• 29. زمان‌بندی Job ها
• 30. نظارت بر Job ها
• 31. مدیریت خطاهای Job
• 32. کار با Streaming در دیتابریکس
• 33. مفاهیم پردازش جریانی
• 34. Spark Structured Streaming
• 35. کار با منابع داده جریانی
• 36. پردازش داده‌های جریانی با Delta Lake
• 37. تضمین تحویل در پردازش جریانی
• 38. کار با MLflow در دیتابریکس
• 39. مفاهیم مدیریت چرخه عمر ML
• 40. ردیابی آزمایش‌ها با MLflow
• 41. مدیریت مدل‌ها با MLflow
• 42. استقرار مدل‌ها با MLflow
• 43. مفاهیم Data Lakehouse
• 44. مزایای Data Lakehouse
• 45. معماری Lakehouse
• 46. کار با داده‌های حجیم (Big Data)
• 47. استراتژی‌های ذخیره‌سازی داده
• 48. پردازش داده‌های حجیم
• 49. مدیریت کیفیت داده
• 50. ابزارهای کیفیت داده
• 51. پیاده‌سازی پروفایلینگ داده
• 52. پاکسازی داده‌ها
• 53. اعتبارسنجی داده‌ها
• 54. استانداردسازی داده‌ها
• 55. مفاهیم ETL و ELT
• 56. تفاوت ETL و ELT
• 57. طراحی پایپ‌لاین‌های ETL
• 58. طراحی پایپ‌لاین‌های ELT
• 59. ابزارهای ETL/ELT مدرن
• 60. کار با Git و دیتابریکس
• 61. یکپارچه‌سازی Git با نوت‌بوک‌ها
• 62. کنترل نسخه کد
• 63. همکاری تیمی با Git
• 64. مدیریت انشعاب‌ها (Branches)
• 65. ادغام کد (Merging)
• 66. مفاهیم Data Governance
• 67. اهمیت Data Governance
• 68. اصول Data Governance
• 69. پیاده‌سازی Data Governance
• 70. نقش دیتابریکس در Data Governance
• 71. امنیت اطلاعات در سازمان
• 72. قوانین حفاظت از داده‌ها
• 73. مدیریت ریسک داده
• 74. مفاهیم Data Catalog
• 75. اهمیت Data Catalog
• 76. پیاده‌سازی Data Catalog
• 77. کار با Unity Catalog
• 78. قابلیت‌های Unity Catalog
• 79. مدیریت متادیتای داده
• 80. جستجو و کشف داده
• 81. خودکارسازی فرآیندهای داده
• 82. استفاده از API های دیتابریکس
• 83. اتوماسیون استقرار
• 84. اتوماسیون مدیریت کلاستر
• 85. اتوماسیون اجرای Job
• 86. هماهنگ‌سازی با ابزارهای CI/CD
• 87. مفاهیم DevOps برای داده
• 88. اصول DevOps
• 89. پیاده‌سازی DevOps در مهندسی داده
• 90. ابزارهای DevOps
• 91. فرهنگ DevOps
• 92. مفاهیم MLOps
• 93. چرخه عمر مدل‌های یادگیری ماشین
• 94. پیاده‌سازی MLOps
• 95. ابزارهای MLOps
• 96. هماهنگ‌سازی MLOps و DevOps
• 97. بهینه‌سازی هزینه در دیتابریکس
• 98. مدیریت مصرف منابع
• 99. انتخاب نوع کلاستر مناسب
• 100. تنظیمات کلاستر