دوره جامع تربیت مهندس داده حرفه‌ای بر بستر پلتفرم‌های پردازش توزیع‌شده (با رویکرد Databricks) همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره جامع تربیت مهندس داده حرفه‌ای بر بستر پلتفرم‌های پردازش توزیع‌شده (با رویکرد Databricks)

موضوع کلی: علوم داده و تحلیل کلان‌داده‌ها

موضوع میانی: مهندسی داده و مدیریت زیرساخت‌های ابری

📋 سرفصل‌های دوره

• 1. مبانی و معماری پلتفرم‌های پردازش داده‌های کلان
• 2. آشنایی با اکوسیستم دیتابریکس و فضای کاری Databricks Workspace
• 3. مفاهیم پایه رایانش ابری و مدیریت زیرساخت‌های داده‌محور
• 4. معرفی معماری دریاچه داده (Data Lakehouse) و مزایای آن
• 5. مبانی زبان برنامه‌نویسی پایتون برای مهندسی داده
• 6. آشنایی با کتابخانه PySpark و کار با ساختار داده‌ای DataFrame
• 7. مدیریت و پیکربندی کلاسترها در دیتابریکس
• 8. کار با محیط نوت‌بوک‌های دیتابریکس و مدیریت وظایف
• 9. آشنایی با فرمت ذخیره‌سازی دلتا لیک (Delta Lake)
• 10. عملیات درج و به‌روزرسانی داده‌ها در جداول دلتا
• 11. مدیریت تراکنش‌های ACID در دریاچه داده
• 12. ایجاد و مدیریت جداول در کاتالوگ Unity Catalog
• 13. مفاهیم امنیت داده‌ها و کنترل دسترسی در پلتفرم دیتابریکس
• 14. مدیریت سطوح دسترسی و احراز هویت کاربران
• 15. طراحی خط لوله انتقال داده با استفاده از Auto Loader
• 16. استخراج داده از منابع مختلف و بارگذاری در فرمت دلتا
• 17. تحول و پاک‌سازی داده‌ها با استفاده از Spark SQL
• 18. بهینه‌سازی پرس‌وجوهای SQL برای پردازش‌های سنگین
• 19. مفاهیم مدل‌سازی داده‌ها در معماری لایه‌بندی شده (Medallion Architecture)
• 20. پیاده‌سازی لایه برنزی (Bronze) برای داده‌های خام
• 21. پیاده‌سازی لایه نقره‌ای (Silver) برای داده‌های پالایش‌شده
• 22. پیاده‌سازی لایه طلایی (Gold) برای گزارش‌گیری و تحلیل
• 23. مدیریت تغییرات در طرح‌واره جداول با قابلیت Schema Evolution
• 24. کار با توابع پنجره‌ای (Window Functions) در اسپارک
• 25. مدیریت توابع تعریف‌شده توسط کاربر (UDF) در پردازش‌های توزیع‌شده
• 26. آشنایی با ابزار Delta Live Tables برای خودکارسازی خطوط لوله
• 27. مدیریت وابستگی‌ها و زمان‌بندی در Delta Live Tables
• 28. پایش و نظارت بر وضعیت اجرای خطوط لوله داده
• 29. مدیریت خطا و استراتژی‌های بازیابی در پردازش‌های توزیع‌شده
• 30. بهینه‌سازی عملکرد با استفاده از تکنیک‌های Z-Ordering و Data Skipping
• 31. مدیریت حافظه و تنظیمات پارامترهای کلاستر برای افزایش کارایی
• 32. آشنایی با مفاهیم تزریق داده (Data Ingestion) به صورت جریانی (Streaming)
• 33. کار با ساختارهای Structured Streaming در دیتابریکس
• 34. مدیریت وضعیت (State Management) در پردازش‌های جریانی
• 35. یکپارچه‌سازی با سیستم‌های ذخیره‌سازی ابری
• 36. مدیریت متاداده‌ها و مستندسازی جداول داده
• 37. اصول تست و اعتبارسنجی کیفیت داده‌ها (Expectations)
• 38. استقرار خطوط لوله داده در محیط‌های عملیاتی
• 39. مدیریت نسخه‌بندی کدها و یکپارچه‌سازی با Git
• 40. آمادگی برای آزمون‌های استاندارد مهندسی داده دیتابریکس
• 41. مرور سناریوهای واقعی و بهینه‌سازی پروژه‌های کلان‌داده
• 42. اخلاق حرفه‌ای در مدیریت داده و صیانت از حریم خصوصی اطلاعات
• 43. اصول گزارش‌گیری و ویژه‌سازی داده‌ها برای تصمیم‌گیری سازمانی