فلش‌کارت‌های آموزشی آموزش جامع مهندسی داده با Apache Spark و Delta Lake به زبان پایتون و اسکالا

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره آموزش جامع مهندسی داده با Apache Spark و Delta Lake به زبان پایتون و اسکالا

موضوع کلی: علوم داده و مهندسی کلان‌داده

موضوع میانی: معماری دریاچه داده (Data Lakehouse) و پردازش توزیع‌شده

📋 سرفصل‌های دوره

• 1. مبانی مهندسی داده و معرفی معماری مدرن دریاچه داده
• 2. نقش و جایگاه مهندسی داده در سازمان‌های داده‌محور
• 3. معرفی پلتفرم Apache Spark و اکوسیستم پردازش توزیع‌شده
• 4. برپایی محیط توسعه و پیکربندی اولیه برای کار با Spark
• 5. مبانی برنامه‌نویسی پایتون برای پردازش داده‌های حجیم
• 6. مبانی زبان اسکالا در بستر Spark و مفاهیم تابعی
• 7. آشنایی با معماری Lakehouse و گذار از انبار داده سنتی
• 8. ساختار حافظه و مدیریت منابع در کلاستر اسپارک
• 9. مفاهیم هسته‌ای RDD در اسپارک و مدیریت توزیع داده
• 10. کار با Spark SQL و نوشتن کوئری‌های بهینه
• 11. مدیریت دیتافریم‌ها و عملیات تبدیل داده‌ها
• 12. مبانی کار با Delta Lake و مزایای جداول دلتا
• 13. مدیریت تراکنش‌های ACID در دریاچه داده
• 14. نسخه‌بندی داده‌ها و قابلیت Time Travel در Delta Lake
• 15. بهینه‌سازی ذخیره‌سازی با تکنیک‌های Compaction و Z-Ordering
• 16. استفاده از Delta Caching برای افزایش سرعت خواندن داده‌ها
• 17. پیاده‌سازی پایپ‌لاین‌های داده با Spark Structured Streaming
• 18. پردازش داده‌های جریانی در لحظه و مدیریت وقایع
• 19. تکنیک‌های پاکسازی و اعتبارسنجی داده‌ها در مسیر ورود
• 20. مدیریت طرح‌واره و تکامل جداول در Delta Lake
• 21. اتصال به منابع داده خارجی و سیستم‌های فایل توزیع‌شده
• 22. بهینه‌سازی کارایی در پردازش‌های سنگین و جلوگیری از Shuffle
• 23. مدیریت خطاهای رایج در پردازش توزیع‌شده
• 24. شبیه‌سازی سناریوهای واقعی مهندسی داده در محیط Databricks
• 25. طراحی لایه‌های ذخیره‌سازی داده شامل Bronze و Silver و Gold
• 26. استراتژی‌های پارتیشن‌بندی داده‌ها برای بهبود کوئری‌ها
• 27. امنیت داده‌ها و کنترل دسترسی در محیط‌های توزیع‌شده
• 28. مانیتورینگ و عیب‌یابی کلاسترهای اسپارک
• 29. تکنیک‌های تست و خودکارسازی پایپ‌لاین‌های داده
• 30. مستندسازی و استقرار پروژه‌های مهندسی داده در محیط تولید