کتاب صوتی اصول و مهارت‌های پیاده‌سازی مهندسی داده در مقیاس بزرگ

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره اصول و مهارت‌های پیاده‌سازی مهندسی داده در مقیاس بزرگ

موضوع کلی: علوم و مهندسی داده

موضوع میانی: معماری و زیرساخت‌های داده‌کاوی

📋 سرفصل‌های دوره (100 موضوع)

• 1. مبانی مهندسی داده و جایگاه آن در تحول دیجیتال
• 2. چرخه حیات داده در سازمان‌های بزرگ
• 3. معماری سیستم‌های ذخیره‌سازی داده‌های حجیم
• 4. آشنایی با مفاهیم پایگاه‌داده‌های توزیع‌شده
• 5. بررسی مدل‌های داده‌ساختاریافته و غیرساختاریافته
• 6. نقش و وظایف مهندس داده در تیم‌های فنی
• 7. مفاهیم پایه در رایانش ابری برای مهندسی داده
• 8. آشنایی با اکوسیستم آپاچی هدوپ و اجزای آن
• 9. مدیریت فایل‌سیستم‌های توزیع‌شده برای ذخیره‌سازی داده
• 10. معماری انبار داده و تفاوت آن با دریاچه داده
• 11. اصول طراحی خط‌لوله‌های داده
• 12. استخراج داده از منابع مختلف
• 13. پاک‌سازی و پیش‌پردازش داده‌های خام
• 14. تبدیل و غنی‌سازی داده‌ها برای تحلیل
• 15. بارگذاری داده در مقصدهای نهایی
• 16. آشنایی با مفاهیم جریان داده و پردازش آنی
• 17. معماری‌های مبتنی بر پیام‌رسان‌ها در سیستم‌های داده
• 18. پیاده‌سازی پردازش دسته‌ای با استفاده از ابزارهای استاندارد
• 19. مدیریت کیفیت داده و استانداردهای اعتبارسنجی
• 20. کنترل دسترسی و مدیریت مجوزها در مخازن داده
• 21. ملاحظات اخلاقی در مدیریت داده‌های کلان
• 22. آشنایی با مفاهیم پایگاه‌داده‌های ستونی
• 23. بهینه‌سازی پرس‌وجوها در مقیاس بزرگ
• 24. مفاهیم پارتیشن‌بندی و ایندکس‌گذاری داده‌ها
• 25. مدیریت تراکنش‌ها در محیط‌های توزیع‌شده
• 26. آشنایی با ابزارهای ارکستراسی خط‌لوله‌های داده
• 27. استراتژی‌های پشتیبان‌گیری و بازیابی داده‌ها
• 28. مفاهیم مقیاس‌پذیری افقی و عمودی در سیستم‌ها
• 29. آشنایی با کانتینر‌سازی برای استقرار سرویس‌های داده
• 30. مدیریت منابع محاسباتی در خوشه‌های پردازشی
• 31. اصول طراحی واسط‌های برنامه‌نویسی برای تبادل داده
• 32. یکپارچه‌سازی داده‌ها از سیستم‌های عملیاتی به تحلیلی
• 33. مفاهیم حاکمیت داده و مدیریت متاداده
• 34. آشنایی با ابزارهای تحلیل و گزارش‌گیری داده‌محور
• 35. تکنیک‌های فشرده‌سازی و بهینه‌سازی ذخیره‌سازی
• 36. آشنایی با معماری‌های لایه‌ای در مهندسی داده
• 37. بررسی کاربرد یادگیری ماشین در خط‌لوله‌های داده
• 38. مفاهیم داده‌های زمانی و تحلیل سری‌های زمانی
• 39. آشنایی با پایگاه‌داده‌های گراف و کاربرد آن‌ها
• 40. اصول مستندسازی زیرساخت‌های مهندسی داده
• 41. روش‌های عیب‌یابی در خط‌لوله‌های داده توزیع‌شده
• 42. مدیریت چرخه عمر داده و سیاست‌های آرشیو
• 43. بهینه‌سازی مصرف منابع در پردازش‌های سنگین
• 44. آشنایی با ابزارهای متن‌باز در حوزه مهندسی داده
• 45. تطبیق معماری داده با نیازمندی‌های کسب‌وکار
• 46. بررسی الگوهای طراحی در سیستم‌های داده‌محور
• 47. مفاهیم داده‌های باز و استانداردهای تبادل داده
• 48. آشنایی با مفاهیم داده‌های بزرگ و چالش‌های مقیاس‌پذیری