فلش‌کارت‌های آموزشی تسلط بر پردازش و آماده‌سازی داده‌ها با استفاده از سرویس‌های ابری آمازون (SageMaker و EMR)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تسلط بر پردازش و آماده‌سازی داده‌ها با استفاده از سرویس‌های ابری آمازون (SageMaker و EMR)

موضوع کلی: علوم داده و هوش مصنوعی

موضوع میانی: مهندسی و آماده‌سازی داده‌های کلان (Big Data)

📋 سرفصل‌های دوره (100 موضوع)

• 1. آشنایی با مفاهیم داده‌های کلان و رایانش ابری
• 2. معماری سرویس‌های داده‌محور در بستر آمازون
• 3. راه‌اندازی محیط کاربری در SageMaker Studio
• 4. مدیریت دسترسی‌ها و امنیت داده‌ها در AWS IAM
• 5. آشنایی با سرویس Amazon EMR برای پردازش توزیع‌شده
• 6. مبانی کار با داده‌های حجیم در فرمت‌های Apache Parquet و ORC
• 7. اتصال به منابع داده‌ای در S3 و پایگاه‌های داده رابطه‌ای
• 8. وارد کردن داده‌ها به SageMaker Data Wrangler
• 9. ارزیابی اولیه کیفیت و توزیع داده‌ها
• 10. شناسایی مقادیر مفقود و روش‌های جایگزینی اصولی
• 11. شناسایی و مدیریت داده‌های پرت (Outliers)
• 12. تغییر نوع داده‌ها و استانداردسازی ستون‌ها
• 13. مهندسی ویژگی‌ها و ایجاد متغیرهای جدید
• 14. استفاده از توابع آماده برای تبدیل داده‌ها
• 15. کار با داده‌های زمانی و تقویمی در پیش‌پردازش
• 16. فیلتر کردن و نمونه‌برداری از داده‌های حجیم
• 17. تجمیع داده‌ها و عملیات گروه‌بندی
• 18. ادغام و الحاق مجموعه‌داده‌های مختلف
• 19. استفاده از تحلیل‌گرهای خودکار برای بررسی همبستگی
• 20. نرمال‌سازی و مقیاس‌بندی ویژگی‌ها برای مدل‌های یادگیری ماشین
• 21. ذخیره‌سازی جریان‌های آماده‌سازی داده (Data Flow)
• 22. خروجی گرفتن از داده‌ها برای آموزش مدل
• 23. اتصال SageMaker به کلاسترهای EMR
• 24. اجرای دستورات Spark SQL در محیط EMR
• 25. بهینه‌سازی کوئری‌های پردازشی در مقیاس بزرگ
• 26. مانیتورینگ منابع پردازشی و بهینه‌سازی هزینه‌ها
• 27. مدیریت حافظه در پردازش‌های توزیع‌شده
• 28. استفاده از کتابخانه‌های پایتون برای پردازش‌های سفارشی
• 29. پاک‌سازی داده‌های غیرساختاریافته با ابزارهای ابری
• 30. اعتبارسنجی داده‌ها در خط لوله تولید
• 31. خودکارسازی فرآیند آماده‌سازی با SageMaker Pipelines
• 32. استفاده از نسخه مدیریت‌شده در محیط‌های عملیاتی
• 33. راهکارهای ذخیره‌سازی بهینه در مخازن S3
• 34. مدیریت نسخه‌بندی داده‌ها و مدل‌ها
• 35. نظارت بر کیفیت داده‌ها در طول زمان
• 36. اصول امنیت داده‌ها در پردازش‌های ابری
• 37. حفاظت از حریم خصوصی داده‌ها در طول تحلیل
• 38. مستندسازی فرآیندهای آماده‌سازی داده
• 39. تجزیه و تحلیل خروجی‌های نهایی و گزارش‌گیری
• 40. چالش‌های مقیاس‌پذیری در مهندسی داده‌های بزرگ