فلش‌کارت‌های آموزشی مهندسی داده در AWS برای توسعه‌دهندگان یادگیری ماشین

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مهندسی داده در AWS برای توسعه‌دهندگان یادگیری ماشین

موضوع کلی: مهندسی داده و یادگیری ماشین

موضوع میانی: آماده‌سازی و تبدیل داده‌ها برای مدل‌های یادگیری ماشین

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده در AWS
• 2. مفاهیم کلیدی آماده‌سازی داده
• 3. اهمیت داده‌های تمیز در یادگیری ماشین
• 4. چرخه حیات داده در AWS
• 5. ابزارهای AWS برای آماده‌سازی داده
• 6. Amazon S3 به عنوان مخزن داده
• 7. ذخیره‌سازی و سازماندهی داده در S3
• 8. مدیریت دسترسی به داده در S3
• 9. Amazon Athena برای کوئری داده‌های S3
• 10. نوشتن کوئری‌های SQL برای تحلیل داده
• 11. استفاده از Athena برای اکتشاف داده
• 12. Amazon Glue برای ETL داده‌ها
• 13. مفاهیم ETL (Extract, Transform, Load)
• 14. ایجاد Jobهای Glue برای تبدیل داده
• 15. استفاده از Data Catalog در Glue
• 16. شناسایی داده‌ها با Glue Crawlers
• 17. تبدیل داده‌های ساختاریافته
• 18. تبدیل داده‌های نیمه‌ساختاریافته
• 19. تبدیل داده‌های بدون ساختار
• 20. پاکسازی داده‌ها: مدیریت مقادیر گمشده
• 21. روش‌های جایگزینی مقادیر گمشده
• 22. حذف ردیف‌ها یا ستون‌های با مقادیر گمشده
• 23. استانداردسازی داده‌ها
• 24. نرمال‌سازی و مقیاس‌بندی داده‌ها
• 25. تکنیک‌های مقیاس‌بندی Min-Max
• 26. تکنیک‌های مقیاس‌بندی Z-Score
• 27. کار با داده‌های متنی
• 28. پردازش اولیه متن (Tokenization)
• 29. حذف کلمات توقف (Stop Words)
• 30. ریشه‌یابی کلمات (Stemming) و لمتیزاسیون (Lemmatization)
• 31. تبدیل متن به بردارهای عددی (Vectorization)
• 32. TF-IDF برای نمایش متن
• 33. Bag-of-Words (BoW)
• 34. کار با داده‌های دسته‌ای (Categorical Data)
• 35. رمزگذاری One-Hot (One-Hot Encoding)
• 36. رمزگذاری برچسب (Label Encoding)
• 37. مدیریت داده‌های تاریخ و زمان
• 38. تبدیل فرمت‌های تاریخ و زمان
• 39. استخراج ویژگی از تاریخ و زمان
• 40. نمونه‌گیری داده‌ها (Sampling)
• 41. نمونه‌گیری تصادفی
• 42. نمونه‌گیری طبقه‌بندی شده (Stratified Sampling)
• 43. ترکیب و ادغام داده‌ها (Joining and Merging)
• 44. ادغام داده‌ها از منابع مختلف
• 45. استفاده از کلیدهای مشترک برای ادغام
• 46. مهندسی ویژگی (Feature Engineering)
• 47. ایجاد ویژگی‌های جدید از ویژگی‌های موجود
• 48. اهمیت ویژگی‌های مهندسی شده
• 49. انتخاب ویژگی (Feature Selection)
• 50. روش‌های مبتنی بر فیلتر
• 51. روش‌های مبتنی بر Wrapper
• 52. روش‌های مبتنی بر Embedded
• 53. کاهش ابعاد (Dimensionality Reduction)
• 54. تجزیه مولفه‌های اصلی (PCA)
• 55. کاربرد PCA در یادگیری ماشین
• 56. Amazon SageMaker برای آماده‌سازی داده
• 57. محیط‌های نوت‌بوک در SageMaker
• 58. استفاده از SageMaker Processing Jobs
• 59. آماده‌سازی داده برای مدل‌های رگرسیون
• 60. آماده‌سازی داده برای مدل‌های طبقه‌بندی
• 61. آماده‌سازی داده برای مدل‌های خوشه‌بندی
• 62. مدیریت و ذخیره‌سازی داده‌های تبدیل شده
• 63. استفاده از S3 برای داده‌های پردازش شده
• 64. نکات امنیتی در مدیریت داده
• 65. ملاحظات حریم خصوصی داده‌ها
• 66. استانداردهای داده در سازمان
• 67. مستندسازی فرآیندهای آماده‌سازی داده
• 68. پیاده‌سازی بهترین شیوه‌ها
• 69. تست و اعتبارسنجی داده‌های آماده شده
• 70. اشکال‌زدایی در فرآیندهای ETL
• 71. بهینه‌سازی عملکرد فرآیندهای داده
• 72. مقیاس‌پذیری در آماده‌سازی داده
• 73. استفاده از AWS Lake Formation
• 74. مدیریت متمرکز دسترسی به داده
• 75. امنیت داده در سطح ستون و سطر
• 76. انطباق با قوانین و مقررات داده
• 77. حفاظت از داده‌های حساس
• 78. استفاده از ابزارهای تحلیل داده در AWS
• 79. Amazon QuickSight برای بصری‌سازی داده
• 80. مقدمه‌ای بر مدل‌سازی داده
• 81. طراحی مدل داده برای یادگیری ماشین
• 82. انواع مدل‌های داده
• 83. مفاهیم پایگاه داده رابطه‌ای
• 84. مفاهیم پایگاه داده NoSQL
• 85. انتخاب پایگاه داده مناسب
• 86. Amazon RDS برای پایگاه داده‌های رابطه‌ای
• 87. Amazon DynamoDB برای پایگاه داده‌های NoSQL
• 88. مقدمه‌ای بر یادگیری ماشین
• 89. انواع الگوریتم‌های یادگیری ماشین
• 90. نظارت بر عملکرد مدل‌ها
• 91. مقدمه‌ای بر MLOps
• 92. اهمیت داده در MLOps
• 93. چرخه عمر مدل یادگیری ماشین
• 94. انتقال دانش به نسل‌های آینده
• 95. روش‌های پیشرفته تبدیل داده
• 96. کاربرد یادگیری عمیق در آماده‌سازی داده
• 97. تکنیک‌های پیچیده مهندسی ویژگی
• 98. ملاحظات اخلاقی در داده‌ها
• 99. جمع‌بندی و گام‌های بعدی