فلش‌کارت‌های آموزشی پیش‌پردازش و آماده‌سازی داده‌ها برای تحلیل و اکتشاف

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پیش‌پردازش و آماده‌سازی داده‌ها برای تحلیل و اکتشاف

موضوع کلی: علم داده و تحلیل آماری

موضوع میانی: آماده‌سازی و پاکسازی داده‌ها

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر علم داده و اهمیت آماده‌سازی داده‌ها
• 2. مراحل کلی آماده‌سازی داده‌ها
• 3. شناخت انواع داده‌ها و ساختارهای آن‌ها
• 4. اهمیت کیفیت داده‌ها در تحلیل آماری
• 5. انواع مشکلات کیفی داده‌ها
• 6. شناسایی و مدیریت داده‌های گمشده
• 7. استراتژی‌های جایگزینی داده‌های گمشده
• 8. روش‌های مختلف جایگزینی داده‌های گمشده (میانگین، میانه، مد)
• 9. جایگزینی داده‌های گمشده با مدل‌های آماری
• 10. شناسایی و مدیریت داده‌های پرت (Outliers)
• 11. روش‌های تشخیص داده‌های پرت
• 12. تکنیک‌های حذف داده‌های پرت
• 13. روش‌های تبدیل داده‌های پرت
• 14. استانداردسازی و نرمال‌سازی داده‌ها
• 15. اهمیت استانداردسازی در الگوریتم‌های یادگیری ماشین
• 16. روش‌های استانداردسازی (Z-score)
• 17. روش‌های نرمال‌سازی (Min-Max Scaling)
• 18. مقایسه روش‌های استانداردسازی و نرمال‌سازی
• 19. شناسایی و مدیریت داده‌های تکراری
• 20. روش‌های حذف داده‌های تکراری
• 21. بررسی ناسازگاری‌های داده‌ای
• 22. استانداردسازی فرمت داده‌ها (تاریخ، اعداد)
• 23. پاکسازی داده‌های متنی
• 24. حذف کاراکترهای اضافی و نویز در داده‌های متنی
• 25. تبدیل متن به حروف کوچک یا بزرگ
• 26. حذف کلمات توقف (Stop Words)
• 27. ریشه‌یابی کلمات (Stemming and Lemmatization)
• 28. کاربرد تکنیک‌های پردازش زبان طبیعی در پاکسازی داده
• 29. انتقال داده‌ها از فرمت‌های مختلف
• 30. تبدیل فرمت‌های جدولی (CSV, Excel)
• 31. کار با پایگاه‌های داده رابطه‌ای (SQL)
• 32. استخراج داده از APIها
• 33. مدیریت داده‌های حجیم (Big Data)
• 34. مقدمه‌ای بر ابزارهای مدیریت داده‌های حجیم
• 35. کار با فرمت‌های داده‌ای بهینه (Parquet, ORC)
• 36. فیلتر کردن و نمونه‌برداری از داده‌های حجیم
• 37. ادغام و ترکیب مجموعه داده‌ها
• 38. قوانین ادغام داده‌ها
• 39. استفاده از کلیدهای مشترک برای ادغام
• 40. روش‌های مختلف ادغام (Inner, Outer, Left, Right Join)
• 41. مدیریت ناسازگاری در فرآیند ادغام
• 42. اعتبارسنجی داده‌های آماده‌شده
• 43. اهمیت اعتبارسنجی کیفیت داده‌ها
• 44. روش‌های اعتبارسنجی داده‌ها
• 45. استفاده از قوانین کسب‌وکار برای اعتبارسنجی
• 46. مستندسازی فرآیند آماده‌سازی داده‌ها
• 47. اهمیت مستندسازی برای تکرارپذیری
• 48. نکات کلیدی در مستندسازی
• 49. ابزارهای مستندسازی
• 50. مقدمه‌ای بر تحلیل اکتشافی داده‌ها (EDA)
• 51. اهمیت EDA در درک داده‌ها
• 52. تکنیک‌های بصری‌سازی داده‌ها برای EDA
• 53. نمودارهای هیستوگرام و چگالی
• 54. نمودارهای جعبه‌ای (Box Plots)
• 55. نمودارهای پراکندگی (Scatter Plots)
• 56. نمودارهای خطی (Line Plots)
• 57. نمودارهای میله‌ای (Bar Charts)
• 58. تحلیل همبستگی بین متغیرها
• 59. ماتریس همبستگی
• 60. تفسیر ماتریس همبستگی
• 61. شناسایی الگوها و روندها در داده‌ها
• 62. کاهش ابعاد داده‌ها
• 63. مقدمه‌ای بر تکنیک‌های کاهش ابعاد
• 64. تحلیل مؤلفه‌های اصلی (PCA)
• 65. کاربرد PCA در کاهش ابعاد
• 66. انتخاب ویژگی (Feature Selection)
• 67. روش‌های مبتنی بر فیلتر
• 68. روش‌های مبتنی بر Wrapper
• 69. روش‌های مبتنی بر Embedded
• 70. اهمیت انتخاب ویژگی در مدل‌سازی
• 71. مهندسی ویژگی (Feature Engineering)
• 72. ایجاد ویژگی‌های جدید از ویژگی‌های موجود
• 73. تبدیل ویژگی‌های دسته‌ای به عددی
• 74. استفاده از تکنیک‌های ترکیبی برای مهندسی ویژگی
• 75. آماده‌سازی داده‌ها برای الگوریتم‌های خاص
• 76. آماده‌سازی داده‌ها برای مدل‌های رگرسیون
• 77. آماده‌سازی داده‌ها برای مدل‌های طبقه‌بندی
• 78. آماده‌سازی داده‌ها برای مدل‌های خوشه‌بندی
• 79. آماده‌سازی داده‌ها برای شبکه‌های عصبی
• 80. ارزیابی کیفیت داده‌های نهایی
• 81. معیارهای ارزیابی کیفیت داده‌ها
• 82. نکات پایانی در آماده‌سازی داده‌ها
• 83. مسائل اخلاقی در آماده‌سازی و تحلیل داده‌ها
• 84. حفظ حریم خصوصی داده‌ها
• 85. مدیریت سوگیری در داده‌ها
• 86. اهمیت شفافیت در فرآیند آماده‌سازی داده‌ها
• 87. نگاهی به آینده در آماده‌سازی داده‌ها