فلش‌کارت‌های آموزشی اصول و روش‌های عملی پاکسازی داده‌ها برای تحلیل‌های دقیق

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره اصول و روش‌های عملی پاکسازی داده‌ها برای تحلیل‌های دقیق

موضوع کلی: فناوری اطلاعات و علوم داده

موضوع میانی: مدیریت و پاکسازی داده‌ها

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر اهمیت پاکسازی داده‌ها
• 2. شناخت انواع داده‌های کثیف
• 3. خطاهای ورودی داده‌ها
• 4. داده‌های تکراری و تکرارپذیری
• 5. داده‌های گمشده و روش‌های شناسایی
• 6. داده‌های ناسازگار و ناهماهنگ
• 7. داده‌های پرت و شناسایی آن‌ها
• 8. اثرات داده‌های کثیف بر تحلیل‌ها
• 9. اهمیت کیفیت داده در تصمیم‌گیری
• 10. مراحل کلی فرآیند پاکسازی داده
• 11. انتخاب ابزارها و تکنیک‌های مناسب
• 12. مستندسازی فرآیند پاکسازی داده
• 13. مواجهه با داده‌های متنی پیچیده
• 14. استانداردسازی قالب‌های تاریخ و زمان
• 15. مدیریت مقادیر گمشده: حذف ردیف‌ها
• 16. مدیریت مقادیر گمشده: حذف ستون‌ها
• 17. مدیریت مقادیر گمشده: درون‌یابی خطی
• 18. مدیریت مقادیر گمشده: درون‌یابی چندجمله‌ای
• 19. مدیریت مقادیر گمشده: روش‌های آماری
• 20. مدیریت مقادیر گمشده: استفاده از مدل‌های پیش‌بین
• 21. شناسایی و حذف داده‌های تکراری
• 22. استفاده از هش برای تشخیص تکراری‌ها
• 23. مدیریت تکراری‌ها با کلیدهای اصلی
• 24. استانداردسازی داده‌های متنی
• 25. پاکسازی کاراکترهای غیرضروری
• 26. تبدیل حروف بزرگ و کوچک
• 27. حذف فاصله‌های اضافی
• 28. مدیریت خطاهای املایی رایج
• 29. استفاده از دیکشنری برای اصلاح
• 30. پاکسازی داده‌های عددی
• 31. شناسایی و مدیریت مقادیر خارج از محدوده
• 32. نرمال‌سازی و مقیاس‌بندی داده‌های عددی
• 33. تبدیل انواع داده‌ها
• 34. پاکسازی داده‌های جغرافیایی
• 35. استانداردسازی آدرس‌ها
• 36. مدیریت مقادیر گمشده در داده‌های مکانی
• 37. اعتبارسنجی داده‌های مکانی
• 38. پاکسازی داده‌های تاریخ و زمان
• 39. تبدیل فرمت‌های مختلف تاریخ
• 40. مدیریت مناطق زمانی
• 41. شناسایی و اصلاح داده‌های نامعتبر
• 42. اعتبارسنجی داده‌ها بر اساس قوانین
• 43. قوانین اعتبارسنجی سفارشی
• 44. استفاده از عبارات باقاعده (Regular Expressions)
• 45. اعتبارسنجی داده‌های متنی با الگو
• 46. اعتبارسنجی داده‌های عددی با محدوده
• 47. اعتبارسنجی صحت داده‌ها با منابع خارجی
• 48. بررسی سازگاری داده‌ها بین ستون‌ها
• 49. تشخیص روابط ناسازگار
• 50. اصلاح ناسازگاری‌ها
• 51. اهمیت کیفیت داده در یادگیری ماشین
• 52. تأثیر پاکسازی بر عملکرد مدل‌ها
• 53. پیش‌پردازش داده‌ها برای مدل‌های طبقه‌بندی
• 54. پیش‌پردازش داده‌ها برای مدل‌های رگرسیون
• 55. پیش‌پردازش داده‌ها برای مدل‌های خوشه‌بندی
• 56. پاکسازی داده‌های بزرگ (Big Data)
• 57. ابزارهای متن‌باز برای پاکسازی داده
• 58. Apache Spark برای پاکسازی داده
• 59. Pandas برای پاکسازی داده در پایتون
• 60. SQL برای پاکسازی داده
• 61. ابزارهای تجاری برای پاکسازی داده
• 62. مدیریت کیفیت داده (Data Quality Management)
• 63. اهمیت پروفایل‌سازی داده
• 64. ایجاد داشبوردهای کیفیت داده
• 65. نظارت مستمر بر کیفیت داده
• 66. حکمرانی داده (Data Governance)
• 67. نقش مدیران داده
• 68. تدوین سیاست‌های کیفیت داده
• 69. استانداردهای کیفیت داده
• 70. مستندسازی منابع داده
• 71. مدیریت فراداده (Metadata Management)
• 72. استفاده از ابزارهای پروفایل‌سازی داده
• 73. شناسایی الگوهای داده
• 74. توزیع مقادیر در ستون‌ها
• 75. تعداد مقادیر منحصر به فرد
• 76. شناسایی ستون‌های با ارزش کم
• 77. تشخیص همبستگی بین ستون‌ها
• 78. پیش‌بینی مقادیر گمشده با مدل‌های ساده
• 79. استفاده از میانگین و میانه برای جایگزینی
• 80. استفاده از مد برای جایگزینی
• 81. روش‌های حذف داده‌های پرت: Z-score
• 82. روش‌های حذف داده‌های پرت: IQR
• 83. روش‌های حذف داده‌های پرت: Box Plot
• 84. روش‌های حذف داده‌های پرت: Isolation Forest
• 85. تکنیک‌های ادغام داده‌ها
• 86. مدیریت داده‌های از دست رفته در ادغام
• 87. رفع تداخل در ادغام داده‌ها
• 88. استانداردسازی داده‌های ادغام شده
• 89. اعتبارسنجی داده‌های ادغام شده
• 90. پاکسازی داده‌های حسگرها
• 91. مدیریت داده‌های نویزی (Noisy Data)
• 92. فیلتر کردن داده‌های نویزی
• 93. نرمال‌سازی داده‌های حسگر
• 94. پاکسازی داده‌های شبکه‌های اجتماعی
• 95. مدیریت داده‌های حجیم و نامنظم
• 96. استفاده از یادگیری ماشین در پاکسازی
• 97. یادگیری نیمه‌نظارتی برای پاکسازی
• 98. یادگیری تقویتی برای پاکسازی
• 99. پاکسازی داده‌های چندرسانه‌ای
• 100. فشرده‌سازی و کاهش ابعاد داده‌ها