فلش‌کارت‌های آموزشی تشخیص و حذف داده‌های پرت در داده‌های دسته‌بندی شده

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تشخیص و حذف داده‌های پرت در داده‌های دسته‌بندی شده

موضوع کلی: تحلیل داده‌های دسته‌بندی شده و سوگیری انتخاب نمونه

موضوع میانی: پیش‌پردازش داده‌های دسته‌بندی شده

📋 سرفصل‌های دوره

• 1. مفاهیم پایه داده‌های دسته‌بندی شده
• 2. انواع داده‌های قطعی و ترتیبی
• 3. تعریف و اهمیت داده‌های پرت در متغیرهای قطعی
• 4. تفاوت پرت‌های عددی و قطعی
• 5. اثرات پرت‌ها بر مدل‌سازی و استنتاج
• 6. مراحل پیش‌پردازش داده‌های دسته‌بندی شده
• 7. کدگذاری متغیرهای قطعی (One‑Hot، Label، Target Encoding)
• 8. بررسی کیفیت داده‌ها و شناسایی مقادیر گمشده
• 9. آمار توصیفی برای متغیرهای قطعی (توزیع فراوانی، انتروپی)
• 10. نمایش گرافیکی توزیع دسته‌ها (بارچارت، موزاییک، سانکی)
• 11. مبانی آماری تشخیص پرت در داده‌های قطعی
• 12. استفاده از تست کای‑دو برای شناسایی دسته‌های نادر
• 13. اندازه‌گیری انتروپی و اینفورمیشن گین برای کشف ناهنجاری
• 14. روش‌های مبتنی بر فاصله (Hamming، Jaccard) در فضاهای قطعی
• 15. الگوریتم Isolation Forest تطبیق‌یافته برای متغیرهای قطعی
• 16. Local Outlier Factor (LOF) با متریک‌های قطعی
• 17. DBSCAT: خوشه‌بندی مبتنی بر چگالی برای داده‌های قطعی
• 18. کشف پرت با استفاده از مدل‌های احتمالاتی (Naïve Bayes، Bayesian Networks)
• 19. استفاده از یادگیری عمیق (Autoencoder) برای داده‌های One‑Hot
• 20. ارزیابی معیارهای تشخیص پرت (Precision، Recall، F1، AUC)
• 21. مقایسه روش‌های آماری، فاصله‌محور و مدل‌محور
• 22. استراتژی‌های حذف پرت (حذف ردیف، جایگزینی، ترکیب دسته‌ها)
• 23. استراتژی‌های اصلاح پرت (پایش، بازکدگذاری، سموتینگ)
• 24. تأثیر حذف پرت بر توزیع کلاس‌ها و توازن داده‌ها
• 25. مدیریت دسته‌های نادر و کم‑نمونه
• 26. تکنیک‌های SMOTE و 변형‌های قطعی (SMOTE‑N، SMOTE‑NC)
• 27. استفاده از ویژگی‌_engineering برای کاهش حساسیت به پرت
• 28. پایپ‌لاین خودکار پیش‌پردازش و تشخیص پرت در scikit‑learn
• 29. پیاده‌سازی در Python: pandas، category_encoders، pyod
• 30. پیاده‌سازی در R: data.table، caret، outliers
• 31. اعتبارسنجی متقاطع با وجود پرت‌ها
• 32. بررسی حساسیت مدل‌های طبقه‌بندی (Logistic، Random Forest، XGBoost) به پرت
• 33. مطالعه موردی: تشخیص تقلب در تراکنش‌های قطعی
• 34. مطالعه موردی: شناسایی ناهنجاری در داده‌های نظرسنجی
• 35. مطالعه موردی: پاک‌سازی داده‌های پزشکی کد شده
• 36. بهینه‌سازی پارامترها برای الگوریتم‌های تشخیص پرت
• 37. استفاده از ویژگی‌های متنی به عنوان داده‌های قطعی (Bag‑of‑Words)
• 38. تشخیص پرت در داده‌های چندمتغیره قطعی (Multi‑label)
• 39. ادغام تشخیص پرت با انتخاب ویژگی (Feature Selection)
• 40. مدیریت پرت در خط لوله‌های MLOps
• 41. نظارت بر درفت داده‌ها و پرت‌های جدید در تولید
• 42. بهترین شیوه‌های مستندسازی و گزارش‌دهی
• 43. چالش‌های مقیاس‌پذیری و حافظه در داده‌های بزرگ قطعی
• 44. ابزارهای بصری برای بازبینی پرت‌ها (Tableau، Power BI)
• 45. آموزش عملی: ساخت نوت‌بوک کامل از داده خام تا مدل پایدار
• 46. بررسی اخلاقی و قانونی در حذف داده‌ها
• 47. روندهای جدید تحقیق: یادگیری خود‌نظارت برای обнаружение ناهنجاری قطعی