فلش‌کارت‌های آموزشی آماده‌سازی و پاکسازی داده‌ها برای تحلیل آماری و مدل‌سازی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره آماده‌سازی و پاکسازی داده‌ها برای تحلیل آماری و مدل‌سازی

موضوع کلی: علوم کامپیوتر و مهندسی نرم‌افزار

موضوع میانی: پردازش و تحلیل داده‌ها

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر علوم داده و اهمیت آماده‌سازی داده
• 2. مراحل کلی پردازش و پاکسازی داده‌ها
• 3. شناخت و درک مجموعه داده‌ها
• 4. انواع داده‌ها و ساختارهای داده‌ای
• 5. کار با داده‌های ساختاریافته و غیرساختاریافته
• 6. شناسایی و مدیریت مقادیر گمشده (Missing Values)
• 7. روش‌های جایگزینی مقادیر گمشده
• 8. کار با داده‌های پرت (Outliers)
• 9. شناسایی و مدیریت داده‌های پرت
• 10. روش‌های حذف یا تبدیل داده‌های پرت
• 11. استانداردسازی و نرمال‌سازی داده‌ها
• 12. تکنیک‌های مقیاس‌بندی داده‌ها
• 13. اهمیت تبدیل ویژگی‌ها (Feature Engineering)
• 14. ایجاد ویژگی‌های جدید از داده‌های موجود
• 15. کدگذاری متغیرهای دسته‌ای (Categorical Variables)
• 16. روش‌های One-Hot Encoding
• 17. روش‌های Label Encoding
• 18. کار با داده‌های متنی
• 19. پیش‌پردازش متن: حذف علائم نگارشی و اعداد
• 20. توکن‌سازی و نرمال‌سازی متن
• 21. حذف کلمات توقف (Stop Words)
• 22. ریشه‌یابی کلمات (Stemming) و لماتیزاسیون (Lemmatization)
• 23. تبدیل متن به نمایش عددی
• 24. روش‌های TF-IDF
• 25. کار با داده‌های تاریخ و زمان
• 26. استخراج اطلاعات مفید از تاریخ و زمان
• 27. تبدیل فرمت‌های مختلف تاریخ و زمان
• 28. کار با داده‌های مکانی
• 29. کار با داده‌های تصویری (مقدماتی)
• 30. فشرده‌سازی و کاهش ابعاد داده‌ها
• 31. روش‌های کاهش ابعاد: PCA
• 32. روش‌های کاهش ابعاد: t-SNE
• 33. شناسایی و مدیریت داده‌های تکراری (Duplicates)
• 34. پاکسازی و استانداردسازی مقادیر متنی مشابه
• 35. مدیریت داده‌های با فرمت‌های ناسازگار
• 36. یکپارچه‌سازی منابع داده‌های مختلف
• 37. تکنیک‌های ادغام داده‌ها (Data Merging)
• 38. نحوه join کردن جداول داده
• 39. کار با داده‌های حجیم (Big Data) - مقدماتی
• 40. مفاهیم اولیه داده‌کاوی (Data Mining)
• 41. اهمیت پاکسازی داده در مدل‌سازی آماری
• 42. پاکسازی داده برای یادگیری ماشین
• 43. آماده‌سازی داده برای الگوریتم‌های رگرسیون
• 44. آماده‌سازی داده برای الگوریتم‌های طبقه‌بندی
• 45. آماده‌سازی داده برای خوشه‌بندی
• 46. آماده‌سازی داده برای تحلیل سری‌های زمانی
• 47. آشنایی با کتابخانه‌های آماده‌سازی داده در پایتون
• 48. کار با کتابخانه Pandas
• 49. عملیات پایه Pandas: خواندن و نوشتن داده
• 50. عملیات پایه Pandas: انتخاب و فیلتر کردن داده
• 51. عملیات پایه Pandas: دستکاری ستون‌ها
• 52. عملیات پایه Pandas: گروه‌بندی و تجمیع داده
• 53. کار با کتابخانه NumPy
• 54. عملیات پایه NumPy: آرایه‌ها و عملیات ریاضی
• 55. کار با کتابخانه Scikit-learn برای پیش‌پردازش
• 56. ماژول Preprocessing در Scikit-learn
• 57. استفاده از Imputer برای مقادیر گمشده
• 58. استفاده از Scalerها برای استانداردسازی
• 59. استفاده از Encoderها برای متغیرهای دسته‌ای
• 60. کار با کتابخانه NLTK برای پردازش متن
• 61. کار با کتابخانه SpaCy برای پردازش متن
• 62. مثال‌های عملی پاکسازی داده‌های واقعی
• 63. پاکسازی داده‌های مشتریان
• 64. پاکسازی داده‌های فروش
• 65. پاکسازی داده‌های سنسورها
• 66. پاکسازی داده‌های مالی (با رعایت چارچوب بانکی)
• 67. پاکسازی داده‌های پزشکی (با رعایت پروتکل‌های وزارت بهداشت)
• 68. پاکسازی داده‌های شبکه‌های اجتماعی (با احتیاط)
• 69. ارزیابی کیفیت داده‌های پاکسازی شده
• 70. معیارهای سنجش کیفیت داده
• 71. مستندسازی فرآیند پاکسازی داده
• 72. نکات و ترفندهای پیشرفته در پاکسازی داده
• 73. اشتباهات رایج در پاکسازی داده و راه‌های اجتناب از آن‌ها
• 74. اهمیت بازبینی و اعتبارسنجی داده‌ها
• 75. روش‌های خودکارسازی فرآیندهای پاکسازی داده
• 76. اصول اخلاقی در کار با داده‌ها
• 77. حفظ حریم خصوصی داده‌ها
• 78. امنیت داده‌ها در فرآیند پاکسازی
• 79. مقدمه‌ای بر تحلیل اکتشافی داده (EDA)
• 80. نقش EDA در فرآیند آماده‌سازی داده
• 81. مصورسازی داده‌ها برای درک بهتر
• 82. مصورسازی داده‌های گمشده و پرت
• 83. مصورسازی توزیع متغیرها
• 84. مصورسازی روابط بین متغیرها
• 85. مصورسازی داده‌های دسته‌ای
• 86. مصورسازی داده‌های متنی
• 87. مصورسازی داده‌های مکانی (مقدماتی)
• 88. استفاده از ابزارهای مصورسازی تعاملی (مقدماتی)
• 89. مبانی تحلیل آماری برای آماده‌سازی داده
• 90. آمار توصیفی و کاربرد آن
• 91. آمار استنباطی و کاربرد آن
• 92. مقدمه‌ای بر مدل‌سازی آماری
• 93. نحوه انتخاب مدل مناسب بر اساس داده‌ها
• 94. ارزیابی مدل‌های آماری
• 95. مقدمه‌ای بر یادگیری ماشین نظارت شده
• 96. مقدمه‌ای بر یادگیری ماشین بدون نظارت
• 97. اصول کار با داده‌های نامتوازن (Imbalanced Data)
• 98. روش‌های نمونه‌گیری برای داده‌های نامتوازن
• 99. تکنیک‌های افزایش داده (Data Augmentation)
• 100. مقدمه‌ای بر مهندسی ویژگی عمیق (Deep Feature Engineering)