فلش‌کارت‌های آموزشی جامع مهندسی داده‌ها: پاک‌سازی، استانداردسازی و آماده‌سازی داده‌ها با پایتون و پانداز (Pandas)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره جامع مهندسی داده‌ها: پاک‌سازی، استانداردسازی و آماده‌سازی داده‌ها با پایتون و پانداز (Pandas)

موضوع کلی: علوم داده و تحلیل هوشمند اطلاعات

موضوع میانی: پیش‌پردازش و آماده‌سازی داده‌ها با پایتون

📋 سرفصل‌های دوره (100 موضوع)

• 1. مبانی تحلیل داده و نقش پیش‌پردازش در پروژه‌های هوشمند
• 2. آشنایی با محیط برنامه‌نویسی پایتون برای تحلیل داده
• 3. نصب و راه‌اندازی کتابخانه‌های پانداز و نامپای
• 4. ساختار داده‌ها در پانداز: سری‌ها و دیتافریم‌ها
• 5. روش‌های بارگذاری داده از منابع مختلف
• 6. بررسی اولیه کیفیت داده‌ها و شناسایی ناهنجاری‌ها
• 7. تکنیک‌های مشاهده سریع داده‌ها با متدهای آماری
• 8. مدیریت مقادیر مفقود: شناسایی جای خالی در دیتاست
• 9. راهکارهای حذف داده‌های ناقص و نادقیق
• 10. جایگزینی هوشمند مقادیر مفقود با استفاده از میانگین و میانه
• 11. استفاده از الگوریتم‌های درون‌یابی برای پر کردن داده‌های خالی
• 12. شناسایی داده‌های پرت با استفاده از نمودارهای جعبه‌ای
• 13. تکنیک‌های آماری برای حذف یا اصلاح داده‌های پرت
• 14. استانداردسازی داده‌ها برای مقیاس‌بندی یکسان
• 15. نرمال‌سازی داده‌ها با روش حداقل-حداکثر
• 16. تغییر مقیاس داده‌ها به توزیع نرمال
• 17. تبدیل متغیرهای طبقه‌بندی به داده‌های عددی
• 18. روش کدگذاری برچسب برای داده‌های متنی
• 19. استفاده از کدگذاری وان-هات برای متغیرهای اسمی
• 20. مدیریت تاریخ و زمان در دیتافریم‌ها
• 21. استخراج ویژگی‌های زمانی از ستون‌های تاریخ
• 22. تکنیک‌های دسته‌بندی داده‌های عددی به بازه‌های مشخص
• 23. تبدیل داده‌های پیوسته به متغیرهای گسسته
• 24. ادغام چندین دیتافریم با استفاده از متدهای الحاق
• 25. ترکیب داده‌ها با استفاده از کلیدهای مشترک
• 26. تغییر ساختار دیتافریم‌ها: چرخش و بازآرایی
• 27. گروه‌بندی داده‌ها و اجرای توابع تجمعی
• 28. فیلتر کردن داده‌ها بر اساس شرایط منطقی
• 29. مدیریت داده‌های تکراری و حذف رکوردهای اضافه
• 30. اصلاح نام ستون‌ها و استانداردسازی عناوین
• 31. تغییر نوع داده ستون‌ها برای بهینه‌سازی حافظه
• 32. کار با داده‌های متنی در پانداز و پاک‌سازی رشته‌ها
• 33. استخراج الگوهای متنی با استفاده از عبارات منظم
• 34. اعتبارسنجی داده‌ها بر اساس قوانین کسب‌وکارهای ایرانی
• 35. بررسی سازگاری داده‌ها با استانداردهای داخلی
• 36. ذخیره‌سازی داده‌های پاک‌سازی شده در قالب‌های استاندارد
• 37. مستندسازی مراحل پیش‌پردازش برای تیم‌های تحلیل داده
• 38. بهینه‌سازی کدهای پایتون برای پردازش داده‌های حجیم
• 39. استفاده از بردارسازی برای افزایش سرعت عملیات
• 40. مدیریت خطاها در خط لوله آماده‌سازی داده‌ها
• 41. طراحی یک خط لوله کامل برای آماده‌سازی داده‌های واقعی