فلش‌کارت‌های آموزشی پاکسازی داده‌ها به روش اعلامی برای ماشین‌یادگیری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پاکسازی داده‌ها به روش اعلامی برای ماشین‌یادگیری

موضوع کلی: پاکسازی داده‌ها

موضوع میانی: پاکسازی اعلامی داده‌ها

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پاکسازی اعلامی داده‌ها برای ماشین‌یادگیری
• 2. اهمیت استفاده از رویکرد اعلامی در پاکسازی داده‌ها
• 3. درک کیفیت داده‌ها و الگوهای رایج داده‌های نادرست
• 4. آماده‌سازی محیط Python برای پاکسازی اعلامی داده‌ها
• 5. بارگذاری و بررسی اولیه داده‌ها
• 6. بررسی اشکال داده‌ها و آمار توصیفی پایه‌ای
• 7. مدیریت مقادیر گمشده با قواعد اعلامی
• 8. Trimming و نرمال‌سازی فیلدهای متنی
• 9. استانداردسازی قالب‌بندی تاریخ و زمان
• 10. شناسایی و حذف رکوردهای تکراری
• 11. شناسایی و مدیریت خروج‌نمای خارج از حد با روش اعلامی
• 12. اعتبارسنجی داده‌ها با استفاده از قواعد اعلامی
• 13. عملیات پاکسازی پایه‌ای با استفاده از Pandas
• 14. استفاده از عبارات منظم برای جایگزینی الگوها
• 15. پاکسازی داده‌های دسته‌ای: کدگذاری و باینینگ
• 16. مدیریت کلاس‌های نامتوازن
• 17. ساخت پایپ‌لاین‌های اعلامی پاکسازی
• 18. معرفی Great Expectations
• 19. نوشتن مجموعه‌های انتظاری
• 20. اعتبارسنجی داده‌ها با استفاده از Great Expectations
• 21. ادغام Great Expectations در پایپ‌لاین‌های ماشین‌یادگیری
• 22. پاکسازی سریع داده‌ها با استفاده از Polars
• 23. تبدیل اعلامی نوع داده‌ها و جبران‌سازی
• 24. پردازش داده‌های حجیم با استفاده از chunking
• 25. نسخه‌بندی داده‌های پاکسازی‌شده با استفاده از DVC
• 26. اتوماسیون پایپ‌لاین‌های داده با استفاده از DVC
• 27. نوشتن اسکریپت‌های اتوماتیک پاکسازی
• 28. آزمایش و اعتبارسنجی منطق پاکسازی
• 29. اشکال‌زدایی از مشکلات رایج در پاکسازی
• 30. بهترین روش‌ها برای پاکسازی اعلامی
• 31. مستندسازی مراحل پاکسازی و افزودن یادداشت‌ها
• 32. نظارت بر کیفیت داده‌ها در طول زمان
• 33. ادغام قواعد کسب‌وکار در پاکسازی
• 34. مدیریت داده‌های تو در تو و نیمه‌ساختاریافته
• 35. پاکسازی فایل‌های JSON و YAML
• 36. کار با فرمت‌های مختلف فایل‌های صفحه‌گسترده
• 37. حل مشکلات کدگذاری و مجموعه کاراکترها
• 38. حذف اطلاعات حساس (ناشخص‌سازی)
• 39. تضمین بازتولیدپذیری با استفاده از دفترچه‌های یادداشت
• 40. مقیاس‌بندی پاکسازی اعلامی برای تولید
• 41. تکنیک‌های بهینه‌سازی عملکرد
• 42. پردازش موازی وظایف پاکسازی
• 43. استفاده از سرویس‌های ابری برای پاکسازی داده‌های حجیم
• 44. ادغام پاکسازی در پایپ‌لاین‌های CI/CD
• 45. ارزیابی تأثیر پاکسازی بر عملکرد مدل
• 46. مطالعه مورد: پاکسازی یک مجموعه داده واقعی برای ماشین‌یادگیری
• 47. مطالعه مورد: اعتبارسنجی اتوماتیک در داده‌های مالی
• 48. مطالعه مورد: پاکسازی اعلامی برای داده‌های اینترنت اشیا
• 49. انواع پیشرفته انتظارات و اعتبارسنج‌های سفارشی
• 50. توسعه اعتبارسنج‌های سفارشی
• 51. استفاده از DVC برای ردیابی آثار داده‌ها
• 52. ویزوالیزاسیون متریال‌های کیفیت داده‌ها
• 53. گزارش‌دهی از مشکلات کیفیت داده‌ها
• 54. تنظیم هشدارها برای کاهش کیفیت داده‌ها
• 55. حاکمیت و انطباق در پاکسازی داده‌ها
• 56. در نظر گرفتن جنبه‌های حقوقی و اخلاقی
• 57. روندهای آینده در پاکسازی اعلامی داده‌ها
• 58. ابزارها و کتابخانه‌های نوظهور
• 59. ساخت پرتفولیوی پاکسازی داده‌ها
• 60. مراحل بعدی و یادگیری مداوم