فلش‌کارت‌های آموزشی پاکسازی داده با SQL — از صفر تا حرفه‌ای

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پاکسازی داده با SQL — از صفر تا حرفه‌ای

موضوع کلی: پایگاه‌داده و SQL

موضوع میانی: پاکسازی و آماده‌سازی داده با SQL

📋 سرفصل‌های دوره

• 1. مشکلات کیفیت داده و نیاز به پاکسازی
• 2. مرور سینتکس پایهٔ SQL برای پاکسازی
• 3. شناخت اسکیمای داده و انواع ستون‌ها
• 4. شناسایی و لیست‌کردن داده‌های تکراری
• 5. حذف داده‌های تکراری با DISTINCT و GROUP BY
• 6. مدیریت مقادیر NULL و MISSING
• 7. استانداردسازی فرمت تاریخ و زمان
• 8. پاکسازی و اصلاح رشته‌ها (String Cleaning)
• 9. تبدیل حالت متن (Upper/Lower/Proper)
• 10. حذف فاصله‌های اضافی و کاراکترهای نامرئی
• 11. جایگزینی مقادیر نامعتبر با REPLACE و REGEXP
• 12. استفاده از عبارات منظم در SQL
• 13. تدوین قوانین اعتبارسنجی داده
• 14. شناسایی داده‌های پرت (Outliers)
• 15. تشخیص anomalies با آمار در SQL
• 16. استراتژی‌های Deduplication پیشرفته
• 17. عملیات Merge، Pivot و Unpivot برای پاکسازی
• 18. استفاده از JOIN برای شناسایی ناسازگاری‌ها
• 19. استفاده از Window Functions در پاکسازی
• 20. ساختار CTE برای خط لولهٔ پاکسازی
• 21. جداول موقت برای staging داده‌ها
• 22. بهینه‌سازی عملکرد با Index حین پاکسازی
• 23. ایمنی تراکنش (Transaction) هنگام تغییر داده
• 24. پشتیبان‌گیری قبل از هر عمل پاکسازی
• 25. ثبت Log و Audit تغییرات داده
• 26. Data Profiling و شناخت اولیهٔ داده
• 27. تشخیص anomaly و الگوهای غیرعادی
• 28. اعتبارسنجی Cross-field
• 29. اصلاح یکپارچگی مرجع (Referential Integrity)
• 30. پاکسازی کلیدهای خارجی
• 31. استانداردسازی کدها و دسته‌بندی‌ها
• 32. استفاده از جداول Lookup و Mapping
• 33. نرمال‌سازی مقادیر Enum و Category
• 34. استانداردسازی متن آزاد
• 35. پاکسازی آدرس و اطلاعات مکانی
• 36. اعتبارسنجی شماره تلفن و ایمیل
• 37. پاکسازی URL و لینک‌ها
• 38. نرمال‌سازی متن و Tokenization
• 39. حذف کاراکترهای خاص و Nesting
• 40. مدیریت یونیکد و مسائل Encoding
• 41. پاکسازی هنگام Import / Export
• 42. پاکسازی فایل‌های CSV، JSON و XML با SQL
• 43. پاکسازی تدریجی (Incremental Cleaning)
• 44. زمان‌بندی کارهای پاکسازی (Scheduled Jobs)
• 45. ساخت View برای لایهٔ دادهٔ پاک
• 46. استفاده از Stored Procedure برای پاکسازی
• 47. اتوماسیون و الگوهای تکرارپذیر
• 48. تست و検عملکرد داده‌های پاک
• 49. تعریف KPI و معیارهای کیفیت داده
• 50. گزارش‌دهی کیفیت داده
• 51. مستندسازی فرآیند پاکسازی
• 52. Version Control برای اسکریپت‌های SQL
• 53. Git و SQL در عمل
• 54. بررسی موردی ۱: پاکسازی دادهٔ فروش
• 55. بررسی موردی ۲: پاکسازی دادهٔ مشتری
• 56. بررسی موردی ۳: پاکسازی دادهٔ مالی
• 57. چالش‌های رایج و راهکارهای جلوگیری
• 58. بهینه‌سازی سرعت پاکسازی روی دیتابیس بزرگ
• 59. پاکسازی داده در مقیاس بزرگ (Big Data)