فلش‌کارت‌های آموزشی جامع پاک‌سازی و آماده‌سازی داده‌ها با Apache Spark و پایتون (PySpark)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره جامع پاک‌سازی و آماده‌سازی داده‌ها با Apache Spark و پایتون (PySpark)

موضوع کلی: علوم داده و تحلیل کلان‌داده (Big Data)

موضوع میانی: پردازش و پاک‌سازی داده‌های حجیم با ابزارهای توزیع‌شده

📋 سرفصل‌های دوره

• 1. مبانی پردازش توزیع‌شده و معماری Apache Spark
• 2. نصب و راه‌اندازی محیط توسعه PySpark
• 3. آشنایی با ساختار داده‌ای RDD و عملیات‌های پایه
• 4. مفاهیم DataFrame و Dataset در PySpark
• 5. مقایسه پردازش محلی با پردازش توزیع‌شده داده‌ها
• 6. بارگذاری داده‌ها از فرمت‌های CSV و JSON در محیط توزیع‌شده
• 7. بررسی اولیه کیفیت داده‌ها و شناسایی مقادیر مفقود
• 8. استفاده از توابع کتابخانه‌ای برای پیمایش داده‌ها
• 9. تکنیک‌های مدیریت مقادیر تهی و جایگزینی هوشمند
• 10. شناسایی و حذف داده‌های تکراری در مقیاس کلان
• 11. اصلاح ساختار ستون‌ها و تغییر نام‌های غیر استاندارد
• 12. تغییر نوع داده‌ها در ستون‌های DataFrame
• 13. استفاده از توابع رشته‌ای برای پاک‌سازی متون
• 14. مدیریت تاریخ و زمان در داده‌های حجیم
• 15. فیلتر کردن داده‌ها بر اساس شرایط منطقی
• 16. کار با توابع شرطی برای اصلاح داده‌های ناهنجار
• 17. استفاده از Window Functions برای تحلیل‌های گروهی
• 18. کاربرد توابع تجمعی در آماده‌سازی داده‌ها
• 19. ادغام و الحاق مجموعه‌داده‌های مختلف با Joins
• 20. مدیریت تداخل در نام‌گذاری ستون‌ها هنگام ادغام
• 21. تشخیص و حذف داده‌های پرت (Outliers) با روش‌های آماری
• 22. کار با داده‌های سلسله‌مراتبی و تو در تو
• 23. تکنیک‌های بهینه‌سازی عملکرد در پاک‌سازی داده‌ها
• 24. استفاده از کش (Caching) برای افزایش سرعت پردازش
• 25. مدیریت حافظه در خوشه‌های پردازشی
• 26. بررسی طرح اجرایی (Execution Plan) و عیب‌یابی
• 27. استفاده از UDF یا توابع تعریف‌شده توسط کاربر
• 28. محدودیت‌ها و چالش‌های اجرای توابع غیربومی
• 29. کار با داده‌های متنی و استخراج ویژگی‌های متنی
• 30. آماده‌سازی داده‌های دسته‌بندی‌شده و کدگذاری (Encoding)
• 31. نرمال‌سازی و مقیاس‌بندی ویژگی‌های عددی
• 32. تجمیع داده‌های زمانی برای تحلیل‌های روند
• 33. ذخیره‌سازی خروجی‌های پاک‌سازی شده در فرمت‌های بهینه
• 34. استفاده از فرمت Parquet برای ذخیره‌سازی کارآمد
• 35. مدیریت پارتیشن‌بندی داده‌ها برای افزایش سرعت خواندن
• 36. تکنیک‌های نمونه‌برداری از داده‌های حجیم برای اعتبارسنجی
• 37. بررسی صحت داده‌ها پس از فرآیند پاک‌سازی
• 38. طراحی خط لوله (Pipeline) خودکار برای آماده‌سازی داده‌ها
• 39. مستندسازی مراحل پاک‌سازی و آماده‌سازی داده‌ها
• 40. اخلاق حرفه‌ای و امنیت در مدیریت داده‌های سازمانی
• 41. رعایت حریم خصوصی در تحلیل داده‌های کلان
• 42. ارائه گزارش نهایی از وضعیت کیفی داده‌ها
• 43. پروژه نهایی: پاک‌سازی یک مجموعه داده واقعی با PySpark