فلش‌کارت‌های آموزشی کارگاه جامع پاکسازی و پیش‌پردازش داده‌های حجیم با استفاده از PySpark

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کارگاه جامع پاکسازی و پیش‌پردازش داده‌های حجیم با استفاده از PySpark

موضوع کلی: علوم داده و تحلیل هوشمند اطلاعات

موضوع میانی: پردازش کلان‌داده‌ها با ابزارهای توزیع‌شده

📋 سرفصل‌های دوره

• 1. مبانی و معماری پردازش توزیع‌شده در Apache Spark
• 2. نصب و راه‌اندازی محیط توسعه PySpark و پیکربندی کلاستر
• 3. آشنایی با ساختار RDD و مفاهیم تغییرناپذیری در داده‌ها
• 4. کار با DataFrameها به عنوان واحد اصلی پردازش داده‌های ساختاریافته
• 5. اتصال به منابع داده‌ای مختلف از جمله فایل‌های CSV و JSON
• 6. بررسی کیفیت داده‌ها و شناسایی مقادیر مفقود یا نامعتبر
• 7. استفاده از توابع کتابخانه SQL برای فیلتر و انتخاب داده‌ها
• 8. تکنیک‌های مدیریت مقادیر تهی و جایگزینی داده‌های گمشده
• 9. پاکسازی رشته‌های متنی با استفاده از توابع پردازش متن در PySpark
• 10. حذف داده‌های تکراری و یکسان‌سازی ردیف‌های مشابه
• 11. تغییر نوع داده‌ها و اطمینان از صحت فرمت ستون‌ها
• 12. شناسایی و مدیریت داده‌های پرت (Outliers) در مجموعه‌های حجیم
• 13. استفاده از ابزارهای آماری برای تحلیل توزیع داده‌ها
• 14. کار با تاریخ و زمان و استانداردسازی فرمت‌های زمانی
• 15. اعتبارسنجی داده‌ها بر اساس قوانین کسب‌وکار و منطق برنامه
• 16. مدیریت ستون‌های پیچیده شامل آرایه‌ها و ساختارهای تو در تو
• 17. تکنیک‌های بهینه‌سازی کوئری‌ها برای افزایش سرعت پردازش
• 18. استفاده از UDFها برای پیاده‌سازی منطق‌های سفارشی پاکسازی
• 19. تجمیع و گروه‌بندی داده‌ها برای شناسایی ناهنجاری‌ها در مقیاس کلان
• 20. کار با پنجره‌های زمانی و توابع Window برای تحلیل‌های ترتیبی
• 21. ادغام و اتصال مجموعه‌داده‌های توزیع‌شده با استفاده از Joinها
• 22. مدیریت حافظه و جلوگیری از خطای کمبود حافظه در پردازش‌های سنگین
• 23. مانیتورینگ و عیب‌یابی فرآیندهای Spark با استفاده از Spark UI
• 24. ذخیره‌سازی نتایج نهایی در قالب‌های بهینه مانند Parquet
• 25. طراحی خط لوله (Pipeline) خودکار برای پاکسازی مستمر داده‌ها
• 26. امنیت داده‌ها و رعایت اصول دسترسی در بسترهای توزیع‌شده
• 27. مستندسازی مراحل پاکسازی و گزارش‌گیری از وضعیت سلامت داده‌ها