فلش‌کارت‌های آموزشی آموزش کاربردی تحلیل داده‌های بزرگ با Spark SQL در محیط پایتون (PySpark)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره آموزش کاربردی تحلیل داده‌های بزرگ با Spark SQL در محیط پایتون (PySpark)

موضوع کلی: علوم داده و تحلیل کلان‌داده (Big Data)

موضوع میانی: پردازش و تحلیل داده‌های حجیم با استفاده از پلتفرم Apache Spark

📋 سرفصل‌های دوره

• 1. مبانی و معماری پردازش داده‌های بزرگ در اکوسیستم آپاچی اسپارک
• 2. آشنایی با محیط برنامه‌نویسی PySpark و پیکربندی اولیه
• 3. درک ساختار داده‌ای DataFrame در اسپارک
• 4. نصب و راه‌اندازی محیط توسعه برای تحلیل داده‌ها
• 5. آشنایی با SparkSession و مدیریت نشست‌های کاری
• 6. بارگذاری داده‌ها از منابع فایل‌محور مانند CSV و JSON
• 7. بررسی ساختار و Schema در دیتافریم‌ها
• 8. انتخاب و فیلتر کردن داده‌ها با استفاده از توابع انتخابی
• 9. تغییر نام و حذف ستون‌ها در دیتافریم
• 10. کار با انواع داده‌های پایه در PySpark
• 11. مدیریت مقادیر تهی و داده‌های مفقود در مجموعه داده‌ها
• 12. استفاده از توابع پردازش رشته در تحلیل داده
• 13. کار با توابع ریاضی و آماری در ستون‌های عددی
• 14. عملیات فیلتر کردن پیشرفته با استفاده از عبارات شرطی
• 15. مرتب‌سازی و گروه‌بندی داده‌ها برای تحلیل آماری
• 16. استفاده از توابع تجمیعی برای گزارش‌گیری از داده‌ها
• 17. مفهوم Join و ترکیب دیتافریم‌ها با یکدیگر
• 18. کار با توابع پنجره‌ای Window Functions برای تحلیل‌های زمانی
• 19. مدیریت تاریخ و زمان در داده‌های حجیم
• 20. کار با توابع تعریف‌شده توسط کاربر UDF در PySpark
• 21. بهینه‌سازی پرس‌وجوها با استفاده از Spark SQL
• 22. اجرای دستورات SQL مستقیم بر روی دیتافریم‌ها
• 23. ذخیره‌سازی نتایج پردازش در فرمت‌های بهینه مانند Parquet
• 24. مفهوم پارتیشن‌بندی و تأثیر آن بر عملکرد پردازش
• 25. ذخیره‌سازی و خواندن داده‌ها از پایگاه‌های داده رابطه‌ای
• 26. آشنایی با مفاهیم ارزیابی تنبل Lazy Evaluation در اسپارک
• 27. بررسی طرح اجرایی Query Plan برای عیب‌یابی
• 28. کار با داده‌های سلسله‌مراتبی و تودرتو
• 29. استفاده از توابع پیشرفته کار با آرایه‌ها و نقشه‌ها
• 30. تکنیک‌های مدیریت حافظه در پردازش کلان‌داده
• 31. رفع خطاهای رایج در محیط PySpark
• 32. آشنایی با مفاهیم اولیه پردازش توزیع‌شده
• 33. مدیریت کلاستر و منابع در محیط‌های عملیاتی
• 34. امنیت داده‌ها و کنترل دسترسی در محیط‌های پردازشی
• 35. پیاده‌سازی یک پروژه کاربردی تحلیل داده‌های فروش
• 36. تجزیه و تحلیل داده‌های لاگ سیستم با استفاده از اسپارک
• 37. آماده‌سازی داده‌ها برای مدل‌سازی آماری
• 38. مستندسازی و گزارش‌دهی از نتایج تحلیل
• 39. بهترین شیوه‌های کدنویسی تمیز در PySpark
• 40. بررسی مقیاس‌پذیری الگوریتم‌های تحلیل داده در اسپارک