فلش‌کارت‌های آموزشی آموزش جامع تحلیل و پردازش داده‌های حجیم با استفاده از کتابخانه Pandas بر بستر Apache Spark

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره آموزش جامع تحلیل و پردازش داده‌های حجیم با استفاده از کتابخانه Pandas بر بستر Apache Spark

موضوع کلی: علوم داده و تحلیل کلان‌داده (Big Data Analytics)

موضوع میانی: پردازش توزیع‌شده داده‌ها با استفاده از پلتفرم‌های مقیاس‌پذیر

📋 سرفصل‌های دوره

• 1. مبانی و مفاهیم کلان‌داده و پردازش توزیع‌شده
• 2. معماری و اجزای پلتفرم آپاچی اسپارک
• 3. مقایسه کتابخانه پانداس و اسپارک در پردازش داده‌ها
• 4. نصب و راه‌اندازی محیط توسعه برای پردازش توزیع‌شده
• 5. آشنایی با ساختار و مفاهیم اولیه PySpark
• 6. کار با دیتافریم‌های اسپارک در محیط پانداس‌مانند
• 7. بارگذاری و خواندن داده‌ها از منابع مختلف
• 8. مدیریت و مشاهده ساختار داده‌ها در مقیاس بزرگ
• 9. فیلتر کردن و انتخاب ستون‌های داده‌ای
• 10. عملیات پاک‌سازی و مدیریت داده‌های مفقود
• 11. تغییر نام و اصلاح ساختار ستون‌ها
• 12. تبدیل انواع داده‌ها و مدیریت تایپ‌ها
• 13. استفاده از توابع ریاضی و آماری در تحلیل داده‌ها
• 14. کار با توابع کاراکتری و پردازش رشته‌ها
• 15. مدیریت داده‌های زمانی و تقویمی
• 16. گروه‌بندی داده‌ها و اجرای عملیات تجمعی
• 17. تجمیع داده‌ها با استفاده از توابع پیشرفته
• 18. اتصال و ترکیب دیتافریم‌ها با عملیات Join
• 19. استفاده از عملیات Union برای الحاق داده‌ها
• 20. کار با توابع پنجره‌ای در پردازش توزیع‌شده
• 21. استفاده از توابع Lambda و Map در پردازش داده
• 22. بهینه‌سازی عملیات با استفاده از Cache و Persistence
• 23. مدیریت حافظه در پردازش‌های سنگین
• 24. اشکال‌زدایی و رفع خطاهای رایج در کدهای توزیع‌شده
• 25. کار با فرمت‌های ذخیره‌سازی بهینه مانند Parquet
• 26. نوشتن و ذخیره‌سازی داده‌های پردازش شده
• 27. مقدمه‌ای بر مدل‌سازی آماری در مقیاس کلان
• 28. پیاده‌سازی الگوریتم‌های یادگیری ماشین با پانداس بر بستر اسپارک
• 29. ارزیابی مدل‌های داده‌کاوی در محیط توزیع‌شده
• 30. نمودارگیری و بصری‌سازی داده‌های حجیم
• 31. مدیریت خط لوله پردازش داده‌ها
• 32. استفاده از توابع تعریف شده توسط کاربر UDF
• 33. بهینه‌سازی پرس‌وجوهای SQL در اسپارک
• 34. مدیریت منابع و تنظیمات پارامترهای اجرایی
• 35. امنیت داده‌ها و کنترل دسترسی در محیط توزیع‌شده
• 36. بررسی کارایی و تحلیل گلوگاه‌های پردازشی
• 37. استقرار و اجرای کدهای پانداس در کلاستر اسپارک
• 38. تکنیک‌های پیشرفته در کار با داده‌های غیرساختاریافته
• 39. پروژه نهایی تحلیل کلان‌داده با استفاده از پانداس و اسپارک