فلش‌کارت‌های آموزشی تسلط بر توسعه نرم‌افزار با Apache Spark و زبان برنامه‌نویسی پایتون (PySpark)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تسلط بر توسعه نرم‌افزار با Apache Spark و زبان برنامه‌نویسی پایتون (PySpark)

موضوع کلی: علوم داده و مهندسی کلان‌داده

موضوع میانی: پردازش توزیع‌شده با استفاده از Apache Spark

📋 سرفصل‌های دوره (100 موضوع)

• 1. مبانی معماری و اکوسیستم آپاچی اسپارک
• 2. نصب و راه‌اندازی محیط توسعه PySpark
• 3. آشنایی با ساختار SparkSession و مدیریت نشست‌ها
• 4. مفاهیم پایه RDD و عملیات‌های تبدیل و اجرا
• 5. معرفی DataFrame به عنوان ساختار داده اصلی
• 6. خواندن و نوشتن داده‌ها از فرمت‌های CSV و JSON
• 7. کار با منابع داده متنی و فایل‌های متنی توزیع‌شده
• 8. عملیات‌های پایه روی ستون‌ها و انتخاب داده‌ها
• 9. فیلتر کردن و شرط‌گذاری در دیتافریم‌ها
• 10. تغییر نام و حذف ستون‌ها در دیتافریم
• 11. مدیریت مقادیر تهی و داده‌های نامعتبر
• 12. مرتب‌سازی و گروه‌بندی داده‌ها در اسپارک
• 13. کار با توابع تجمعی و محاسبات آماری ساده
• 14. اتصال دیتافریم‌ها با استفاده از دستورات Join
• 15. مدیریت انواع Join و بهینه‌سازی عملکرد آن
• 16. کار با توابع داخلی اسپارک برای پردازش رشته‌ها
• 17. کار با توابع کار با تاریخ و زمان
• 18. استفاده از عبارت‌های شرطی با when و otherwise
• 19. پیاده‌سازی توابع تعریف شده توسط کاربر UDF
• 20. کار با ساختارهای داده پیچیده شامل آرایه‌ها و نقشه‌ها
• 21. مبانی پارتیشن‌بندی داده‌ها در کلاستر
• 22. درک مفهوم Lazy Evaluation در اسپارک
• 23. تحلیل طرح اجرایی با استفاده از Explain
• 24. مبانی کار با Spark SQL و اجرای کوئری‌های متنی
• 25. کار با جداول موقت و ویوهای جهانی
• 26. بهینه‌سازی کارایی با استفاده از کَش کردن داده‌ها
• 27. مبانی کار با فایل‌های Parquet و فرمت‌های ستونی
• 28. مدیریت فرمت‌های Delta Lake در دیتابریکس
• 29. آشنایی با مفاهیم مانیتورینگ در Spark UI
• 30. درک چرخه حیات اپلیکیشن‌های اسپارک
• 31. مدیریت حافظه و تنظیمات پایه در اسپارک
• 32. نحوه مدیریت خطا و دیباگ کردن کدهای PySpark
• 33. مبانی پردازش جریان با Structured Streaming
• 34. اتصال به منابع داده جریانی و پردازش بلادرنگ
• 35. کار با پنجره‌های زمانی در پردازش جریانی
• 36. ذخیره‌سازی خروجی در پردازش‌های جریانی
• 37. معرفی اصول اولیه یادگیری ماشین در اسپارک با MLlib
• 38. آماده‌سازی داده‌ها برای مدل‌های یادگیری ماشین
• 39. اجرای مدل‌های رگرسیون در محیط اسپارک
• 40. ارزیابی عملکرد مدل‌های داده‌محور
• 41. تکنیک‌های بهینه‌سازی کدهای پایتون برای پردازش‌های سنگین
• 42. مدیریت وابستگی‌ها و کتابخانه‌ها در محیط کلاستر
• 43. امنیت و کنترل دسترسی به داده‌ها در اکوسیستم اسپارک
• 44. تکنیک‌های افزایش سرعت پردازش در محیط‌های توزیع‌شده
• 45. بهترین تجارب در نوشتن کدهای تمیز و استاندارد PySpark
• 46. پروژه نهایی: طراحی یک خط لوله پردازش داده‌های بزرگ