فلش‌کارت‌های آموزشی جامع مهندسی و تحلیل داده با Apache Spark 3 و زبان برنامه‌نویسی پایتون

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره جامع مهندسی و تحلیل داده با Apache Spark 3 و زبان برنامه‌نویسی پایتون

موضوع کلی: علوم داده و مهندسی داده‌های بزرگ

موضوع میانی: پردازش توزیع‌شده و تحلیل داده‌های کلان با پایتون

📋 سرفصل‌های دوره

• 1. آشنایی با مفاهیم کلیدی داده‌های بزرگ و اکوسیستم آپاچی اسپارک
• 2. نصب و راه‌اندازی محیط توسعه اسپارک با پایتون در محیط‌های محلی و سرور
• 3. معماری کلاستر در اسپارک و نقش درایور و اکسکیوترها
• 4. مبانی برنامه‌نویسی در PySpark و کار با SparkSession
• 5. ساختار داده‌ای RDD و عملیات‌های تبدیل و کنش در اسپارک
• 6. آشنایی با DataFrame و تفاوت‌های آن با RDD در پردازش داده
• 7. خواندن و نوشتن داده‌ها از منابع مختلف مانند CSV و JSON
• 8. کار با توابع داخلی اسپارک برای تبدیل و پاکسازی داده‌ها
• 9. فیلتر کردن و انتخاب ستون‌ها در DataFrames
• 10. مدیریت مقادیر تهی و داده‌های نامعتبر در مجموعه‌های بزرگ
• 11. استفاده از توابع پنجره‌ای Window Functions برای تحلیل‌های زمانی
• 12. تجمیع داده‌ها و عملیات GroupBy در مقیاس وسیع
• 13. کار با داده‌های متنی و پردازش رشته‌ها در PySpark
• 14. اتصال جداول و عملیات Join در محیط توزیع‌شده
• 15. بهینه‌سازی Joinها با استفاده از Broadcast Variables
• 16. کار با داده‌های زمانی و تقویمی در اسپارک
• 17. آشنایی با فرمت‌های ذخیره‌سازی بهینه مانند Parquet و Avro
• 18. مدیریت پارتیشن‌بندی داده‌ها برای افزایش کارایی پردازش
• 19. مبانی کار با Spark SQL و نوشتن کوئری‌های ساختاریافته
• 20. تعریف و استفاده از توابع تعریف‌شده توسط کاربر UDF
• 21. مدیریت حافظه و تنظیمات عملکردی در اسپارک
• 22. آشنایی با Spark Streaming برای پردازش داده‌های در لحظه
• 23. کار با Structured Streaming و اتصال به منابع داده‌ای جریانی
• 24. مدیریت خطاها و پایداری در پردازش‌های توزیع‌شده
• 25. مبانی نظارت و مانیتورینگ کلاسترهای اسپارک با Spark UI
• 26. آشنایی با کتابخانه MLlib برای یادگیری ماشین در مقیاس بزرگ
• 27. پیاده‌سازی الگوریتم‌های رگرسیون با استفاده از Spark ML
• 28. خوشه‌بندی و دسته‌بندی داده‌ها با استفاده از ابزارهای یادگیری ماشین اسپارک
• 29. ارزیابی مدل‌های یادگیری ماشین در محیط توزیع‌شده
• 30. بهینه‌سازی خط لوله‌های پردازش داده Pipeline
• 31. مستندسازی و گزارش‌گیری از تحلیل‌های داده
• 32. پیاده‌سازی یک پروژه جامع مهندسی داده با استفاده از PySpark
• 33. رعایت اصول امنیت در انتقال و ذخیره‌سازی داده‌ها
• 34. بررسی الگوهای طراحی برای مقیاس‌پذیری زیرساخت‌های داده‌محور
• 35. تکنیک‌های تست و عیب‌یابی کدهای PySpark در محیط‌های توزیع‌شده