فلش‌کارت‌های آموزشی راهنمای جامع تحلیل داده‌های حجیم با استفاده از Apache Spark و زبان برنامه‌نویسی Scala

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره راهنمای جامع تحلیل داده‌های حجیم با استفاده از Apache Spark و زبان برنامه‌نویسی Scala

موضوع کلی: علوم داده و تحلیل کلان‌داده (Big Data)

موضوع میانی: پردازش توزیع‌شده و محاسبات مقیاس‌پذیر

📋 سرفصل‌های دوره

• 1. مبانی و مفاهیم کلان‌داده و پردازش توزیع‌شده
• 2. آشنایی با معماری و اکوسیستم Apache Spark
• 3. نصب و راه‌اندازی محیط توسعه Scala و Spark
• 4. مبانی زبان برنامه‌نویسی Scala برای تحلیل داده
• 5. کار با ساختارهای داده در Scala
• 6. آشنایی با مدل برنامه‌نویسی تابعی در Scala
• 7. معرفی Spark RDD و مفاهیم انتزاعی آن
• 8. عملیات تبدیل و عملگرها در RDD
• 9. مدیریت حافظه و کش کردن داده‌ها در Spark
• 10. آشنایی با Spark SQL و پردازش داده‌های ساختاریافته
• 11. کار با DataFrame در Spark
• 12. عملیات پرس‌وجو و فیلتر کردن داده‌ها با Spark SQL
• 13. کار با توابع داخلی و توابع تعریف‌شده توسط کاربر
• 14. معرفی Dataset API و مزایای آن در Scala
• 15. خواندن و نوشتن داده‌ها از منابع مختلف
• 16. کار با فایل‌های فرمت Parquet و JSON در Spark
• 17. مفاهیم پارتیشن‌بندی و بهینه‌سازی توزیع داده‌ها
• 18. مدیریت کلاستر و اجرای برنامه‌ها در حالت توزیع‌شده
• 19. کار با Spark UI برای مانیتورینگ و عیب‌یابی
• 20. مدیریت خطاها و استثناها در برنامه‌های توزیع‌شده
• 21. مقدمه‌ای بر Spark Streaming برای پردازش داده‌های در لحظه
• 22. کار با DStream و پنجره‌های زمانی در پردازش جریانی
• 23. مفاهیم پایه در یادگیری ماشین با کتابخانه MLlib
• 24. آماده‌سازی داده‌ها برای مدل‌های یادگیری ماشین
• 25. پیاده‌سازی الگوریتم‌های رگرسیون در Spark
• 26. پیاده‌سازی الگوریتم‌های طبقه‌بندی در Spark
• 27. خوشه‌بندی و تحلیل داده‌های بدون برچسب
• 28. ارزیابی و اعتبارسنجی مدل‌های یادگیری ماشین
• 29. بهینه‌سازی کدهای Scala برای افزایش کارایی
• 30. مدیریت وابستگی‌ها و بسته‌بندی پروژه‌های Spark
• 31. اتصال Spark به پایگاه‌های داده رابطه‌ای
• 32. کار با داده‌های غیرساختاریافته و متنی
• 33. مقدمه‌ای بر گراف‌کاوی با GraphX
• 34. بهینه‌سازی کوئری‌های SQL در محیط توزیع‌شده
• 35. امنیت در خوشه‌های Spark و کنترل دسترسی
• 36. مفاهیم پیشرفته در تنظیمات حافظه و CPU
• 37. تکنیک‌های مدیریت داده‌های حجیم در مقیاس بزرگ
• 38. پروژه عملی تحلیل داده‌های حجیم با Spark
• 39. بهترین تجربیات و استانداردهای کدنویسی در محیط‌های توزیع‌شده