دوره جامع مهندسی داده با استفاده از زبان برنامه‌نویسی اسکالا (Scala) و چارچوب آپاچی اسپارک همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره جامع مهندسی داده با استفاده از زبان برنامه‌نویسی اسکالا (Scala) و چارچوب آپاچی اسپارک

موضوع کلی: مهندسی داده و کلان‌داده (Big Data)

موضوع میانی: برنامه‌نویسی تابعی و پردازش توزیع‌شده با زبان اسکالا

📋 سرفصل‌های دوره (100 موضوع)

• 1. مبانی و فلسفه برنامه‌نویسی تابعی در مقیاس بزرگ
• 2. نصب و راه‌اندازی محیط توسعه اسکالا و ابزارهای مدیریت پروژه
• 3. ساختار داده‌ها و انواع پایه در زبان اسکالا
• 4. مدیریت متغیرها و ثوابت در اسکالا
• 5. توابع و روش‌های تعریف آن‌ها در برنامه‌نویسی تابعی
• 6. ساختارهای کنترلی و شرطی در محیط اسکالا
• 7. مفاهیم مقدماتی مجموعه‌ها در اسکالا
• 8. کار با لیست‌ها و عملیات پیمایشی
• 9. الگوهای تطبیق و مدیریت جریان داده
• 10. مفاهیم پیشرفته شیءگرایی در اسکالا
• 11. وراثت و ترکیب در طراحی سیستم‌های داده
• 12. مدیریت خطا و استثناها در برنامه‌نویسی تابعی
• 13. مفاهیم مقدماتی پردازش توزیع‌شده و معماری آپاچی اسپارک
• 14. نصب و پیکربندی کلاستر اسپارک در محیط‌های عملیاتی
• 15. آشنایی با مدل برنامه‌نویسی اسپارک و مفهوم RDD
• 16. عملیات تبدیل و عملگرهای پایه در RDD
• 17. مدیریت حافظه و کش کردن داده‌ها در اسپارک
• 18. مفاهیم اصلی DataFrame و Dataset
• 19. خواندن و نوشتن داده‌ها از منابع مختلف در اسپارک
• 20. کار با فایل‌های متنی و CSV در محیط توزیع‌شده
• 21. استفاده از فرمت‌های بهینه ذخیره‌سازی داده مانند Parquet
• 22. تبدیل انواع داده و کار با ستون‌ها در DataFrame
• 23. فیلتر کردن و مرتب‌سازی داده‌های حجیم
• 24. تجمیع داده‌ها و گروه‌بندی عملیاتی
• 25. کار با توابع پنجره‌ای در پردازش داده
• 26. اتصال جداول و عملیات Join در اسپارک
• 27. مدیریت مقادیر تهی و پاک‌سازی داده‌ها
• 28. آشنایی با اسپارک SQL و اجرای پرس‌وجوهای ساختاریافته
• 29. مدیریت تاریخ و زمان در پردازش داده‌ها
• 30. کار با داده‌های پیچیده و تودرتو
• 31. مقدمه‌ای بر پردازش جریانی با Spark Streaming
• 32. مفاهیم پنجره‌های زمانی در پردازش جریانی
• 33. پیکربندی و تنظیم پارامترهای اجرایی اسپارک
• 34. بهینه‌سازی کدهای اسکالا برای پردازش توزیع‌شده
• 35. شناسایی و رفع گلوگاه‌های عملکردی در کلاستر
• 36. استفاده از Broadcast Variables برای بهبود کارایی
• 37. کار با Accumulators در پردازش‌های موازی
• 38. تست و اشکال‌زدایی کدهای اسکالا در اسپارک
• 39. مدیریت وابستگی‌ها و بسته‌بندی پروژه‌ها
• 40. آشنایی با ابزارهای مانیتورینگ کلاستر
• 41. اصول طراحی خط لوله داده (Data Pipeline)
• 42. پیاده‌سازی یک پروژه جامع مهندسی داده با اسکالا و اسپارک