فلش‌کارت‌های آموزشی تسلط بر پلتفرم آپاچی اسپارک: از تحلیل داده‌های حجیم تا مدل‌سازی هوشمند با Scala

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تسلط بر پلتفرم آپاچی اسپارک: از تحلیل داده‌های حجیم تا مدل‌سازی هوشمند با Scala

موضوع کلی: علوم داده و مهندسی کلان‌داده

موضوع میانی: پردازش توزیع‌شده و تحلیل داده‌های حجیم با استفاده از زبان اسکالا

📋 سرفصل‌های دوره

• 1. مبانی زبان برنامه‌نویسی اسکالا برای تحلیل داده
• 2. نصب و راه‌اندازی محیط توسعه آپاچی اسپارک
• 3. معماری داخلی آپاچی اسپارک و مفهوم کلاستر
• 4. کار با اسپارک شل و اجرای برنامه‌های اولیه
• 5. مفاهیم بنیادی در مدیریت مجموعه‌های داده توزیع‌شده
• 6. عملیات تبدیل و عملگرهای پایه در آر‌دی‌دی
• 7. مدیریت حافظه و کش کردن داده‌ها در اسپارک
• 8. آشنایی با اسپارک اس‌کیو‌ال و کار با دیتافریم‌ها
• 9. خواندن داده‌ها از منابع مختلف فایل و پایگاه داده
• 10. نحو و ساختار پرس‌وجوهای اس‌کیو‌ال در محیط اسپارک
• 11. توابع داخلی و عملیات روی ستون‌های دیتافریم
• 12. کار با انواع داده‌های ساختاریافته و نیمه‌ساختاریافته
• 13. مدیریت مقادیر تهی و پاکسازی داده‌ها
• 14. تغییر شکل داده‌ها با استفاده از توابع تجمعی
• 15. کار با گروه‌بندی و پنجره‌های زمانی در داده‌ها
• 16. مفاهیم پیوستن جداول و بهینه‌سازی جوین‌ها
• 17. استفاده از توابع تعریف‌شده توسط کاربر در اسکالا
• 18. کار با دیتاست‌ها و مزایای تایپ‌دهی ایستا
• 19. مقدمه‌ای بر پردازش جریانی با اسپارک استریمینگ
• 20. کار با ساختارهای داده‌ای در پردازش بلادرنگ
• 21. مدیریت وضعیت و پنجره‌بندی در جریان‌های داده
• 22. اتصال به منابع داده‌ای زنده مانند کافکا
• 23. مفاهیم مقدماتی یادگیری ماشین با کتابخانه ام‌ال‌لیب
• 24. آماده‌سازی داده‌ها برای مدل‌های آماری
• 25. ساخت خط لوله پردازش داده در اسپارک
• 26. مدل‌سازی رگرسیون خطی با استفاده از اسکالا
• 27. الگوریتم‌های طبقه‌بندی در محیط توزیع‌شده
• 28. خوشه‌بندی و بخش‌بندی داده‌ها با کی‌مینز
• 29. ارزیابی دقت مدل‌های یادگیری ماشین
• 30. تکنیک‌های تنظیم پارامترهای مدل در مقیاس بزرگ
• 31. بهینه‌سازی عملکرد برنامه‌های اسپارک
• 32. درک مفهوم پارتیشن‌بندی و تأثیر آن بر کارایی
• 33. شناسایی و رفع گلوگاه‌های پردازشی در کلاستر
• 34. مدیریت خطاها و پایداری برنامه‌های توزیع‌شده
• 35. تنظیمات حافظه و منابع در محیط‌های توزیع‌شده
• 36. امنیت در پلتفرم‌های کلان‌داده و کنترل دسترسی
• 37. مستندسازی و استقرار برنامه‌های اسکالا در کلاستر
• 38. کاربرد اسپارک در تحلیل داده‌های حجیم مالی
• 39. تلفیق مدل‌های آماری با تحلیل‌های توزیع‌شده
• 40. پروژه نهایی: طراحی سامانه پردازش داده مقیاس‌پذیر