فلش‌کارت‌های آموزشی جامع مهارت‌آموزی کار با دیتابریکس (Databricks) و پای‌اسپارک (PySpark) برای تحلیل داده‌های بزرگ

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره جامع مهارت‌آموزی کار با دیتابریکس (Databricks) و پای‌اسپارک (PySpark) برای تحلیل داده‌های بزرگ

موضوع کلی: علوم داده و تحلیل کلان‌داده (Big Data)

موضوع میانی: پردازش توزیع‌شده و مهندسی داده با استفاده از پلتفرم‌های ابری و محلی

📋 سرفصل‌های دوره

• 1. مبانی اکوسیستم داده‌های بزرگ و معرفی پلتفرم دیتابریکس
• 2. معماری پردازش توزیع‌شده و مفاهیم رایانش ابری
• 3. راه اندازی محیط کاربری و پیکربندی کلاستر در دیتابریکس
• 4. آشنایی با ساختار نوت‌بوک‌ها و مدیریت فضای کاری در دیتابریکس
• 5. مبانی زبان برنامه‌نویسی پایتون برای تحلیل داده
• 6. آشنایی با کتابخانه پای‌اسپارک و معماری اسپارک
• 7. مفهوم آر‌دی‌دی (RDD) و عملیات‌های تبدیل و اجرا
• 8. کار با دیتافریم‌های اسپارک در محیط دیتابریکس
• 9. خواندن و نوشتن داده‌ها از منابع مختلف در دیتابریکس
• 10. فیلتر کردن و انتخاب داده‌ها با استفاده از توابع پای‌اسپارک
• 11. تغییر ساختار داده‌ها و کار با ستون‌ها
• 12. کار با توابع تجمعی و گروه‌بندی داده‌ها
• 13. مدیریت مقادیر تهی و پاک‌سازی داده‌ها
• 14. اتصال جداول و ادغام مجموعه‌های داده در اسپارک
• 15. کار با توابع پنجره‌ای (Window Functions) برای تحلیل‌های زمانی
• 16. پردازش داده‌های ساختاریافته با استفاده از اسپارک اس‌کیو‌ال (Spark SQL)
• 17. ایجاد و مدیریت ویوهای موقت و جداول دائمی در دیتابریکس
• 18. معرفی فرمت دلتا لیک (Delta Lake) و مزایای آن
• 19. عملیات‌های پیشرفته در دلتا لیک شامل درج و به‌روزرسانی
• 20. مدیریت نسخه‌بندی داده‌ها و بازگشت به نسخه‌های قبلی (Time Travel)
• 21. بهینه‌سازی عملکرد پرس‌وجوها با استفاده از تکنیک‌های ذخیره‌سازی
• 22. آشنایی با یو‌دی‌اف‌ها (UDFs) و توابع سفارشی در پای‌اسپارک
• 23. کار با انواع داده‌های پیچیده در پای‌اسپارک
• 24. مدیریت تاریخ و زمان در تحلیل داده‌های بزرگ
• 25. تحلیل داده‌های متنی و کار با رشته‌ها در اسپارک
• 26. معرفی مفاهیم پردازش جریانی (Structured Streaming)
• 27. پیاده‌سازی یک خط لوله پردازش داده بلادرنگ
• 28. مانیتورینگ و مشاهده لاگ‌ها در دیتابریکس
• 29. مدیریت امنیت و سطوح دسترسی در پلتفرم دیتابریکس
• 30. بهینه‌سازی کلاستر و تنظیم پارامترهای حافظه
• 31. اشکال‌زدایی و رفع خطاهای رایج در کدهای پای‌اسپارک
• 32. معرفی یادگیری ماشین در دیتابریکس با استفاده از ام‌ال‌لیب (MLlib)
• 33. آماده‌سازی داده‌ها برای مدل‌های یادگیری ماشین
• 34. آموزش مدل‌های رگرسیون با پای‌اسپارک
• 35. آموزش مدل‌های دسته‌بندی با پای‌اسپارک
• 36. ارزیابی و اعتبارسنجی مدل‌های داده‌کاوی
• 37. استفاده از ام‌ال‌فلو (MLflow) برای مدیریت چرخه حیات مدل
• 38. پیاده‌سازی اتوماسیون و زمان‌بندی وظایف (Jobs) در دیتابریکس
• 39. یکپارچه‌سازی دیتابریکس با سایر ابزارهای ذخیره‌سازی داده
• 40. بهترین روش‌های پیاده‌سازی پروژه‌های کلان‌داده در محیط سازمانی