فلش‌کارت‌های آموزشی جامع تحلیل داده‌های بزرگ با Azure Databricks و Spark SQL (به زبان پایتون)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره جامع تحلیل داده‌های بزرگ با Azure Databricks و Spark SQL (به زبان پایتون)

موضوع کلی: علوم داده و تحلیل کلان‌داده (Big Data Analytics)

موضوع میانی: پردازش ابری و مهندسی داده با استفاده از پلتفرم‌های توزیع‌شده

📋 سرفصل‌های دوره

• 1. مبانی رایانش ابری و زیرساخت‌های داده در پلتفرم Azure
• 2. آشنایی با محیط کاری و معماری Databricks
• 3. مدیریت کلاسترهای اسپارک و بهینه‌سازی منابع پردازشی
• 4. مفاهیم پایه اکوسیستم آپاچی اسپارک و معماری توزیع‌شده
• 5. آشنایی با زبان پایتون در محیط نوت‌بوک‌های Databricks
• 6. کار با Spark DataFrame API برای مدیریت داده‌های ساختاریافته
• 7. مبانی کار با Spark SQL و نوشتن پرس‌وجوهای تحلیلی
• 8. مدیریت و کار با فایل‌های سیستم (DBFS) در محیط Databricks
• 9. اتصال به منابع داده خارجی و بارگذاری داده‌ها
• 10. کار با فرمت‌های ذخیره‌سازی بهینه مانند Parquet و Avro
• 11. مبانی پردازش داده‌های حجیم با استفاده از RDD
• 12. تبدیل و پاک‌سازی داده‌ها با استفاده از توابع کتابخانه‌ای PySpark
• 13. مدیریت طرح‌واره‌ها (Schemas) و کار با داده‌های پیچیده
• 14. کار با توابع پنجره‌ای (Window Functions) در Spark SQL
• 15. تجمیع داده‌ها و گروه‌بندی‌های پیشرفته در تحلیل کلان‌داده
• 16. بهینه‌سازی پرس‌وجوهای SQL و تحلیل طرح اجرایی (Execution Plan)
• 17. استفاده از Delta Lake برای تضمین یکپارچگی داده‌ها
• 18. پیاده‌سازی تراکنش‌های ACID در دریاچه داده (Data Lake)
• 19. کار با جداول Delta و مدیریت نسخه‌برداری از داده‌ها
• 20. مقدمه‌ای بر استریمینگ داده با Structured Streaming
• 21. مدیریت خطاهای رایج در پردازش‌های توزیع‌شده
• 22. بهینه‌سازی عملیات Shuffle و تنظیمات حافظه در اسپارک
• 23. معرفی کتابخانه‌های یادگیری ماشین در Databricks (MLlib)
• 24. آماده‌سازی داده‌ها برای مدل‌های تحلیلی و آماری
• 25. تجسم داده‌ها و ایجاد داشبوردهای مدیریتی در Databricks
• 26. امنیت داده‌ها و کنترل دسترسی در پلتفرم Azure
• 27. مدیریت کاربران و نقش‌های امنیتی در فضای کاری Databricks
• 28. نظارت بر عملکرد کلاسترها و تحلیل لاگ‌ها
• 29. زمان‌بندی و اجرای خودکار وظایف (Jobs) در Databricks
• 30. استفاده از Workflow برای مدیریت خط لوله‌های داده
• 31. بهینه‌سازی هزینه‌های پردازش ابری در محیط Azure
• 32. یکپارچه‌سازی با Azure Data Factory برای انتقال داده
• 33. کار با ابزارهای مانیتورینگ برای بهینه‌سازی توان عملیاتی
• 34. پیاده‌سازی معماری Medallion در پردازش داده‌ها
• 35. بررسی موردی: تحلیل داده‌های حجیم در محیط‌های کسب‌وکار قانونی
• 36. اصول مستندسازی کدهای پردازش داده و نوت‌بوک‌ها
• 37. استفاده از Git برای مدیریت نسخه کدها در Databricks
• 38. تکنیک‌های پیشرفته در عیب‌یابی (Debugging) کدهای PySpark
• 39. توزیع بار کاری و جلوگیری از مشکل داده‌های نامتقارن (Data Skew)
• 40. ارائه نهایی تحلیل‌ها و گزارش‌دهی مبتنی بر داده‌های پردازش‌شده