دوره تسلط بر هم‌روندی در پردازش داده‌های بزرگ: راهکارهای عملی و پیاده‌سازی همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره تسلط بر هم‌روندی در پردازش داده‌های بزرگ: راهکارهای عملی و پیاده‌سازی

موضوع کلی: پردازش داده‌های حجیم و توزیع‌شده

موضوع میانی: معماری‌های موازی و هم‌روندی

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش داده‌های حجیم
• 2. چالش‌های پردازش داده‌های بزرگ
• 3. معماری‌های سنتی در برابر معماری‌های موازی
• 4. مفاهیم هم‌روندی و موازی‌سازی
• 5. مدل‌های برنامه‌نویسی هم‌روند
• 6. فرآیندها و ریسه‌ها: تفاوت‌ها و کاربردها
• 7. همگام‌سازی و قفل‌ها
• 8. بن‌بست و راه‌های جلوگیری از آن
• 9. شرایط مسابقه و اهمیت کنترل دسترسی
• 10. آشنایی با کتابخانه‌های هم‌روندی رایج
• 11. پردازش داده‌های جریان‌محور
• 12. مفاهیم پایگاه داده‌های NoSQL
• 13. Hadoop و اکوسیستم آن
• 14. MapReduce: اصول و کاربردها
• 15. Spark: معماری و مزایا
• 16. Spark Streaming: پردازش جریانی در زمان واقعی
• 17. Kafka: سیستم پیام‌رسانی توزیع‌شده
• 18. Flume: جمع‌آوری داده‌ها از منابع مختلف
• 19. HBase: پایگاه داده NoSQL مبتنی بر ستون
• 20. Cassandra: پایگاه داده NoSQL مقیاس‌پذیر
• 21. MongoDB: پایگاه داده NoSQL سندگرا
• 22. پیاده‌سازی MapReduce با پایتون
• 23. بهینه‌سازی عملکرد MapReduce
• 24. استفاده از Spark برای تجزیه و تحلیل داده‌های حجیم
• 25. Spark SQL: پرس و جوی داده‌ها با SQL
• 26. Spark MLlib: یادگیری ماشین توزیع‌شده
• 27. استفاده از Kafka برای ساخت خطوط لوله داده
• 28. تحلیل داده‌های جریانی با Spark Streaming
• 29. نظارت و مدیریت خوشه‌های Hadoop و Spark
• 30. مفاهیم تحمل خطا در سیستم‌های توزیع‌شده
• 31. استراتژی‌های پشتیبان‌گیری و بازیابی
• 32. امنیت در پردازش داده‌های بزرگ
• 33. مدیریت منابع در سیستم‌های توزیع‌شده
• 34. آشنایی با YARN
• 35. استفاده از Kubernetes برای استقرار برنامه‌های هم‌روند
• 36. مقایسه Hadoop و Spark
• 37. انتخاب معماری مناسب برای نیازهای خاص
• 38. معماری Lambda
• 39. معماری Kappa
• 40. مفاهیم پایگاه داده‌های گراف
• 41. استفاده از GraphX در Spark
• 42. پردازش داده‌های مکانی-زمانی
• 43. آشنایی با GeoSpark
• 44. پردازش داده‌های متنی با استفاده از NLP
• 45. استفاده از Spark NLP
• 46. چالش‌های مقیاس‌پذیری در پردازش داده‌های بزرگ
• 47. مفاهیم توزیع داده‌ها
• 48. تکنیک‌های پارتیشن‌بندی داده‌ها
• 49. بهینه‌سازی I/O در سیستم‌های توزیع‌شده
• 50. استفاده از حافظه نهان در سیستم‌های توزیع‌شده
• 51. مفاهیم صف‌های پیام
• 52. RabbitMQ: یک سیستم صف پیام
• 53. ZeroMQ: یک کتابخانه پیام‌رسانی با کارایی بالا
• 54. مفاهیم میکروسرویس‌ها
• 55. استفاده از میکروسرویس‌ها در پردازش داده‌های بزرگ
• 56. آشنایی با Docker و Containerization
• 57. استفاده از Docker برای استقرار برنامه‌های هم‌روند
• 58. آشنایی با سیستم‌های مانیتورینگ
• 59. Prometheus: یک سیستم مانیتورینگ متن‌باز
• 60. Grafana: یک پلتفرم تجسم داده
• 61. استفاده از ELK Stack برای تحلیل لاگ‌ها
• 62. مفاهیم DataOps و DevOps
• 63. بهبود فرایندهای توسعه و استقرار با استفاده از DataOps
• 64. آشنایی با ابزارهای CI/CD
• 65. استفاده از Jenkins برای اتوماسیون فرایندها
• 66. آینده پردازش داده‌های بزرگ و هم‌روندی