فلش‌کارت‌های آموزشی الگوریتم‌های مقیاس‌پذیر: MapReduce و Spark

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره الگوریتم‌های مقیاس‌پذیر: MapReduce و Spark

موضوع کلی: برنامه نویسی

موضوع میانی: الگوریتم‌ها و ساختمان داده‌ها

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر چالش‌های پردازش داده‌های بزرگ
• 2. معماری سیستم‌های توزیع‌شده
• 3. مدل برنامه‌نویسی MapReduce
• 4. نحوه کارکرد تابع Map و Reduce
• 5. مدیریت ورودی و خروجی در MapReduce
• 6. نقش Shuffle و Sort در پردازش توزیع‌شده
• 7. مدیریت شکست گره‌ها و تحمل‌پذیری خطا
• 8. بهینه‌سازی پارتیشن‌بندی داده‌ها
• 9. معرفی اکوسیستم Apache Spark
• 10. تفاوت اصلی Spark با MapReduce
• 11. ساختار RDD و ویژگی‌های آن
• 12. عملیات تبدیلی (Transformation) روی RDD
• 13. عملیات کنشی (Action) روی RDD
• 14. مدیریت وابستگی‌ها و خطا در RDD
• 15. معرفی DataFrame و Dataset
• 16. مقایسه RDD و DataFrame از نظر کارایی
• 17. کار با Spark SQL
• 18. خواندن و نوشتن داده از منابع مختلف
• 19. پردازش جریانی با Spark Streaming
• 20. پنجره‌های زمانی در پردازش جریانی
• 21. معرفی GraphX برای پردازش گراف
• 22. معرفی MLlib برای یادگیری ماشین توزیع‌شده
• 23. تنظیم پارامترهای خوشه (Cluster)
• 24. مدیریت حافظه و پارتیشن‌بندی در Spark
• 25. بهینه‌سازی پرس‌وجوها با Catalyst Optimizer
• 26. مدیریت پهنای باند و تاخیر شبکه
• 27. انواع استراتژی‌های الحاق (Join) در Spark
• 28. مفاهیم Broadcast و Accumulator
• 29. مدیریت داده‌های کلیدی-مقدار
• 30. تکنیک‌های فشرده‌سازی داده
• 31. مدیریت سریال‌سازی و Deserialization
• 32. اشکال‌زدایی و رفع خطاهای رایج
• 33. مانیتورینگ و لاگ‌گیری در Spark
• 34. معرفی سیستم فایل توزیع‌شده HDFS
• 35. هماهنگی با Apache ZooKeeper
• 36. مدیریت منابع با YARN
• 37. معرفی Kubernetes برای اجرای Spark
• 38. مقایسه Spark با Flink
• 39. مقایسه Spark با Hadoop
• 40. معرفی Delta Lake برای قابلیت اطمینان
• 41. مدیریت نسخه‌های داده با Lakehouse
• 42. بهینه‌سازی کوئری‌های SQL در Spark
• 43. مدیریت داده‌های تو در تو و ساختارهای پیچیده
• 44. تکنیک‌های افزایش موازی‌سازی
• 45. مدیریت گره‌های کند (Straggler)
• 46. تکنیک‌های کش کردن داده
• 47. مدیریت حافظه نهان و پاکسازی
• 48. معرفی Apache Hive روی Spark
• 49. معرفی Apache HBase برای ذخیره‌سازی NoSQL
• 50. مدیریت توزیع کلیدها و تعادل بار
• 51. بهینه‌سازی تعداد پارتیشن‌ها
• 52. مدیریت فیلتر کردن و پروجکشن
• 53. تکنیک‌های پیش‌پردازش داده در مقیاس بزرگ
• 54. مدیریت دیتاست‌های نامتعادل
• 55. مدیریت فایل‌های کوچک در HDFS
• 56. معرفی Apache Parquet و Avro
• 57. فشرده‌سازی ستونی در Parquet
• 58. مدیریت Schema Evolution
• 59. تکنیک‌های نمونه‌گیری برای تست
• 60. مدیریت امنیت و احراز هویت در Spark
• 61. مدیریت مجوزهای دسترسی
• 62. معرفی REST API در Spark
• 63. مدیریت لاگ‌های امنیتی
• 64. بهینه‌سازی مصرف انرژی در خوشه
• 65. مدیریت هزینه‌های پردازش ابری
• 66. معرفی Spark در فضای ابری
• 67. مدیریت خودکار مقیاس‌پذیری
• 68. معرفی Airflow برای زمان‌بندی
• 69. مدیریت وابستگی بین وظایف
• 70. تکنیک‌های backpressure در جریان
• 71. مدیریت داده‌های تکراری
• 72. مدیریت داده‌های گمشده
• 73. مدیریت زمان‌بندی و اولویت‌ها
• 74. معرفی Apache Kafka به عنوان منبع داده
• 75. مدیریت تراکنش‌های توزیع‌شده
• 76. معرفی ZooKeeper برای هماهنگی
• 77. مدیریت لاگ‌های رکوردها
• 78. مدیریت نسخه‌بندی داده
• 79. بهینه‌سازی فراخوانی توابع
• 80. مدیریت حافظه خارج از heap
• 81. مدیریت حافظه داخلی و خارجی
• 82. معرفی Tungsten Engine
• 83. بهینه‌سازی اجرای کد
• 84. مدیریت Thread و هسته‌ها
• 85. تکنیک‌های پروفایلینگ و رفع تنگنا
• 86. مدیریت داده‌های زمانی
• 87. مدیریت داده‌های مکانی
• 88. معرفی GeoSpark
• 89. مدیریت داده‌های متنی و جستجو
• 90. مدیریت داده‌های گراف بزرگ
• 91. معرفی GraphFrames
• 92. مدیریت الگوریتم‌های PageRank و Connected Components
• 93. مدیریت یادگیری ماشین توزیع‌شده با Pipeline
• 94. مدیریت ارزیابی مدل در مقیاس بزرگ
• 95. مدیریت ذخیره و بازیابی مدل
• 96. مدیریت Hyperparameter Tuning توزیع‌شده
• 97. مدیریت ویژگی‌های توزیع‌شده
• 98. مدیریت Cross-Validation در Spark
• 99. مدیریت جریان یادگیری آنلاین
• 100. مدیریت کاهش نویز در داده