دوره آموزش Scala و Spark برای پردازش داده‌های بزرگ همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره آموزش Scala و Spark برای پردازش داده‌های بزرگ

موضوع کلی: برنامه نویسی

موضوع میانی: زبان‌های برنامه‌نویسی**

📋 سرفصل‌های دوره

• 1. معرفی زبان Scala و نصب محیط توسعه
• 2. نصب و راه‌اندازی Apache Spark
• 3. ساختار پایه و متغیرها در Scala
• 4. انواع داده و عملگرها در Scala
• 5. ساختارهای کنترلی: شرط و حلقه
• 6. توابع در Scala: تعریف و فراخوانی
• 7. توابع مرتبه‌بالا و closures
• 8. کار با مجموعه‌ها: List، Set و Map
• 9. Immutable و mutable collections
• 10. Pattern matching در Scala
• 11. مدیریت خطا با Try-Catch و Option
• 12. مفاهیم شی‌گرایی در Scala: کلاس و شیء
• 13. وراثت و trait در Scala
• 14. Case classes و sealed traits
• 15. معرفی معماری Spark و RDD
• 16. ایجاد و تبدیل RDDها
• 17. عملیات انتقالی و کنشی روی RDD
• 18. مدیریت پارتیشن‌بندی در RDD
• 19. معرفی DataFrame و Dataset در Spark
• 20. خواندن و نوشتن داده از منابع مختلف
• 21. عملیات پایه روی DataFrameها
• 22. فیلتر کردن و انتخاب ستون‌ها
• 23. گروه‌بندی و تجمیع داده‌ها
• 24. اتصال و join بین DataFrameها
• 25. کار با توابع پنجره در Spark SQL
• 26. مدیریت داده‌های گمشده و تمیزسازی
• 27. بهینه‌سازی پرس‌وجو با Catalyst Optimizer
• 28. معرفی Spark SQL و پرس‌وجوهای SQL
• 29. مدیریت حافظه و تنظیمات اجرایی Spark
• 30. پردازش جریانی با Spark Streaming
• 31. پردازش داده‌های بیدرنگ با Structured Streaming
• 32. مدیریت پنجره‌های زمانی در Streaming
• 33. اتصال Spark به Kafka برای داده‌های جریانی
• 34. کار با فرمت Parquet و فشرده‌سازی
• 35. مدیریت فایل‌های بزرگ با Spark
• 36. معرفی الگوریتم‌های یادگیری ماشین در Spark MLlib
• 37. پیاده‌سازی رگرسیون با Spark
• 38. خوشه‌بندی با K-Means در Spark
• 39. مدیریت گراف با GraphX
• 40. پردازش متن و tokenization در Spark
• 41. مدیریت pipeline در MLlib
• 42. ارزیابی مدل‌های یادگیری ماشین
• 43. اشکال‌زدایی و لاگ‌گیری در Spark
• 44. بهبود کارایی با caching و persistence
• 45. مدیریت shuffle و تنظیم موازی‌سازی
• 46. معرفی Spark on Kubernetes و YARN
• 47. مدیریت منابع و توزیع بار
• 48. ادغام Scala با کتابخانه‌های جاوا
• 49. نوشتن تست واحد برای کدهای Spark
• 50. مدیریت وابستگی‌ها با SBT
• 51. بهینه‌سازی کد Scala برای Spark
• 52. مدیریت داده‌های زمانی و تاریخ
• 53. استفاده از UDF در Spark SQL
• 54. مدیریت دیتاست‌های بزرگ با broadcast variables
• 55. استفاده از accumulators برای جمع‌آوری آمار
• 56. مدیریت تراکنش‌ها در Spark
• 57. معرفی Delta Lake برای یکپارچگی داده
• 58. مدیریت نسخه‌های داده با Delta Lake
• 59. معرفی Apache Hive و اتصال به Spark
• 60. پردازش داده‌های JSON و XML
• 61. مدیریت داده‌های تودرتو با Spark
• 62. بهینه‌سازی پرس‌وجوهای تکراری
• 63. مدیریت خطا در pipelineهای پیچیده
• 64. معرفی Apache Airflow برای orchestration
• 65. مدیریت jobها و زمان‌بندی در Spark
• 66. مقایسه Spark با Hadoop MapReduce
• 67. مدیریت امنیت و احراز هویت در Spark
• 68. معرفی SparkR و PySpark به صورت مختصر
• 69. مدیریت لاگ و مانیتورینگ با Spark UI
• 70. بهبود کارایی با vectorized operations
• 71. مدیریت داده‌های تکراری و deduplication
• 72. پایپلاین کامل پردازش داده از ورودی تا خروجی
• 73. مدیریت memory و garbage collection در JVM
• 74. بهینه‌سازی joinهای سنگین
• 75. مدیریت داده‌های نامتوازن (skew)
• 76. معرفی Apache Cassandra و اتصال به Spark
• 77. مدیریت دیتابیس‌های رابطه‌ای با JDBC
• 78. پردازش batch و real-time به صورت همزمان
• 79. مدیریت checkpoint و fault tolerance
• 80. معرفی Spark Thrift Server
• 81. مدیریت کوئری‌های تعاملی با Spark
• 82. بهینه‌سازی کد با استفاده از best practices
• 83. مدیریت پروژه‌های بزرگ Scala با معماری مناسب
• 84. معرفی Akka برای همزمانی در Scala
• 85. مدیریت داده‌های سری زمانی با Spark
• 86. پایپلاین نهایی و استقرار در محیط تولید