دوره جاوا برای توسعه‌دهندگان Spark همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره جاوا برای توسعه‌دهندگان Spark

موضوع کلی: برنامه نویسی

موضوع میانی: جاوا (Java)

📋 سرفصل‌های دوره

• 1. معرفی پلتفرم Spark و نقش جاوا در آن
• 2. راه‌اندازی محیط توسعه برای Spark با جاوا
• 3. ساختار اصلی یک برنامه Spark در جاوا
• 4. کار با SparkSession و SparkContext
• 5. مفاهیم پایه RDD و تبدیلات
• 6. عملیات کنش روی RDDها
• 7. مدیریت پارتیشن‌بندی در RDD
• 8. معرفی Dataset و DataFrame در Spark
• 9. ایجاد DataFrame از منابع مختلف
• 10. عملیات پایه روی DataFrameها
• 11. فیلتر کردن و انتخاب ستون‌ها
• 12. توابع تجمعی و گروه‌بندی داده‌ها
• 13. پیوستن (Join) چند DataFrame
• 14. مدیریت مقادیر تهی و پاک‌سازی داده
• 15. کار با توابع پنجره در Spark SQL
• 16. نوشتن کوئری‌های SQL در Spark
• 17. بهینه‌سازی پلن اجرا با کاتالیست آپتیمایزر
• 18. مدیریت حافظه و سریال‌سازی در Spark
• 19. کار با انواع داده‌های پیچیده در جاوا
• 20. تبدیل بین RDD، Dataset و DataFrame
• 21. عملیات MapReduce با جاوا در Spark
• 22. مدیریت خطا و اشکال‌زدایی در Spark
• 23. ذخیره‌سازی و خروجی گرفتن از داده‌ها
• 24. کار با فرمت‌های پارکت، ارو و JSON
• 25. خواندن و نوشتن داده از پایگاه داده
• 26. اتصال به HDFS و سیستم‌های فایل توزیع‌شده
• 27. مدیریت پیکربندی و پارامترهای Spark
• 28. کار با Spark Streaming و جریان داده
• 29. پردازش زمان‌بندی شده با Structured Streaming
• 30. مدیریت State در جریان‌های داده
• 31. یکپارچه‌سازی با Kafka در Spark
• 32. پردازش دسته‌ای در مقابل جریانی
• 33. معرفی MLlib و یادگیری ماشین در Spark
• 34. رگرسیون خطی با MLlib در جاوا
• 35. خوشه‌بندی با K-Means در Spark
• 36. طبقه‌بندی با درخت تصمیم
• 37. مدیریت Pipeline در MLlib
• 38. ارزیابی مدل‌های یادگیری ماشین
• 39. کار با GraphX و پردازش گراف
• 40. الگوریتم‌های پایه گراف در Spark
• 41. مدیریت Broadcast Variables و Accumulators
• 42. بهینه‌سازی عملکرد با پارتیشن‌بندی سفارشی
• 43. مدیریت منابع و اجرای توزیع‌شده
• 44. اشکال‌زدایی لاگ‌ها و گزارش‌گیری
• 45. مدیریت وابستگی‌ها در پروژه جاوا
• 46. نوشتن تست واحد برای برنامه‌های Spark
• 47. مدیریت نسخه‌ها و سازگاری Spark و جاوا
• 48. کار با Spark Submit و خط فرمان
• 49. مدیریت کلاسترهای Spark
• 50. یکپارچه‌سازی با ابزارهای CI/CD
• 51. مدیریت امنیت و احراز هویت در Spark
• 52. مدیریت حافظه نهان و Cache کردن داده
• 53. بهبود کارایی با Coalesce و Repartition
• 54. مدیریت داده‌های حجیم با تکنیک‌های Bucketing
• 55. استفاده از UDFها در Spark با جاوا
• 56. مدیریت زمان و تاریخ در Spark
• 57. کار با داده‌های متنی و رشته‌ای
• 58. مدیریت فایل‌های پیکربندی و محیط
• 59. بهینه‌سازی کوئری‌های Spark SQL
• 60. مدیریت تراکنش‌ها و Consistency در Spark
• 61. معرفی Delta Lake و مدیریت نسخه داده
• 62. کار با Apache Iceberg در Spark
• 63. مدیریت Metadata و Catalog
• 64. نوشتن برنامه‌های چندمنظوره Spark
• 65. مدیریت خطاهای حافظه و OOM
• 66. تکنیک‌های profiling و تشخیص تنگناها
• 67. مدیریت Job Scheduling و اولویت‌بندی
• 68. بهبود کارایی با Data Skew Handling
• 69. مدیریت سریال‌سازی سفارشی در جاوا
• 70. کار با Spark در محیط Docker و Kubernetes
• 71. مدیریت لاگ‌های توزیع‌شده
• 72. بهینه‌سازی I/O و شبکه در Spark
• 73. مدیریت State Store و Checkpointing
• 74. معرفی Spark Connect و معماری جدید
• 75. مدیریت نسخه‌های API در Spark
• 76. نوشتن برنامه‌های Spark با معماری تمیز
• 77. مدیریت وابستگی‌های ترانزیتی
• 78. بهینه‌سازی با Tungsten Execution Engine
• 79. مدیریت فشرده‌سازی و کدک‌ها
• 80. کار با داده‌های بزرگ و استراتژی‌های Sampling
• 81. مدیریت Cost-Based Optimizer
• 82. نوشتن برنامه‌های قابل نگهداری Spark
• 83. مدیریت خطاهای شبکه و Failover
• 84. بهینه‌سازی برای Spark 3.x و بالاتر
• 85. مدیریت پکیج‌ها و پلاگین‌ها در Spark
• 86. کار با Spark و سیستم‌های NoSQL
• 87. مدیریت داده‌های ساختاریافته و نیمه‌ساختاریافته
• 88. بهبود کارایی با Vectorized Reader
• 89. مدیریت اجرای موازی و Thread Safety
• 90. نوشتن برنامه‌های Spark با تست‌پذیری بالا
• 91. مدیریت حافظه خارج از Heap
• 92. بهینه‌سازی برای محیط‌های ابری