دوره استقرار Apache Spark روی Kubernetes همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره استقرار Apache Spark روی Kubernetes

موضوع کلی: هوش مصنوعی بومی و کاربردی

موضوع میانی: Spark

📋 سرفصل‌های دوره

• 1. مبانی Apache Spark و مدل پردازش توزیع‌شده
• 2. معماری Driver، Executor و Cluster Manager
• 3. چرخه حیات برنامه‌های Spark روی Kubernetes
• 4. مقایسه استقرار Spark روی YARN، Standalone و Kubernetes
• 5. مفاهیم ضروری Kubernetes برای استقرار Spark
• 6. کار با Pod، Namespace، Label و Annotation
• 7. مدیریت پیکربندی با ConfigMap
• 8. مدیریت داده‌های حساس با Secret
• 9. اعطای دسترسی Spark به API Kubernetes با RBAC
• 10. PersistentVolume، PersistentVolumeClaim و StorageClass
• 11. نصب خوشه آزمایشی Kubernetes با minikube یا kind
• 12. آماده‌سازی خوشه تولیدی و الزامات زیرساختی
• 13. معماری بومی Spark در Kubernetes
• 14. نقش Driver Pod در اجرا و هماهنگی برنامه
• 15. نقش Executor Pod و مدیریت چرخه حیات آن
• 16. ارسال برنامه با spark-submit روی Kubernetes
• 17. پیکربندی Submit و اتصال به API سرور Kubernetes
• 18. ساخت تصویر Docker بهینه برای Spark
• 19. انتشار تصویر در Registry و تنظیم ImagePullSecret
• 20. مدیریت JAR، Python Package و فایل‌های وابسته
• 21. تخصیص CPU و حافظه به Driver و Executor
• 22. اثر Requests و Limits بر زمان‌بندی Pod
• 23. استفاده از Pod Templates برای Sidecar، Volume و تنظیمات Pod
• 24. پیکربندی Dynamic Allocation در Kubernetes
• 25. External Shuffle Service و Shuffle Tracking در تخصیص پویا
• 26. زمان‌بندی با Affinity، Taints و Toleration
• 27. اولویت، Preemption و بارهای کاری حساس
• 28. نصب Spark Operator با Helm
• 29. CRD و ساختار SparkApplication
• 30. نوشتن Manifest اجرای Batch
• 31. اجرای Structured Streaming
• 32. تنظیم RestartPolicy و تاب‌آوری برنامه
• 33. اعتبارسنجی و پایش وضعیت SparkApplication
• 34. مدیریت RBAC اختصاصی Spark Operator
• 35. انتخاب نسخه‌های سازگار Spark، Operator و Kubernetes
• 36. استقرار در Kubernetes ابری
• 37. استقرار در Kubernetes داخلی
• 38. یکپارچه‌سازی با Object Storage سازگار با S3
• 39. یکپارچه‌سازی با HDFS و مدیریت اعتبارنامه‌ها
• 40. استفاده از PersistentVolume برای Checkpoint و Shuffle
• 41. بهینه‌سازی Data Locality در Kubernetes
• 42. مدیریت شبکه، DNS و ارتباط Driver با Executor
• 43. محدودسازی ترافیک با NetworkPolicy
• 44. دسترسی امن به Spark UI از طریق Port-Forward و Ingress
• 45. طراحی Namespace برای جداسازی محیط‌ها
• 46. اعمال ResourceQuota و LimitRange
• 47. سیاست‌های چنداجاره‌ای برای Tenantهای Spark
• 48. پیکربندی High Availability برای Driver
• 49. بازیابی برنامه‌های Batch پس از خرابی
• 50. تداوم Structured Streaming و مدیریت Checkpoint
• 51. پیکربندی TLS و ارتباطات امن
• 52. مدیریت Token، Kerberos و احراز هویت داده‌ها
• 53. رعایت Pod Security Standards
• 54. اجرای برنامه‌های GPU محور
• 55. زمان‌بندی منابع ویژه با Device Plugin
• 56. اتصال Cluster Autoscaler به بارهای Spark
• 57. مقیاس‌پذیری گره‌ها با Karpenter
• 58. استقرار History Server با ذخیره‌سازی پایدار
• 59. جمع‌آوری Logs از Driver و Executor
• 60. ارسال Metrics به Prometheus و Grafana
• 61. پایش شاخص‌های Driver، Executor و Shuffle
• 62. تحلیل Kubernetes Events در عیب‌یابی
• 63. عیب‌یابی ImagePullBackOff
• 64. عیب‌یابی Pending و Unschedulable
• 65. عیب‌یابی CrashLoopBackOff و OOMKilled
• 66. عیب‌یابی اختلال شبکه Driver و Executor
• 67. عیب‌یابی خطاهای ذخیره‌سازی و Checkpoint
• 68. مدیریت پیکربندی در توسعه، تست و تولید
• 69. خودکارسازی استقرار با CI/CD
• 70. استقرار GitOps برای Operator و برنامه‌ها
• 71. آزمون بار و اعتبارسنجی مقیاس‌پذیری
• 72. برنامه‌ریزی ظرفیت و برآورد هزینه
• 73. مدیریت نسخه، ارتقا و سازگاری خوشه
• 74. طراحی معماری مرجع تولیدی
• 75. تدوین Runbook عملیاتی و پاسخ به حادثه
• 76. پروژه پایانی: استقرار کامل Spark روی Kubernetes