دوره ساخت اپلیکیشن‌های داده‌محور مقیاس‌پذیر با Google Cloud Dataflow همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ساخت اپلیکیشن‌های داده‌محور مقیاس‌پذیر با Google Cloud Dataflow

موضوع کلی: مهندسی داده و معماری پردازش ابری

موضوع میانی: پردازش هم‌زمان داده‌های batch و streaming با Apache Beam

📋 سرفصل‌های دوره

• 1. شناخت اپلیکیشن‌های داده‌محور و الزامات مقیاس‌پذیری
• 2. مفاهیم پایه Apache Beam و Google Cloud Dataflow
• 3. مقایسه پردازش batch، streaming و مدل یکنواخت
• 4. داده‌های bounded و unbounded در مدل Beam
• 5. PCollection و مدل تبدیل‌های داده‌ای
• 6. تبدیل‌های element-wise و طراحی pipeline خالص
• 7. aggregate، group و محاسبه خلاصه‌های توزیع‌شده
• 8. Keyed PCollection و نقش کلیدها در پردازش موازی
• 9. joinهای داده‌های ساخت‌یافته و نیمه‌ساخت‌یافته
• 10. CoGroupByKey و الگوهای ترکیب داده‌های ناهم‌زمان
• 11. side input و اشتراک‌گذاری داده‌های کوچک
• 12. انتخاب الگوی join بر اساس حجم، تأخیر و هزینه
• 13. زمان رویداد و زمان پردازش
• 14. windowing و تعیین مرز بازه‌های زمانی
• 15. watermark و تخمین پیشرفت داده‌های streaming
• 16. کنترل داده‌های دیرهنگام با allowed lateness
• 17. داده‌های تکراری و طراحی خروجی‌های تکراری
• 18. پردازش حالت‌دار با Stateful DoFn
• 19. State، Timer و تبدیل‌های وابسته به زمان
• 20. custom windowing، trigger و combiner
• 21. طراحی pipelineهای deterministic و بازیابی‌پذیر
• 22. معماری کلی pipeline و مرزهای پردازشی
• 23. PipelineOptions و تنظیمات runtime
• 24. Dataflow Runner و انتخاب اجرای متناسب
• 25. اجرای batch و streaming در Dataflow
• 26. گذار از پردازش batch به streaming
• 27. مشاهده execution graph و تحلیل مراحل
• 28. stages، workers و scheduling
• 29. shuffle و انتقال داده بین مراحل
• 30. autoscaling و مدیریت منابع
• 31. تنظیم worker size، CPU، memory و network
• 32. انتخاب source و sink بر اساس الگوی داده
• 33. خواندن و نوشتن داده در BigQuery
• 34. استفاده از Pub/Sub برای ingestion لحظه‌ای
• 35. کار با Cloud Storage و فایل‌های بزرگ
• 36. اتصال به Kafka با Apache Beam IO
• 37. کار با فرمت‌های Avro و Parquet
• 38. schema، validation و schema evolution
• 39. ساخت source و sink سفارشی
• 40. watermark و estimated size در I/O سفارشی
• 41. چرخه عمر DoFn و کنترل parallelism
• 42. caching side input و fanout
• 43. خطا، retry و dead-letter queue
• 44. کنترل side effects و طراحی idempotent
• 45. اعتبارسنجی داده و داده‌های نامعتبر
• 46. metrics، logging و observability
• 47. profilng و شناسایی گلوگاه‌های pipeline
• 48. بهینه‌سازی pipelineهای batch
• 49. بهینه‌سازی pipelineهای streaming
• 50. کنترل هزینه، quota و ظرفیت منابع
• 51. IAM، encryption و امنیت داده
• 52. network isolation و محل نگهداری داده
• 53. templates، reusable components و versioning
• 54. تست واحد، یکپارچه و simulation
• 55. استقرار خودکار با CI/CD
• 56. مانیتورینگ، هشدار و runbook عملیاتی
• 57. الگوهای معماری ETL و ELT
• 58. تحلیل داده‌های لحظه‌ای و aggregation
• 59. داده‌پردازی و dimension lookup
• 60. جریان‌سازی featureهای مدل‌های machine learning
• 61. streaming joins و enrichment حالت‌دار
• 62. طراحی resilient pipeline برای محیط production
• 63. معماری پایانی: طراحی، اجرا و ارزیابی یک سیستم داده‌محور کامل