فلش‌کارت‌های آموزشی طراحی و پیاده‌سازی زیرساخت‌های داده‌ای مقیاس‌پذیر با استفاده از Apache Pulsar و Delta Lake

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره طراحی و پیاده‌سازی زیرساخت‌های داده‌ای مقیاس‌پذیر با استفاده از Apache Pulsar و Delta Lake

موضوع کلی: مهندسی داده و سامانه‌های پردازش کلان

موضوع میانی: معماری نوین انبارهای داده و پردازش جریان (Streaming)

📋 سرفصل‌های دوره

• 1. مبانی معماری داده‌های مدرن و مفهوم Lakehouse
• 2. بررسی چالش‌های مقیاس‌پذیری در انبارهای داده سنتی
• 3. آشنایی با ساختار و اجزای Apache Pulsar
• 4. مفاهیم پیام‌رسانی توزیع‌شده و مدل انتشار-اشتراک
• 5. معماری چندلایه و جداسازی محاسبات از ذخیره‌سازی در Pulsar
• 6. آشنایی با Delta Lake و مزایای لایه ذخیره‌سازی باز
• 7. مقایسه فرمت‌های ذخیره‌سازی داده در محیط‌های توزیع‌شده
• 8. طراحی مدل داده‌ برای Lakehouse با استفاده از Parquet
• 9. مدیریت تراکنش‌های ACID در محیط‌های داده‌ای حجیم
• 10. پیاده‌سازی Schema Enforcement در Delta Lake
• 11. مفهوم Time Travel و مدیریت نسخه‌های داده
• 12. نصب و راه‌اندازی کلاستر Apache Pulsar در محیط عملیاتی
• 13. مدیریت توزیع بار (Load Balancing) در Pulsar
• 14. پیکربندی Brokerها و Bookieها برای پایداری داده
• 15. استراتژی‌های پارتیشن‌بندی در جریان‌های داده‌ای (Streaming)
• 16. مدیریت وضعیت (State Management) در پردازش جریان
• 17. ترکیب Apache Pulsar و Delta Lake برای خط لوله داده‌ای
• 18. پیاده‌سازی معماری Lambda و Kappa با ابزارهای مدرن
• 19. استفاده از Pulsar Functions برای پردازش داده در لحظه
• 20. اتصال Pulsar به Delta Lake با استفاده از کانکتورهای استاندارد
• 21. مدیریت جریان‌های داده‌ای با تأخیر کم (Low Latency)
• 22. بهینه‌سازی عملیات Write در Delta Lake
• 23. استراتژی‌های ایندکس‌گذاری داده برای جستجوی سریع
• 24. ابزارهای تحلیل سلامت کلاستر Pulsar
• 25. مدیریت خطا و بازیابی داده در پردازش‌های توزیع‌شده
• 26. کنترل دسترسی مبتنی بر نقش (RBAC) در محیط‌های Lakehouse
• 27. رمزنگاری داده‌ها در حال انتقال و در حالت سکون
• 28. بهینه‌سازی عملکرد با استفاده از Caching در سطوح مختلف
• 29. مدیریت چرخه‌ی حیات داده و حذف داده‌های قدیمی (Compaction)
• 30. استفاده از Spark برای پردازش دسته‌ای (Batch) داده‌های Delta
• 31. یکپارچه‌سازی با ابزارهای تحلیل داده و داشبوردهای مدیریتی
• 32. مهاجرت از معماری‌های داده‌ای قدیمی به Lakehouse
• 33. بررسی الگوهای طراحی برای مقیاس‌بندی افقی
• 34. تکنیک‌های فشرده‌سازی و بهینه‌سازی ذخیره‌سازی
• 35. مدیریت متا‌داده‌ها در محیط‌های داده‌ای حجیم
• 36. تست و اعتبارسنجی خط لوله‌های پردازش جریان
• 37. ارائه گزارش‌های عملیاتی از وضعیت سلامت سیستم داده‌ای