فلش‌کارت‌های آموزشی مدیریت تراکنشی (ACID) بر روی داده‌های آبشاری با فرمت‌های جدولی باز

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مدیریت تراکنشی (ACID) بر روی داده‌های آبشاری با فرمت‌های جدولی باز

موضوع کلی: علوم داده و تحلیل کلان‌داده (Big Data Analytics)

موضوع میانی: معماری و مدیریت انبارهای داده مدرن (Data Lakehouse)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر معماری Data Lakehouse
• 2. مفاهیم تراکنش و ACID در انبارهای داده
• 3. چالش‌های پیاده‌سازی ACID در Data Lakehouse
• 4. فرمت‌های جدولی باز: Delta Lake، Apache Iceberg، Apache Hudi
• 5. مقایسه فرمت‌های جدولی باز از نظر ACID
• 6. Delta Lake: معماری و اجزای اصلی
• 7. Delta Lake: نوشتن و خواندن تراکنشی
• 8. Delta Lake: کنترل همزمانی (Concurrency Control)
• 9. Delta Lake: ایزوله کردن خواندن و نوشتن (Read-Write Isolation)
• 10. Delta Lake: بهینه‌سازی عملکرد کوئری
• 11. Apache Iceberg: معماری و مفاهیم کلیدی
• 12. Apache Iceberg: تراکنش‌ها و Snapshot Isolation
• 13. Apache Iceberg: تکامل Schema و مدیریت داده
• 14. Apache Hudi: معماری و انواع جداول (Copy On Write, Merge On Read)
• 15. Apache Hudi: نوشتن و خواندن داده با Hudi
• 16. Apache Hudi: Update و Delete عملیات
• 17. مقایسه Delta Lake، Iceberg و Hudi بر اساس ACID
• 18. بهینه‌سازی عملکرد تراکنش‌ها در Data Lakehouse
• 19. مانیتورینگ و عیب‌یابی تراکنش‌ها
• 20. استفاده از Spark برای کار با Delta Lake
• 21. استفاده از Hive/Presto برای کار با Iceberg و Hudi
• 22. استفاده از Trino برای کار با فرمت‌های جدولی باز
• 23. پیاده‌سازی Data Lakehouse با ACID در AWS
• 24. پیاده‌سازی Data Lakehouse با ACID در Azure
• 25. پیاده‌سازی Data Lakehouse با ACID در Google Cloud Platform
• 26. امنیت داده در Data Lakehouse با ACID
• 27. مدیریت Metadata در Data Lakehouse
• 28. Data Governance و Compliance در Data Lakehouse
• 29. استفاده از Lakehouse Monitoring Tools
• 30. Data Lineage و Audit Trail در Data Lakehouse
• 31. بهبود کیفیت داده با استفاده از ACID Transactions
• 32. برنامه‌ریزی ظرفیت و مقیاس‌پذیری Data Lakehouse
• 33. معماری Lambda و Kappa در Data Lakehouse
• 34. بهترین شیوه‌ها برای طراحی Data Lakehouse با ACID