فلش‌کارت‌های آموزشی راهنمای جامع پیاده‌سازی و مدیریت داده‌ با استفاده از Apache Iceberg

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره راهنمای جامع پیاده‌سازی و مدیریت داده‌ با استفاده از Apache Iceberg

موضوع کلی: علوم داده و مهندسی داده‌های کلان (Big Data)

موضوع میانی: مدیریت و ذخیره‌سازی داده‌ها در انبارهای داده مدرن (Data Lakehouse)

📋 سرفصل‌های دوره

• 1. مبانی معماری داده‌های مدرن و گذار از دریاچه داده به لیک‌هاوس
• 2. آشنایی با مفاهیم پایه و ضرورت استفاده از Apache Iceberg
• 3. بررسی معماری جداول در Apache Iceberg و ساختار فایل‌بندی
• 4. نصب و راه‌اندازی محیط توسعه برای کار با Iceberg
• 5. مدیریت کاتالوگ‌ها در Iceberg و اهمیت لایه متادیت
• 6. ساختار فایل‌های متادیت و Snapshotها در Iceberg
• 7. عملیات خواندن و نوشتن در جداول Iceberg
• 8. تحلیل تفاوت‌های جداول سنتی Hive و فرمت مدرن Iceberg
• 9. پیکربندی کاتالوگ‌های Hive و Hadoop برای مدیریت جداول
• 10. پیاده‌سازی تراکنش‌های ACID در محیط داده‌های کلان
• 11. مدیریت تغییرات داده با استفاده از قابلیت Time Travel
• 12. بهینه‌سازی پرس‌وجوهای SQL با استفاده از پارتیشن‌بندی پیشرفته
• 13. تکنیک‌های Partition Evolution بدون نیاز به بازنویسی داده
• 14. استفاده از Hidden Partitioning برای ساده‌سازی پرس‌وجوها
• 15. مدیریت داده‌های خرد و عملیات Compaction برای افزایش کارایی
• 16. حذف و به‌روزرسانی داده‌ها با استفاده از دستورات Row-level
• 17. بررسی مکانیزم Snapshot Management و پاکسازی داده‌های قدیمی
• 18. یکپارچه‌سازی Iceberg با موتورهای پردازشی Spark
• 19. اتصال و کار با Iceberg در محیط Trino و Presto
• 20. مدیریت امنیت و دسترسی به داده‌ها در سطح جداول Iceberg
• 21. پیاده‌سازی استراتژی‌های ذخیره‌سازی داده‌های حجیم در فضای ابری
• 22. مانیتورینگ و عیب‌یابی عملکرد جداول در مقیاس بزرگ
• 23. بهینه‌سازی طرح‌بندی فایل‌ها با استفاده از Z-Ordering و Hilbert Curves
• 24. مدیریت نسخه‌های مختلف جداول و بازیابی داده‌ها
• 25. استفاده از Iceberg در خط‌لوله‌های داده‌ای (Data Pipelines)
• 26. بررسی قابلیت‌های Schema Evolution و سازگاری با تغییرات ساختاری
• 27. مدیریت داده‌های جریانی (Streaming) و اینجشن لحظه‌ای در Iceberg
• 28. تکنیک‌های فشرده‌سازی و فرمت‌های ذخیره‌سازی فایل (Parquet, Avro, ORC)
• 29. ارزیابی کارایی و بنچ‌مارک‌های جداول Iceberg در محیط عملیاتی
• 30. پیاده‌سازی بهترین روش‌ها برای نگهداری و مدیریت چرخه عمر داده
• 31. مدیریت متادیت‌های حجیم و بهینه‌سازی کاتالوگ در انبارهای داده بزرگ
• 32. امنیت داده‌ها و انطباق با سیاست‌های حاکمیت داده (Data Governance)
• 33. راهکارهای مهاجرت داده از فرمت‌های قدیمی به Apache Iceberg
• 34. آشنایی با ابزارهای مدیریت و بصری‌سازی جداول Iceberg
• 35. حل چالش‌های رایج در پیاده‌سازی لیک‌هاوس با Iceberg
• 36. استفاده از Iceberg در محیط‌های چند ابری و توزیع‌شده
• 37. بررسی آینده معماری داده و تکامل فرمت‌های جدول باز