فلش‌کارت‌های آموزشی بهینه‌سازی و طراحی معماری سیستم‌های داده با Apache Iceberg

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی و طراحی معماری سیستم‌های داده با Apache Iceberg

موضوع کلی: علوم کامپیوتر و مهندسی نرم‌افزار

موضوع میانی: پایگاه داده و سیستم‌های ذخیره‌سازی داده

📋 سرفصل‌های دوره

• 1. مبانی سیستم‌های ذخیره‌سازی داده
• 2. معرفی Apache Iceberg
• 3. معماری هسته Apache Iceberg
• 4. ساختار داده در Iceberg: جداول و پارتیشن‌ها
• 5. فرمت‌های فایل پشتیبان Iceberg
• 6. Apache Parquet در Iceberg
• 7. Apache ORC در Iceberg
• 8. Apache Avro در Iceberg
• 9. مدیریت متادیتا در Iceberg
• 10. فایل‌های Manifest و Manifest List
• 11. عملیات نوشتن در Iceberg
• 12. تراکنش‌ها و سازگاری در Iceberg
• 13. انواع عملیات نوشتن: Insert, Update, Delete
• 14. Upsert و Merge در Iceberg
• 15. Schema Evolution در Iceberg
• 16. Schema Evolution: افزودن ستون
• 17. Schema Evolution: حذف ستون
• 18. Schema Evolution: تغییر نام ستون
• 19. Schema Evolution: تغییر نوع داده
• 20. مدیریت اسنپ‌شات‌ها در Iceberg
• 21. بازیابی داده با اسنپ‌شات‌ها
• 22. Time Travel در Iceberg
• 23. Rollback به اسنپ‌شات‌های قبلی
• 24. Query Planning در Iceberg
• 25. بهینه‌سازی Query Planning
• 26. فیلترینگ داده در زمان Planning
• 27. پارتیشن پروبینگ (Partition Pruning)
• 28. فایل پروبینگ (File Pruning)
• 29. Prequel: بهینه‌سازی در سطح فایل
• 30. Metadata Cache در Iceberg
• 31. تنظیمات Metadata Cache
• 32. پلانینگ کوئری برای عملیات خواندن
• 33. پلانینگ کوئری برای عملیات نوشتن
• 34. انواع Join در Iceberg
• 35. بهینه‌سازی Join در Iceberg
• 36. تکنیک‌های Partitioning
• 37. Partitioning: انواع کلیدها
• 38. Partitioning: مرتب‌سازی داده‌ها
• 39. مرتب‌سازی داده‌ها در Iceberg
• 40. مرتب‌سازی در سطح پارتیشن
• 41. مرتب‌سازی در سطح فایل
• 42. تکنیک‌های Compaction
• 43. Compaction: ادغام فایل‌های کوچک
• 44. Compaction: مدیریت فایل‌های زائد
• 45. مدیریت فایل‌های کوچک (Small File Problem)
• 46. استراتژی‌های Compaction
• 47. زمان‌بندی Compaction
• 48. Compaction بر اساس اندازه فایل
• 49. Compaction بر اساس تعداد فایل
• 50. Compaction بر اساس زمان
• 51. موتورهای پردازش داده و Iceberg
• 52. Spark و Iceberg
• 53. Flink و Iceberg
• 54. Trino (PrestoSQL) و Iceberg
• 55. Hive و Iceberg
• 56. PrestoDB و Iceberg
• 57. Dremio و Iceberg
• 58. Amazon Athena و Iceberg
• 59. Snowflake و Iceberg
• 60. Google BigQuery و Iceberg
• 61. Azure Synapse Analytics و Iceberg
• 62. Data Lakehouse با Iceberg
• 63. مفاهیم Data Lakehouse
• 64. مزایای Data Lakehouse
• 65. Iceberg به عنوان ستون فقرات Lakehouse
• 66. انتقال داده به Iceberg
• 67. مهاجرت از Hive به Iceberg
• 68. مهاجرت از جداول فایل‌محور به Iceberg
• 69. امنیت داده در Iceberg
• 70. کنترل دسترسی در Iceberg
• 71. مجوزهای سطح جدول
• 72. مجوزهای سطح ستون
• 73. مجوزهای سطح فایل (با استفاده از لایه‌های امنیتی خارجی)
• 74. مدیریت هزینه‌ها در سیستم‌های داده
• 75. بهینه‌سازی ذخیره‌سازی با Iceberg
• 76. کاهش I/O با Iceberg
• 77. مدیریت چرخه عمر داده (Data Lifecycle Management)
• 78. نگهداری داده‌ها در Iceberg
• 79. آرشیو کردن داده‌ها
• 80. حذف داده‌های قدیمی
• 81. نظارت و مانیتورینگ Iceberg
• 82. ابزارهای مانیتورینگ
• 83. گزارش‌گیری از وضعیت Iceberg
• 84. بررسی خطاها و لاگ‌ها
• 85. عیب‌یابی مشکلات Iceberg
• 86. بهینه‌سازی عملکرد کوئری‌ها
• 87. تنظیمات پارتیشن‌بندی برای عملکرد
• 88. تنظیمات مرتب‌سازی برای عملکرد
• 89. تنظیمات Compaction برای عملکرد
• 90. مدیریت Schema Evolution در مقیاس بزرگ
• 91. استراتژی‌های Rollback و Recovery
• 92. پشتیبان‌گیری و بازیابی Iceberg
• 93. رابط‌های برنامه‌نویسی Iceberg (APIs)
• 94. Java API برای Iceberg
• 95. Python API برای Iceberg
• 96. SQL Interface در Iceberg
• 97. اکوسیستم Iceberg
• 98. پروژه‌های مرتبط با Iceberg
• 99. کاربرد Iceberg در صنایع مختلف
• 100. مطالعات موردی پیاده‌سازی Iceberg