فلش‌کارت‌های آموزشی پیاده‌سازی زیرساخت‌های داده‌ای مقیاس‌پذیر با استفاده از Apache Flink و Apache Iceberg

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پیاده‌سازی زیرساخت‌های داده‌ای مقیاس‌پذیر با استفاده از Apache Flink و Apache Iceberg

موضوع کلی: مهندسی داده و سامانه‌های تحلیل کلان‌داده

موضوع میانی: معماری انبارهای داده مدرن و پردازش بلادرنگ

📋 سرفصل‌های دوره

• 1. مبانی و مفاهیم نوین در انبارهای داده مدرن
• 2. معماری لایه ای داده ها و گذر از مدل های سنتی
• 3. آشنایی با اکوسیستم آپاچی فلینک و نقش آن در پردازش جریانی
• 4. نصب و پیکربندی اولیه محیط توسعه آپاچی فلینک
• 5. مفاهیم پایه و معماری داخلی آپاچی آیسبرگ
• 6. مدیریت جداول در آیسبرگ و قابلیت های تکامل طرحواره
• 7. مقایسه فرمت های ذخیره سازی داده در انبارهای داده مقیاس پذیر
• 8. طراحی پایپ لاین های داده با استفاده از Flink DataStream API
• 9. مدیریت وضعیت و بررسی مفاهیم State در پردازش جریانی
• 10. پنجره بندی داده ها و مدیریت زمان در پردازش بلادرنگ
• 11. اتصال آپاچی فلینک به منابع داده متنوع و سینک های خروجی
• 12. یکپارچه سازی آپاچی فلینک و آیسبرگ برای ذخیره سازی داده
• 13. درک مفهوم لایه های ذخیره سازی در معماری لِیک هاوس
• 14. بهینه سازی عملکرد نوشتن در جداول آیسبرگ
• 15. مکانیسم های فشرده سازی و سازماندهی فایل ها در آیسبرگ
• 16. استراتژی های خواندن داده و بهینه سازی کوئری ها
• 17. مدیریت تراکنش ها و ویژگی های ACID در انبارهای داده مدرن
• 18. بررسی مفاهیم Snapshot و Time Travel در آیسبرگ
• 19. پایش و مانیتورینگ پایپ لاین های پردازش داده
• 20. مدیریت خطا و بازیابی در پردازش های توزیع شده
• 21. تنظیمات حافظه و تخصیص منابع در کلاستر فلینک
• 22. کاربرد SQL در تحلیل داده های بلادرنگ با Flink SQL
• 23. یکپارچه سازی Flink SQL با کاتالوگ های آیسبرگ
• 24. پیاده سازی معماری لامبدا و کاپا با ابزارهای مدرن
• 25. استراتژی های پارتیشن بندی داده ها برای بهبود عملکرد
• 26. مدیریت چرخه حیات داده و سیاست های حذف رکوردها
• 27. روش های عیب یابی در پایپ لاین های پیچیده داده ای
• 28. بهینه سازی شبکه و سریال سازی داده ها در فلینک
• 29. استفاده از فرمت های فایل ستون محور مانند پارکت در آیسبرگ
• 30. بررسی چالش های مقیاس پذیری در پردازش داده های حجیم
• 31. طراحی معماری داده برای پاسخگویی به کوئری های تحلیلی سریع
• 32. مدیریت وابستگی های نرم افزاری در محیط های توزیع شده
• 33. تست و اعتبارسنجی پایپ لاین های داده ای پیش از استقرار
• 34. مستندسازی و استانداردهای طراحی زیرساخت های داده ای
• 35. بررسی موردی معماری های موفق داده محور در سازمان ها