دوره راهکارهای نوین مدیریت داده‌های حجیم با استفاده از Delta Lake و Spark همراه با فلش‌کارت آموزشی — ارائه روی فلش مموری

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره راهکارهای نوین مدیریت داده‌های حجیم با استفاده از Delta Lake و Spark

موضوع کلی: علوم داده و مهندسی کلان‌داده

موضوع میانی: معماری دریاچه داده (Data Lake) و ذخیره‌سازی مقیاس‌پذیر

📋 سرفصل‌های دوره

• 1. مبانی و مفاهیم بنیادین کلان‌داده و چالش‌های انباره‌های داده سنتی
• 2. معرفی معماری دریاچه داده و نقش Delta Lake در مدیریت داده‌ها
• 3. نصب و راه‌اندازی محیط توسعه برای کار با Spark و Delta Lake
• 4. ساختار فایل‌ها در دریاچه داده و اهمیت فرمت Parquet
• 5. آشنایی با مدل داده‌ای Delta Lake و مزایای تراکنش‌های ACID
• 6. ایجاد و مدیریت جداول Delta در محیط Spark
• 7. عملیات درج و به‌روزرسانی داده‌ها در جداول Delta
• 8. استفاده از دستورات Merge برای مدیریت تغییرات داده‌ها
• 9. مفهوم Time Travel و دسترسی به نسخه‌های پیشین داده‌ها
• 10. بررسی مکانیزم ثبت تراکنش‌ها در Delta Log
• 11. بهینه‌سازی عملکرد با دستورات Optimize و Z-Ordering
• 12. مدیریت فایل‌های کوچک و پاکسازی داده‌های قدیمی با Vacuum
• 13. یکپارچه‌سازی Delta Lake با موتور پردازشی Apache Spark
• 14. تکنیک‌های خواندن و نوشتن داده‌های جریانی با Structured Streaming
• 15. مدیریت طرح‌واره و تکامل ستون‌ها در جداول Delta
• 16. استفاده از Partitioning برای افزایش سرعت کوئری‌ها
• 17. مقایسه عملکرد ذخیره‌سازی داده‌ها در فرمت‌های مختلف
• 18. امنیت و کنترل دسترسی در دریاچه‌های داده
• 19. پایش سلامت و تحلیل عملکرد جداول در مقیاس بزرگ
• 20. استفاده از Delta Sharing برای اشتراک‌گذاری ایمن داده‌ها
• 21. پیاده‌سازی معماری Medallion شامل لایه‌های Bronze و Silver و Gold
• 22. تکنیک‌های تبدیل و پاکسازی داده‌ها در لایه Bronze
• 23. پردازش و غنی‌سازی داده‌ها در لایه Silver
• 24. آماده‌سازی داده‌ها برای تحلیل نهایی در لایه Gold
• 25. استفاده از Delta Lake در محیط‌های ابری و توزیع‌شده
• 26. مدیریت خطاهای رایج در پردازش‌های سنگین داده
• 27. استفاده از SQL برای پرس‌وجو بر روی جداول Delta
• 28. بهینه‌سازی حافظه و منابع در کلاسترهای Spark
• 29. بررسی مفاهیم Caching و Persistence در پردازش‌های داده
• 30. تکنیک‌های تست و اعتبارسنجی کیفیت داده‌ها
• 31. مستندسازی و مدیریت فراداده‌ها در دریاچه داده
• 32. طراحی خط لوله داده‌های بلادرنگ با Delta Lake
• 33. بررسی مدل‌های ذخیره‌سازی ستونی و تأثیر آن بر کارایی
• 34. مدیریت نسخه‌بندی داده‌ها در محیط‌های عملیاتی
• 35. استفاده از ایندکس‌گذاری برای بهبود سرعت جستجو
• 36. بررسی ابزارهای گزارش‌گیری و اتصال به Delta Lake
• 37. پیاده‌سازی استراتژی‌های پشتیبان‌گیری و بازیابی داده‌ها
• 38. حل مسائل مقیاس‌پذیری در کلان‌داده
• 39. آینده معماری‌های داده و جایگاه دریاچه‌های داده در سازمان‌ها
• 40. پروژه عملی: طراحی و پیاده‌سازی یک دریاچه داده جامع