فلش‌کارت‌های آموزشی پیاده‌سازی سامانه‌های داده‌پردازی با زبان Rust و تکنولوژی Delta Lake

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پیاده‌سازی سامانه‌های داده‌پردازی با زبان Rust و تکنولوژی Delta Lake

موضوع کلی: علوم داده و مهندسی نرم‌افزار

موضوع میانی: معماری کلان‌داده و پردازش توزیع‌شده

📋 سرفصل‌های دوره (100 موضوع)

• 1. مبانی زبان برنامه‌نویسی راست برای مهندسی داده
• 2. مدیریت حافظه و ایمنی در راست و کاربرد آن در پردازش داده
• 3. معرفی اکوسیستم داده‌های کلان و نقش دلتا لیک
• 4. نصب و راه‌اندازی محیط توسعه برای پردازش داده با راست
• 5. ساختار داده‌ها و مدیریت انواع در راست
• 6. کار با فایل‌سیستم و ورودی و خروجی در راست
• 7. مبانی پردازش موازی و چندنخی در راست
• 8. معرفی کتابخانه ارور (Arrow) و مدل داده‌ای ستونی
• 9. کار با دیتافریم‌ها در اکوسیستم راست
• 10. اتصال به منابع داده‌ای مختلف با استفاده از راست
• 11. طراحی معماری دلتا لیک و مزایای آن
• 12. ساختار ذخیره‌سازی فایل‌های پارکت و لاگ‌های تراکنش
• 13. خواندن و نوشتن جداول دلتا با استفاده از راست
• 14. مدیریت طرح‌واره (Schema) در جداول دلتا
• 15. پیاده‌سازی تراکنش‌های ACID در دلتا لیک
• 16. بهینه‌سازی پرس‌وجوها در محیط‌های توزیع‌شده
• 17. استفاده از کتابخانه دیتالیک-رس (delta-rs)
• 18. عملیات به‌روزرسانی و حذف داده در جداول دلتا
• 19. مدیریت نسخه‌بندی داده‌ها و بازگشت به نسخه‌های پیشین
• 20. فشرده‌سازی و بهینه‌سازی فایل‌های داده
• 21. کار با داده‌های جریانی (Streaming) در معماری دلتا
• 22. پردازش داده‌های حجیم با استفاده از مدل توزیع‌شده
• 23. یکپارچه‌سازی راست با ابزارهای پردازش توزیع‌شده
• 24. مدیریت خطا و استثنائات در خط لوله داده
• 25. تست‌نویسی و ارزیابی کیفیت کدهای پردازش داده
• 26. مانیتورینگ و لاگ‌گذاری در سامانه‌های داده‌پردازی
• 27. امنیت داده‌ها و مدیریت دسترسی در معماری دلتا
• 28. بهینه‌سازی کارایی حافظه در پردازش‌های سنگین
• 29. مدیریت وابستگی‌ها و بسته‌بندی پروژه‌های داده با کارگو
• 30. طراحی خط لوله داده (Data Pipeline) مقیاس‌پذیر
• 31. کار با متادیتای جداول دلتا
• 32. مفاهیم پارتیشن‌بندی داده‌ها برای افزایش سرعت
• 33. استفاده از ایندکس‌گذاری در جداول دلتا
• 34. پیاده‌سازی الگوریتم‌های پردازش داده در محیط راست
• 35. ارتباط بین راست و موتورهای پردازش توزیع‌شده
• 36. مدیریت حافظه در عملیات‌های سنگین تبدیل داده
• 37. استقرار سامانه‌های داده در محیط‌های ابری و محلی
• 38. مقیاس‌پذیری افقی در سامانه‌های داده‌پردازی راست
• 39. بررسی موردی: طراحی یک انبار داده مدرن با راست و دلتا لیک
• 40. مستندسازی و نگهداری کدهای مهندسی داده