فلش‌کارت‌های آموزشی طراحی، پیاده‌سازی و بهینه‌سازی انبارهای داده مقیاس‌پذیر با استفاده از BigQuery

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره طراحی، پیاده‌سازی و بهینه‌سازی انبارهای داده مقیاس‌پذیر با استفاده از BigQuery

موضوع کلی: علوم داده و تحلیل هوشمند

موضوع میانی: معماری و مدیریت انبارهای داده ابری

📋 سرفصل‌های دوره

• 1. مبانی و مفاهیم بنیادین انبارهای داده ابری
• 2. معماری سیستم‌های ذخیره‌سازی داده در محیط‌های توزیع‌شده
• 3. آشنایی با پلتفرم گوگل کلود و سرویس BigQuery
• 4. مدل‌سازی داده‌ها در انبارهای داده مدرن
• 5. تفاوت‌های کلیدی انبارهای داده سنتی و سیستم‌های ابری
• 6. طراحی طرح‌واره‌های ستاره‌ای و دانه‌برفی در بیگ‌کوئری
• 7. مدیریت پروژه‌ها و مجموعه‌های داده در کنسول گوگل کلود
• 8. استراتژی‌های انتقال داده به فضای ابری
• 9. کار با دستورات SQL در محیط بیگ‌کوئری
• 10. کاربرد جداول پارتیشن‌بندی شده برای بهبود عملکرد
• 11. استفاده از جداول خوشه‌بندی شده برای بهینه‌سازی پرس‌وجوها
• 12. مدیریت انواع داده‌های پیچیده و آرایه‌ها در SQL
• 13. کار با جداول خارجی و یکپارچه‌سازی با Google Cloud Storage
• 14. بهینه‌سازی هزینه‌های پردازش در بیگ‌کوئری
• 15. مدیریت سطوح دسترسی و امنیت داده‌ها بر اساس استانداردهای سازمانی
• 16. تکنیک‌های بارگذاری داده‌های حجیم با استفاده از Batch Load
• 17. استفاده از جریان‌های داده‌ای لحظه‌ای با Streaming API
• 18. مانیتورینگ و تحلیل عملکرد پرس‌وجوها با Query Plan
• 19. شناسایی و رفع گلوگاه‌های پردازشی در جداول بزرگ
• 20. استفاده از جداول materialized برای تسریع گزارش‌گیری
• 21. مدیریت چرخه‌ی حیات داده‌ها و سیاست‌های انقضا
• 22. یکپارچه‌سازی بیگ‌کوئری با ابزارهای گزارش‌ساز و هوش تجاری
• 23. پیاده‌سازی مدل‌های یادگیری ماشین در بیگ‌کوئری با BigQuery ML
• 24. آموزش پیش‌پردازش داده‌ها برای تحلیل‌های آماری
• 25. تکنیک‌های پارتیشن‌بندی پیشرفته مبتنی بر زمان
• 26. مدیریت هم‌زمانی و سهمیه‌های پردازشی در سازمان
• 27. به‌کارگیری ابزارهای مدیریت نسخه برای کد‌های SQL
• 28. اصول حاکمیت داده و رعایت استانداردهای محرمانگی در فضای ابری
• 29. روش‌های پشتیبان‌گیری و بازیابی داده‌ها در معماری ابری
• 30. مستندسازی طرح‌واره‌ها و استفاده از Data Catalog
• 31. بهینه‌سازی پرس‌وجوهای چندجداره و جوین‌های سنگین
• 32. مقایسه عملکرد ذخیره‌سازی ستونی و ردیفی
• 33. استفاده از توابع تعریف‌شده توسط کاربر در SQL
• 34. مدیریت خطا و عیب‌یابی در خط لوله‌های انتقال داده
• 35. تکنیک‌های پاک‌سازی و آماده‌سازی داده‌ها در مقیاس بالا
• 36. مهاجرت از پایگاه‌های داده رابطه‌ای به بیگ‌کوئری
• 37. استفاده از دستورات DDL برای مدیریت ساختار داده‌ها
• 38. ارزیابی کیفیت داده‌ها و اعتبارسنجی ورودی‌ها
• 39. طراحی داشبوردهای مدیریتی متصل به انبار داده
• 40. بررسی موردی طراحی انبار داده برای تحلیل‌های مالی
• 41. اصول مقیاس‌پذیری افقی در انبارهای داده ابری
• 42. استفاده از کش و نتایج ذخیره‌شده برای کاهش هزینه‌ها
• 43. بهینه‌سازی حافظه و منابع محاسباتی در پرس‌وجوهای پیچیده
• 44. آشنایی با معماری داده‌های بزرگ و دریاچه‌های داده
• 45. تلفیق داده‌های ساختاریافته و نیمه‌ساختاریافته
• 46. روش‌های تست و ارزیابی انبارهای داده قبل از استقرار
• 47. پیکربندی اعلان‌ها و هشدارها برای مانیتورینگ سیستم
• 48. مدیریت تغییرات در طرح‌واره‌های داده‌ای در حال تولید
• 49. استراتژی‌های بهینه‌سازی فضای ذخیره‌سازی در بلندمدت
• 50. خلاصه و جمع‌بندی مسیر طراحی انبارهای داده مقیاس‌پذیر