فلش‌کارت‌های آموزشی ساخت زیرساخت‌های داده مقیاس‌پذیر برای هوش مصنوعی با رویکرد Data Lakehouse

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ساخت زیرساخت‌های داده مقیاس‌پذیر برای هوش مصنوعی با رویکرد Data Lakehouse

موضوع کلی: مهندسی داده و زیرساخت‌های کلان داده

موضوع میانی: طراحی و پیاده‌سازی دریاچه‌های داده (Data Lakehouses)

📋 سرفصل‌های دوره

• 1. مبانی مهندسی داده در مقیاس کلان
• 2. ضرورت Data Lakehouse در عصر هوش مصنوعی
• 3. معماری کلان داده و اجزای آن
• 4. مدیریت چرخه عمر داده‌ها در سازمان
• 5. اصول طراحی Data Lakehouse
• 6. انتخاب ابزارها و تکنولوژی‌های Data Lakehouse
• 7. پلتفرم‌های متن‌باز برای Data Lakehouse
• 8. پایگاه‌های داده ستونی و مزایای آن
• 9. فرمت‌های داده‌ای بهینه برای پردازش کلان
• 10. Apache Parquet: استانداردی برای داده‌های ستونی
• 11. Apache ORC: گزینه‌ای دیگر برای داده‌های ستونی
• 12. پروتکل‌های دسترسی به داده در Data Lakehouse
• 13. ذخیره‌سازی اشیاء (Object Storage) و نقش آن
• 14. Amazon S3 برای Data Lakehouse
• 15. Azure Data Lake Storage Gen2
• 16. Google Cloud Storage
• 17. مفاهیم کلیدی در مدیریت داده‌های حجیم
• 18. استراتژی‌های سازماندهی داده در Data Lakehouse
• 19. لایه خام (Raw Zone) در Data Lakehouse
• 20. لایه پالایش شده (Refined Zone)
• 21. لایه مصرف (Consumption Zone)
• 22. مدل‌سازی داده در Data Lakehouse
• 23. تکنیک‌های ETL/ELT برای Data Lakehouse
• 24. ابزارهای Orchestration مانند Apache Airflow
• 25. مدیریت کیفیت داده‌ها در Data Lakehouse
• 26. استانداردسازی داده‌ها و گلاسری داده
• 27. متا‌دیتای داده و کاتالوگ داده
• 28. Apache Hive Metastore
• 29. AWS Glue Data Catalog
• 30. Azure Data Catalog
• 31. امنیت در Data Lakehouse
• 32. مدیریت دسترسی و احراز هویت
• 33. رمزنگاری داده‌ها در حال سکون و در حال انتقال
• 34. پایش و ثبت وقایع (Logging) در Data Lakehouse
• 35. مقیاس‌پذیری زیرساخت‌های Data Lakehouse
• 36. افزایش ظرفیت ذخیره‌سازی
• 37. افزایش توان پردازشی
• 38. مدیریت هزینه‌ها در Data Lakehouse
• 39. بهینه‌سازی عملکرد کوئری‌ها
• 40. فشرده‌سازی داده‌ها
• 41. پارتیشن‌بندی داده‌ها
• 42. ایندکس‌گذاری داده‌ها
• 43. تکنیک‌های کشینگ داده
• 44. مقدمه‌ای بر هوش مصنوعی و یادگیری ماشین
• 45. نقش Data Lakehouse در پلتفرم‌های AI/ML
• 46. آماده‌سازی داده برای مدل‌های یادگیری ماشین
• 47. ویژگی‌سازی (Feature Engineering) در Data Lakehouse
• 48. ذخیره‌سازی ویژگی‌ها (Feature Store)
• 49. پلتفرم‌های MLflow و KubeFlow
• 50. استقرار و مدیریت مدل‌های یادگیری ماشین
• 51. نظارت بر عملکرد مدل‌ها
• 52. مفهوم Data Mesh و ارتباط آن با Data Lakehouse
• 53. اصول Data Mesh: مالکیت توزیع‌شده داده
• 54. APIهای داده و خودخدمتی (Self-service)
• 55. امنیت و حاکمیت در Data Mesh
• 56. پیاده‌سازی Data Lakehouse در محیط‌های چند ابری (Multi-cloud)
• 57. ملاحظات مهاجرت به Data Lakehouse
• 58. استراتژی‌های پیاده‌سازی تدریجی
• 59. یادگیری عملی با ابزارهای متن‌باز
• 60. پیاده‌سازی یک Data Lakehouse ساده
• 61. ساخت لایه‌های داده با Spark
• 62. استفاده از Delta Lake برای تراکنش‌ها
• 63. مدیریت داده‌های زمانی (Time-series data)
• 64. کار با داده‌های مکانی (Geospatial data)
• 65. پردازش داده‌های جریانی (Streaming data)
• 66. Apache Kafka برای ورود داده‌های جریانی
• 67. Apache Flink برای پردازش جریانی
• 68. یکپارچه‌سازی Data Lakehouse با ابزارهای BI
• 69. Tableau و Power BI در Data Lakehouse
• 70. تحلیل داده‌های مشتریان با Data Lakehouse
• 71. بهینه‌سازی زنجیره تامین با Data Lakehouse
• 72. پیش‌بینی فروش با استفاده از Data Lakehouse
• 73. مدیریت ریسک اعتباری با Data Lakehouse
• 74. کاربرد Data Lakehouse در صنعت سلامت
• 75. کاربرد Data Lakehouse در بخش دولتی
• 76. ملاحظات قانونی و مقرراتی در مدیریت داده
• 77. حفاظت از داده‌های شخصی و حریم خصوصی
• 78. قوانین مرتبط با مالکیت داده
• 79. استانداردهای حاکمیت داده سازمانی
• 80. اصول DevOps برای زیرساخت‌های داده
• 81. CI/CD در Data Lakehouse
• 82. مدیریت خطا و بازیابی از فاجعه
• 83. استراتژی‌های پشتیبان‌گیری و بازیابی
• 84. تست و اعتبارسنجی در Data Lakehouse
• 85. بهینه‌سازی مداوم و تکامل زیرساخت
• 86. روندهای آینده در Data Lakehouse
• 87. هوش مصنوعی مولد و Data Lakehouse
• 88. پردازش داده‌های گراف (Graph Data Processing)
• 89. ملاحظات اخلاقی در استفاده از داده
• 90. آینده شغلی در حوزه مهندسی داده کلان
• 91. جمع‌بندی و گام‌های بعدی در یادگیری