فلش‌کارت‌های آموزشی مهندسی داده با Spark، dbt و Airflow در اکوسیستم متن‌باز

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مهندسی داده با Spark، dbt و Airflow در اکوسیستم متن‌باز

موضوع کلی: مهندسی داده و پردازش کلان داده

موضوع میانی: ابزارهای نوین در مهندسی داده

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر مهندسی داده
• 2. مبانی پردازش کلان داده
• 3. معماری سیستم‌های کلان داده
• 4. مفاهیم اصلی Spark
• 5. نصب و پیکربندی Spark
• 6. مقدمه‌ای بر Spark Core
• 7. RDD ها در Spark
• 8. عملیات RDD
• 9. Spark SQL و DataFrames
• 10. کار با DataFrames
• 11. بهینه‌سازی پرس‌وجوها در Spark SQL
• 12. Spark Streaming
• 13. مبانی Spark Streaming
• 14. پردازش داده‌های جریانی
• 15. مقدمه‌ای بر Apache Kafka
• 16. کار با Kafka در Spark
• 17. معرفی Apache Airflow
• 18. مبانی Airflow
• 19. طراحی DAG ها در Airflow
• 20. اجرای DAG ها در Airflow
• 21. مدیریت Task ها در Airflow
• 22. نمایه‌های Airflow
• 23. مقدمه‌ای بر dbt
• 24. اصول dbt
• 25. مدل‌سازی داده در dbt
• 26. تست در dbt
• 27. مستندسازی در dbt
• 28. راه‌اندازی dbt در محیط عملیاتی
• 29. یکپارچه‌سازی Spark و Airflow
• 30. یکپارچه‌سازی dbt و Airflow
• 31. یکپارچه‌سازی Spark و dbt
• 32. ساخت پایپ‌لاین داده با Spark, dbt, Airflow
• 33. مدیریت داده‌های حجیم (Big Data)
• 34. اصول انبار داده (Data Warehousing)
• 35. مفاهیم Data Lake
• 36. معماری Lambda
• 37. معماری Kappa
• 38. مفاهیم ETL و ELT
• 39. ابزارهای ETL/ELT
• 40. مدیریت کیفیت داده (Data Quality)
• 41. نظارت بر داده (Data Monitoring)
• 42. امنیت داده در اکوسیستم متن‌باز
• 43. مقدمه‌ای بر پایگاه‌های داده NoSQL
• 44. کار با پایگاه‌های داده NoSQL در Spark
• 45. ذخیره‌سازی داده‌های کلان
• 46. فشرده‌سازی داده‌ها
• 47. قالب‌های ذخیره‌سازی داده (Parquet, ORC)
• 48. مفاهیم پردازش موازی
• 49. مدل برنامه‌نویسی Spark
• 50. حافظه پنهان (Caching) در Spark
• 51. مدیریت حافظه در Spark
• 52. ردیابی و اشکال‌زدایی (Debugging) در Spark
• 53. بهینه‌سازی عملکرد Spark
• 54. مقدمه‌ای بر داده‌های مکانی (Spatial Data)
• 55. پردازش داده‌های مکانی با Spark
• 56. مقدمه‌ای بر پردازش زبان طبیعی (NLP)
• 57. کاربرد Spark در NLP
• 58. مقدمه‌ای بر یادگیری ماشین (ML)
• 59. کاربرد Spark MLlib
• 60. آماده‌سازی داده برای ML
• 61. ارزیابی مدل‌های ML
• 62. استقرار مدل‌های ML
• 63. مباحث پیشرفته در Spark
• 64. کار با GraphX در Spark
• 65. تکنیک‌های پیشرفته در Airflow
• 66. مدیریت وابستگی‌ها در Airflow
• 67. عملیات پیشرفته در dbt
• 68. استراتژی‌های توسعه در dbt
• 69. مدیریت تغییرات schema
• 70. مدیریت داده‌های تاریخی
• 71. استراتژی‌های استقرار پایپ‌لاین داده
• 72. نظارت و هشداردهی در پایپ‌لاین داده
• 73. امنیت پایپ‌لاین داده
• 74. بهینه‌سازی هزینه‌ها در مهندسی داده
• 75. ملاحظات قانونی و حریم خصوصی داده
• 76. مقدمه‌ای بر معماری میکروسرویس‌ها
• 77. کاربرد میکروسرویس‌ها در مهندسی داده
• 78. مدیریت ارتباطات بین سرویس‌ها
• 79. ذخیره‌سازی توزیع‌شده (Distributed Storage)
• 80. سیستم‌های فایل توزیع‌شده (HDFS)
• 81. هماهنگ‌سازی توزیع‌شده (Distributed Coordination)
• 82. مفاهیم CAP Theorem
• 83. الگوهای طراحی در مهندسی داده
• 84. مهندسی داده برای هوش تجاری (BI)
• 85. تحلیل داده‌های بلادرنگ
• 86. مقدمه‌ای بر داده‌های IoT
• 87. پردازش داده‌های IoT با Spark
• 88. اصول مدیریت پروژه در مهندسی داده
• 89. مدیریت ریسک در پروژه‌های داده
• 90. آینده مهندسی داده
• 91. تکنولوژی‌های نوظهور در مهندسی داده
• 92. اخلاق در مهندسی داده
• 93. مقدمه‌ای بر حاکمیت داده (Data Governance)
• 94. پیاده‌سازی حاکمیت داده
• 95. مدیریت داده‌های حساس
• 96. استانداردسازی در مهندسی داده
• 97. توسعه مهارت‌های مهندس داده
• 98. مطالعه موردی: ساخت پایپ‌لاین داده مالی
• 99. مطالعه موردی: بهینه‌سازی پایپ‌لاین داده فروشگاه آنلاین
• 100. مطالعه موردی: پردازش داده‌های مشتریان