فلش‌کارت‌های آموزشی مهندسی داده: مبانی تئوری و مفاهیم کلیدی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مهندسی داده: مبانی تئوری و مفاهیم کلیدی

موضوع کلی: برنامه نویسی

موضوع میانی: مهندسی داده (Data Engineering)

📋 سرفصل‌های دوره

• 1. مفاهیم پایه داده و مهندسی داده
• 2. معرفی مهندسی داده: نقش و مسئولیت‌ها
• 3. چرخه حیات داده: از تولید تا مصرف
• 4. انواع داده‌ها: ساختاریافته، نیمه‌ساختاریافته و غیراساختاری
• 5. مقدمه‌ای بر پایگاه داده‌های رابطه‌ای (SQL)
• 6. مقدمه‌ای بر پایگاه داده‌های NoSQL
• 7. مدل‌سازی داده: مفاهیم و تکنیک‌ها
• 8. نرمال‌سازی داده‌ها: اصول و قواعد
• 9. مقدمه‌ای بر زبان SQL: انتخاب، درج، به‌روزرسانی و حذف
• 10. آشنایی با ابزارهای خط فرمان (CLI)
• 11. سیستم‌عامل لینوکس: مفاهیم پایه و دستورات ضروری
• 12. مقدمه‌ای بر برنامه‌نویسی پایتون برای مهندسی داده
• 13. متغیرها، انواع داده و عملگرها در پایتون
• 14. حلقه‌ها و شرط‌ها در پایتون
• 15. توابع در پایتون: تعریف و استفاده
• 16. ماژول‌ها و کتابخانه‌ها در پایتون
• 17. آشنایی با کتابخانه Pandas برای کار با داده
• 18. خواندن و نوشتن داده با Pandas
• 19. پاکسازی داده با Pandas: حذف مقادیر NaN، تبدیل انواع داده
• 20. تغییر شکل داده با Pandas: GroupBy، Pivot Table
• 21. ادغام و اتصال داده‌ها با Pandas
• 22. مقدمه‌ای بر کتابخانه NumPy برای محاسبات عددی
• 23. آرایه‌ها در NumPy: ساخت و عملیات
• 24. محاسبات ریاضی و آماری با NumPy
• 25. مقدمه‌ای بر کتابخانه Matplotlib برای مصورسازی داده
• 26. انواع نمودارها در Matplotlib: خطی، میله‌ای، پراکندگی
• 27. سفارشی‌سازی نمودارها در Matplotlib
• 28. مقدمه‌ای بر جمع‌آوری داده (Data Collection)
• 29. وب اسکرپینگ (Web Scraping) با Beautiful Soup
• 30. APIها و نحوه کار با آن‌ها
• 31. مقدمه‌ای بر انتقال داده (Data Ingestion)
• 32. مقدمه‌ای بر ابزارهای ETL (Extract, Transform, Load)
• 33. Apache Kafka: معماری و مفاهیم کلیدی
• 34. Apache Flume: معماری و مفاهیم کلیدی
• 35. Apache Sqoop: انتقال داده بین پایگاه داده‌ها و Hadoop
• 36. مقدمه‌ای بر ذخیره‌سازی داده (Data Storage)
• 37. سیستم فایل توزیع‌شده Hadoop (HDFS)
• 38. معماری HDFS: بلوک‌ها، NameNode، DataNode
• 39. مقدمه‌ای بر پردازش داده (Data Processing)
• 40. مدل برنامه‌نویسی MapReduce
• 41. Apache Hadoop: معماری و مفاهیم کلیدی
• 42. Apache Spark: معماری و مفاهیم کلیدی
• 43. Spark Core: مفاهیم RDD، Transformations و Actions
• 44. Spark SQL: کار با داده‌های ساختاریافته
• 45. Spark Streaming: پردازش جریان داده
• 46. Apache Hive: Data Warehouse بر روی Hadoop
• 47. Apache Pig: زبان اسکریپت‌نویسی برای پردازش داده
• 48. مقدمه‌ای بر انبار داده (Data Warehousing)
• 49. مفاهیم کلیدی انبار داده: Schema، Data Mart، ETL
• 50. معماری Kimball در مقابل Inmon
• 51. مقدمه‌ای بر Data Lake
• 52. مزایا و معایب Data Lake
• 53. مقدمه‌ای بر پایگاه داده‌های ستونی (Columnar Databases)
• 54. Apache Cassandra: معماری و مفاهیم کلیدی
• 55. Apache HBase: معماری و مفاهیم کلیدی
• 56. Amazon Redshift: Data Warehouse ابری
• 57. Google BigQuery: Data Warehouse ابری
• 58. مقدمه‌ای بر پایگاه داده‌های گراف (Graph Databases)
• 59. Neo4j: معماری و مفاهیم کلیدی
• 60. مقدمه‌ای بر پردازش ابری (Cloud Computing)
• 61. Amazon Web Services (AWS) برای مهندسی داده
• 62. Google Cloud Platform (GCP) برای مهندسی داده
• 63. Microsoft Azure برای مهندسی داده
• 64. معماری Lambda: پردازش batch و stream
• 65. معماری Kappa: پردازش stream-only
• 66. مقدمه‌ای بر DevOps برای مهندسی داده
• 67. Continuous Integration (CI) و Continuous Deployment (CD)
• 68. Git و GitHub: مدیریت نسخه کد
• 69. Docker: کانتینری‌سازی
• 70. Kubernetes: ارکستراسیون کانتینرها
• 71. آشنایی با ابزارهای مانیتورینگ
• 72. آشنایی با ابزارهای لاگینگ
• 73. امنیت داده: مفاهیم و تکنیک‌ها
• 74. دسترسی داده و کنترل دسترسی
• 75. مقدمه‌ای بر داده‌کاوی (Data Mining)
• 76. مقدمه‌ای بر یادگیری ماشین (Machine Learning)
• 77. یادگیری با نظارت (Supervised Learning)
• 78. یادگیری بدون نظارت (Unsupervised Learning)
• 79. ارزیابی مدل‌های یادگیری ماشین
• 80. بهینه‌سازی عملکرد پایگاه داده‌ها
• 81. شاخص‌گذاری (Indexing)
• 82. پارتیشن‌بندی (Partitioning)
• 83. بهینه‌سازی کوئری‌ها (Query Optimization)
• 84. آشنایی با ابزارهای مدیریت گردش کار (Workflow Management)
• 85. Apache Airflow: معماری و مفاهیم کلیدی
• 86. Luigi: معماری و مفاهیم کلیدی
• 87. آشنایی با ابزارهای مصورسازی داده پیشرفته
• 88. Tableau: ایجاد داشبوردهای تعاملی
• 89. Power BI: ایجاد داشبوردهای تعاملی
• 90. الگوهای طراحی در مهندسی داده
• 91. پردازش دسته‌ای (Batch Processing)
• 92. پردازش جریانی (Stream Processing)
• 93. مدیریت فراداده (Metadata Management)
• 94. حاکمیت داده (Data Governance)
• 95. کیفیت داده (Data Quality)
• 96. آشنایی با قوانین و مقررات حفظ حریم خصوصی داده‌ها (GDPR, CCPA)
• 97. تست داده (Data Testing)
• 98. مستندسازی داده (Data Documentation)
• 99. مقیاس‌پذیری (Scalability)
• 100. اعتبارپذیری (Reliability)