فلش‌کارت‌های آموزشی طراحی و پیاده‌سازی کدهای رابط برای پردازش داده‌های حجیم

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره طراحی و پیاده‌سازی کدهای رابط برای پردازش داده‌های حجیم

موضوع کلی: پردازش و تحلیل داده‌های بزرگ

موضوع میانی: مهندسی داده و خطوط لوله اطلاعات

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر پردازش داده‌های حجیم
• 2. مفاهیم کلیدی مهندسی داده
• 3. معماری خطوط لوله اطلاعات
• 4. جمع‌آوری و استخراج داده‌ها از منابع مختلف
• 5. پاکسازی و پیش‌پردازش داده‌ها
• 6. تبدیل فرمت داده‌ها
• 7. اعتبارسنجی و کنترل کیفیت داده‌ها
• 8. ذخیره‌سازی داده‌های حجیم: گزینه‌ها و چالش‌ها
• 9. آشنایی با سیستم‌های فایل توزیع‌شده (HDFS)
• 10. مقدمه‌ای بر پایگاه‌های داده NoSQL
• 11. پایگاه داده‌های ستونی: Cassandra و HBase
• 12. پایگاه داده‌های کلید-مقدار: Redis و DynamoDB
• 13. مفاهیم اساسی پردازش موازی
• 14. استفاده از Apache Spark برای پردازش داده‌های حجیم
• 15. Apache Spark: تبدیل و دستکاری داده‌ها
• 16. Apache Spark: تحلیل داده‌ها و یادگیری ماشین
• 17. آشنایی با Apache Flink برای پردازش جریانی
• 18. پردازش جریانی داده‌ها با Apache Kafka
• 19. مدیریت جریان داده با Apache NiFi
• 20. استفاده از Apache Beam برای خطوط لوله قابل حمل
• 21. زبان Scala برای مهندسی داده
• 22. زبان Python برای مهندسی داده
• 23. مفاهیم کلیدی ETL (استخراج، تبدیل، بارگذاری)
• 24. ابزارهای ETL متن‌باز
• 25. ابزارهای ETL تجاری
• 26. طراحی و پیاده‌سازی یک خط لوله ETL ساده
• 27. نظارت و مدیریت خطوط لوله داده
• 28. عیب‌یابی و رفع مشکلات خطوط لوله داده
• 29. بهینه‌سازی عملکرد خطوط لوله داده
• 30. امنیت داده‌ها در خطوط لوله اطلاعات
• 31. مفاهیم کلیدی Data Governance
• 32. مدیریت فراداده (Metadata Management)
• 33. آشنایی با Data Catalog
• 34. Data Lineage و ردیابی داده‌ها
• 35. مفاهیم Data Modeling برای داده‌های حجیم
• 36. طراحی Schema برای داده‌های حجیم
• 37. Data Warehousing و Data Lake
• 38. مفاهیم Data Virtualization
• 39. استفاده از ابزارهای BI (Business Intelligence) برای تحلیل داده‌های حجیم
• 40. آشنایی با Tableau و Power BI
• 41. مقدمه‌ای بر Data Mining
• 42. الگوریتم‌های Data Mining برای داده‌های حجیم
• 43. آشنایی با Data Science
• 44. نقش Data Engineer در تیم Data Science
• 45. مفاهیم Cloud Computing برای پردازش داده‌های حجیم
• 46. استفاده از Amazon Web Services (AWS)
• 47. استفاده از Microsoft Azure
• 48. استفاده از Google Cloud Platform (GCP)
• 49. مقایسه سرویس‌های ابری مختلف
• 50. کانتینرسازی با Docker
• 51. ارکستراسیون کانتینرها با Kubernetes
• 52. آشنایی با CI/CD برای خطوط لوله داده
• 53. تست و استقرار خطوط لوله داده
• 54. مفاهیم DataOps
• 55. نقش DevOps در مهندسی داده
• 56. آشنایی با ابزارهای مانیتورینگ و لاگینگ
• 57. بهینه‌سازی هزینه در پردازش داده‌های حجیم
• 58. مفاهیم Data Compression
• 59. انتخاب الگوریتم‌های مناسب فشرده‌سازی داده
• 60. آشنایی با فرمت‌های فایل بهینه برای داده‌های حجیم (Parquet, ORC)
• 61. مقدمه‌ای بر پردازش داده‌های مکانی
• 62. مقدمه‌ای بر پردازش داده‌های متنی
• 63. پردازش زبان طبیعی (NLP) برای داده‌های حجیم
• 64. تصویرسازی داده‌ها برای تحلیل بهتر
• 65. مفاهیم Data Storytelling
• 66. آشنایی با ابزارهای گزارش‌گیری و داشبوردسازی
• 67. آینده مهندسی داده و خطوط لوله اطلاعات
• 68. مطالعه موردی: پیاده‌سازی یک خط لوله داده برای یک شرکت تجارت الکترونیک
• 69. مطالعه موردی: پیاده‌سازی یک خط لوله داده برای یک سازمان مالی
• 70. مطالعه موردی: پیاده‌سازی یک خط لوله داده برای یک سازمان بهداشتی
• 71. مفاهیم Data Mesh
• 72. آشنایی با Data Fabric
• 73. بهینه‌سازی کد برای پردازش داده‌های حجیم
• 74. استفاده از الگوهای طراحی در مهندسی داده
• 75. مدیریت نسخه‌بندی داده‌ها
• 76. مفاهیم Data Provenance
• 77. آشنایی با ابزارهای Quality Control در Data Engineering
• 78. مفاهیم Data Observability