فلش‌کارت‌های آموزشی جمع‌آوری، دریافت و ذخیره‌سازی داده‌ها در AWS برای مهندسان یادگیری ماشین

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره جمع‌آوری، دریافت و ذخیره‌سازی داده‌ها در AWS برای مهندسان یادگیری ماشین

موضوع کلی: مهندسی داده و هوش مصنوعی

موضوع میانی: مدیریت و ذخیره‌سازی داده‌ها برای یادگیری ماشین

📋 سرفصل‌های دوره

• 1. مبانی مهندسی داده و یادگیری ماشین در ایران
• 2. مقدمه‌ای بر معماری داده در AWS
• 3. مفاهیم پایه‌ای ذخیره‌سازی داده در ابر
• 4. اهمیت مدیریت داده برای پروژه‌های ML
• 5. قوانین و مقررات مرتبط با داده در ایران
• 6. آشنایی با سرویس‌های ذخیره‌سازی AWS
• 7. انواع ذخیره‌سازی داده در AWS: S3
• 8. کاربرد S3 در جمع‌آوری داده‌های خام
• 9. مدیریت نسخه‌بندی و دوره‌بندی داده در S3
• 10. امنیت داده‌ها در S3: IAM و سیاست‌ها
• 11. رمزنگاری داده‌ها در S3
• 12. مفاهیم کلیدی دریافت داده (Ingestion)
• 13. روش‌های دریافت داده از منابع مختلف
• 14. دریافت داده‌های جریانی (Streaming Data)
• 15. سرویس Kinesis برای دریافت داده‌های جریانی
• 16. تنظیم Kinesis Data Streams
• 17. پردازش داده‌های جریانی با Kinesis Data Analytics
• 18. ذخیره‌سازی داده‌های جریانی در S3
• 19. دریافت داده‌های دسته‌ای (Batch Data)
• 20. سرویس AWS Data Pipeline
• 21. طراحی پایپ‌لاین داده با Data Pipeline
• 22. انتقال داده از پایگاه‌های داده رابطه‌ای
• 23. استفاده از AWS Database Migration Service (DMS)
• 24. مهاجرت داده‌ها به AWS
• 25. ذخیره‌سازی داده‌های رابطه‌ای در RDS
• 26. انواع پایگاه‌های داده رابطه‌ای در RDS
• 27. تنظیم و مدیریت RDS for PostgreSQL
• 28. تنظیم و مدیریت RDS for MySQL
• 29. ذخیره‌سازی داده‌های NoSQL در DynamoDB
• 30. مفاهیم پایه‌ای DynamoDB
• 31. طراحی اسکیمای جدول در DynamoDB
• 32. عملگرهای خواندن و نوشتن در DynamoDB
• 33. مدیریت ظرفیت در DynamoDB
• 34. امنیت در DynamoDB
• 35. ذخیره‌سازی داده‌های ساختاریافته در Redshift
• 36. مفاهیم انباره داده (Data Warehouse)
• 37. معماری Redshift
• 38. طراحی اسکیمای ستونی در Redshift
• 39. بهینه‌سازی پرس‌وجوها در Redshift
• 40. بارگذاری داده در Redshift
• 41. ذخیره‌سازی فایل‌های بزرگ (Big Data) در S3
• 42. استفاده از S3 برای داده‌های Hadoop
• 43. یکپارچگی S3 با سرویس‌های Big Data AWS
• 44. مفاهیم داده‌های نیمه‌ساختاریافته
• 45. ذخیره‌سازی JSON و XML در S3
• 46. تبدیل فرمت داده‌ها برای ML
• 47. فرمت‌های بهینه ذخیره‌سازی: Parquet و ORC
• 48. مزایای استفاده از Parquet
• 49. مزایای استفاده از ORC
• 50. تبدیل داده‌ها به Parquet با AWS Glue
• 51. مفاهیم مهندسی ویژگی (Feature Engineering)
• 52. ذخیره‌سازی ویژگی‌های مهندسی شده
• 53. سرویس SageMaker Feature Store
• 54. مدیریت چرخه عمر داده‌ها
• 55. اصول نگهداری و حذف داده‌ها
• 56. سیاست‌های مدیریت چرخه عمر در S3
• 57. پیاده‌سازی archiving داده‌ها
• 58. بررسی و ممیزی دسترسی به داده‌ها
• 59. اصول حاکمیت داده (Data Governance)
• 60. نقش AWS در حاکمیت داده
• 61. مدیریت متادیتا (Metadata Management)
• 62. سرویس AWS Glue Data Catalog
• 63. استفاده از Data Catalog برای کشف داده
• 64. امنیت داده‌ها در محیط AWS
• 65. مدیریت دسترسی مبتنی بر نقش (RBAC)
• 66. رمزنگاری در حالت انتقال (In-transit Encryption)
• 67. رمزنگاری در حالت سکون (At-rest Encryption)
• 68. استفاده از AWS Key Management Service (KMS)
• 69. پایش و ثبت وقایع دسترسی به داده‌ها
• 70. سرویس CloudTrail برای ثبت وقایع
• 71. استفاده از CloudWatch برای هشداردهی
• 72. مدیریت هزینه‌ها در ذخیره‌سازی AWS
• 73. بهینه‌سازی هزینه‌ها در S3
• 74. انتخاب کلاس‌های ذخیره‌سازی مناسب در S3
• 75. برنامه‌ریزی برای کاهش هزینه‌ها
• 76. ملاحظات قانونی و شرعی در مدیریت داده
• 77. حفظ حریم خصوصی داده‌ها
• 78. قوانین مربوط به داده‌های حساس
• 79. استانداردهای اخلاقی در جمع‌آوری داده
• 80. مسئولیت‌پذیری در مهندسی داده
• 81. جمع‌بندی و مروری بر مفاهیم
• 82. آمادگی برای مراحل بعدی در مهندسی ML
• 83. نکات پایانی برای مهندسان داده ML
• 84. مروری بر بهترین شیوه‌ها
• 85. ملاحظات امنیتی پیشرفته
• 86. مدیریت داده‌های غیرمتمرکز
• 87. سرویس‌های ذخیره‌سازی جدیدتر AWS
• 88. آینده ذخیره‌سازی داده برای ML
• 89. کاربرد هوش مصنوعی در مدیریت داده
• 90. مقایسه سرویس‌های مختلف ذخیره‌سازی
• 91. انتخاب راهکار مناسب برای نیازهای پروژه
• 92. ارزیابی و بازنگری معماری داده
• 93. توسعه پایدار در مهندسی داده
• 94. فرهنگ داده در سازمان
• 95. نقش مهندس داده در تیم ML
• 96. جمع‌بندی نهایی و گام‌های بعدی