فلش‌کارت‌های آموزشی اصول مهندسی کیفیت داده در هوش مصنوعی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره اصول مهندسی کیفیت داده در هوش مصنوعی

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: مدیریت داده‌های بزرگ

📋 سرفصل‌های دوره

• 1. مفاهیم پایه کیفیت داده در هوش مصنوعی
• 2. تعاریف و معیارهای کیفیت: دقت، کامل بودن، سازگاری، بروز بودن
• 3. چالش‌های خاص داده‌های بزرگ در مدل‌های زبانی بزرگ
• 4. معماری لایه‌های داده: خام، تمیز، غنی‌شده، مدل‌سازی
• 5. استراتژی‌های گردآوری داده: منابع داخلی، خارجی، وب، سنسورها
• 6. طراحی пайپ‌لاین‌های ingest با تمرکز بر کیفیت
• 7. شناسایی و دسته‌بندی ناهنجاری‌های داده (outlier detection)
• 8. تکنیک‌های پروفایل‌سازی داده (data profiling) برای ارزیابی اولیه
• 9. قوانین اعتبارسنجی (validation rules) و پیاده‌سازی آن‌ها
• 10. مدیریت داده‌های تکراری و حذف redundancy
• 11. مهندسی ویژگی (feature engineering) با در نظر گرفتن کیفیت
• 12. تعادل کلاس‌ها و تکنیک‌های resampling برای داده‌های نامتوازن
• 13. پیش‌پردازش متن: توکنیزاسیون، نرمال‌سازی، حذف stopwords
• 14. پیش‌پردازش داده‌های ساختاریافته: مقیاس‌بندی، encoding، missing value imputation
• 15. بررسی بایاس (bias) و fairness در مجموعه داده‌های آموزش
• 16. ابزارهای خودکار نظارت بر کیفیت داده (data observability)
• 17. معماری Data Contracts و Schema Evolution
• 18. استفاده از Great Expectations، Deequ، TensorFlow Data Validation
• 19. تست واحد (unit tests) برای تبدیلات داده
• 20. تست یکپارچگی (integration tests) در پایپ‌لاین‌های ETL/ELT
• 21. مدیریت نسخه‌بندی داده (data versioning) با DVC یا LakeFS
• 22. خطاهای Silent Data Corruption و استراتژی‌های شناسایی
• 23. متریک‌های کیفیتی برای مدل‌های زبانی بزرگ: perplexity، BLEU، ROUGE در ارتباط با داده
• 24. ارزیابی اثر کیفیت داده بر عملکرد مدل (data-centric AI)
• 25. حلقة بازخورد: مانیتورینگ مدل در تولید و بازخورد به داده
• 26. استراتژی‌های Active Learning برای بهبود کیفیت برچسب‌گذاری
• 27. برچسب‌گذاری انسانی: کنترل کیفیت، consensus، gold standard
• 28. استفاده از Weak Supervision و Snorkel برای تولید برچسب‌های نویزدار
• 29. مدیریت داده‌های حساس و حریم خصوصی (PII masking، differential privacy)
• 30. استفاده از Synthetic Data Generation برای افزایش покриگی و کیفیت
• 31. تکنیک‌های Data Augmentation متناسب با مدل‌های زبانی بزرگ
• 32. پایش و مدیریت Data Drift و Concept Drift
• 33. استراتژی‌های Retraining و Continuous Training بر اساس سیگنال‌های کیفیت
• 34. معماری Data Lakehouse با تمرکز بر کیفیت (Delta Lake، Iceberg، Hudi)
• 35. مدیریت متادیتا (metadata management) و Data Catalog برای شفافیت کیفیت
• 36. خط مشی‌های Data Governance و Data Stewardship در سازمان
• 37. استفاده از Data Contracts برای تضمین کیفیت در تیم‌های توزیع‌شده
• 38. استفاده از Feature Store با تضمین کیفیت ویژگی‌ها
• 39. پیاده‌سازی Data Quality Dashboards و 알림‌ها
• 40. استفاده از Apache Airflow / Prefect / Dagster برای ارکستراسیون با چک‌پوینت‌های کیفیت
• 41. تست عملکرد (performance testing) پایپ‌لاین‌های داده تحت بار بالا
• 42. استراتژی‌های Rollback و Reprocessing عند شناسایی خطای کیفیت
• 43. مدیریت هزینه‌های ذخیره و پردازش داده با حفظ کیفیت
• 44. بهینه‌سازی فرمت‌های ذخیره (Parquet، ORC، Avro) برای کیفیت و سرعت
• 45. استفاده از Column-level Lineage برای ریشه‌یابی خطاهای کیفیت
• 46. استفاده از Data Quality Scorecards در گزارش‌دهی به ذینفعان
• 47. طراحی آزمایش‌های A/B برای ارزیابی تأثیر بهبودهای داده
• 48. استفاده از Large Language Models برای خودکارسازی تمیزسازی متن
• 49. تکنیک‌های Prompt Engineering برای تولید داده‌های آموزشی با کیفیت بالا
• 50. ارزیابی کیفیت داده‌های چندزبانه و cross-lingual
• 51. مدیریت داده‌های multimodal (متن، تصویر، صدا) در یک پایپ‌لین کیفیت
• 52. استفاده از Knowledge Graphs برای غنی‌سازی و اعتبارسنجی داده
• 53. استراتژی‌های Data Marketplace و اشتراک‌گذاری داده با تضمین کیفیت
• 54. معماری Zero-Trust Data Access و تأثیر بر کیفیت
• 55. استفاده از Federated Learning با تمرکز بر کیفیت داده محلی
• 56. پیاده‌سازی Data Quality Gates در CI/CD برای مدل‌های ML
• 57. استفاده از MLOps Platforms (MLflow، Kubeflow، Vertex AI) برای مدیریت کیفیت داده
• 58. تحلیل ریشه‌یابی (Root Cause Analysis) برای حوادث کیفیت داده
• 59. استفاده از Explainable AI برای درک تأثیر داده‌های خاص بر پیش‌بینی
• 60. استراتژی‌های Data Retention و Archiving با حفظ کیفیت تاریخی
• 61. آموزش تیم‌ها: فرهنگ Data-Centric و بهترین شیوه‌های مهندسی کیفیت
• 62. مطالعه موردی: بهبود کیفیت داده در یک پروژه LLM در مقیاس تولید
• 63. روندهای آینده: Data-Centric AI، Automated Data Curation، AI‑assisted Data Quality