فلش‌کارت‌های آموزشی مدیریت نسخه‌بندی و ردیابی تغییرات داده‌ها

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مدیریت نسخه‌بندی و ردیابی تغییرات داده‌ها

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: مدیریت داده‌های بزرگ

📋 سرفصل‌های دوره

• 1. تعریف نسخه‌بندی، ردیابی تغییرات و خط سیر داده
• 2. جایگاه مدیریت نسخه‌های داده در DataOps و MLOps
• 3. تفاوت نسخه‌بندی کد، داده، مدل و پیکربندی
• 4. چرخه حیات داده از تولید تا مصرف و بایگانی
• 5. سناریوهای کاربردی نسخه‌بندی در پروژه‌های کلان‌داده و هوش مصنوعی
• 6. روش‌های Snapshot، Incremental و Append-Only
• 7. هش، یکپارچگی داده و آدرس‌دهی محتوامحور
• 8. ساختارهای Merkle Tree و Merkle DAG در نسخه‌بندی
• 9. جداسازی داده، فراداده و کنترل نسخه
• 10. استاندارد نام‌گذاری و شناسه یکتا برای مجموعه‌داده‌ها
• 11. مفاهیم Provenance و Data Lineage
• 12. مدل‌سازی خط سیر داده با گره، یال و وابستگی
• 13. استانداردهای W3C PROV و OpenLineage
• 14. نیازمندی‌های معماری برای مقیاس‌پذیری و حسابرسی‌پذیری
• 15. نسخه‌بندی در Object Storage، Data Lake و Data Warehouse
• 16. ذخیره‌سازی تغییرناپذیر و سیاست‌های WORM
• 17. محدودیت‌های Git در مدیریت مجموعه‌داده‌های بزرگ
• 18. مدیریت فایل‌های حجیم با Git LFS
• 19. نسخه‌بندی داده و مدل با DVC
• 20. کنترل نسخه محیط Data Lake با lakeFS
• 21. شاخه‌زنی، برچسب‌گذاری و ناحیه آماده‌سازی داده
• 22. تفاوت‌سنجی داده، فایل، جدول و طرحواره
• 23. شناسایی و حل تعارض در ادغام نسخه‌های داده
• 24. تأثیر قالب‌های فایل و جدول بر کارایی نسخه‌بندی
• 25. پارتیشن‌بندی داده و مدیریت اندازه نسخه‌ها
• 26. مشکل فایل‌های کوچک و راهکارهای بهینه‌سازی
• 27. حذف تکرار، فشرده‌سازی و کاهش هزینه ذخیره‌سازی
• 28. نسخه‌بندی جدول با Delta Lake
• 29. نسخه‌بندی جدول با Apache Iceberg
• 30. نسخه‌بندی جدول با Apache Hudi
• 31. مقایسه Delta Lake، Iceberg و Hudi
• 32. قابلیت Time Travel در جدول‌های تحلیلی
• 33. سطح ایزولاسیون، Snapshot Isolation و خوانش سازگار
• 34. ردیابی تغییرات با Change Data Capture
• 35. طراحی Audit Log برای تغییرات داده
• 36. Event Sourcing برای بازسازی وضعیت داده
• 37. Temporal Tables و کوئری وضعیت داده در زمان
• 38. مدیریت تکامل طرحواره بدون از دست رفتن سازگاری
• 39. پیاده‌سازی Schema Registry
• 40. طراحی و اجرای Data Contract
• 41. نسخه‌بندی معنایی طرحواره و مجموعه‌داده
• 42. اعتبارسنجی نسخه‌ها با آزمون‌های کیفیت داده
• 43. تشخیص تغییرات و ناهنجاری‌های ناخواسته در داده
• 44. استخراج خط سیر داده در پردازش دسته‌ای
• 45. ردیابی Lineage در پردازش جاری و رویدادمحور
• 46. فهرست داده و Metadata Catalog
• 47. استخراج خودکار فراداده از پایپلاین‌ها و جدول‌ها
• 48. نقش‌ها و مسئولیت‌های حکمرانی داده در چرخه نسخه‌ها
• 49. کنترل دسترسی RBAC و ABAC برای نسخه‌های داده
• 50. رمزنگاری، مدیریت کلید و حفاظت از یکپارچگی
• 51. حفاظت از داده‌های حساس با Masking و Tokenization
• 52. سیاست نگهداری، حذف امن و Legal Hold
• 53. ردیابی حسابرسی و انطباق با الزامات حریم خصوصی
• 54. تکرارپذیری آزمایش‌ها با نسخه ثابت داده و محیط
• 55. پیوند نسخه داده، ویژگی، مدل و آزمایش
• 56. ثبت نسخه‌ها و آزمایش‌ها با MLflow
• 57. نسخه‌بندی Feature Store و ویژگی‌های آموزشی
• 58. ایجاد Training Snapshot برای آموزش مدل
• 59. نسخه‌بندی مجموعه‌داده‌های ارزیابی و Golden Dataset
• 60. نسخه‌بندی Prompt و قالب‌های اعلان در مدل‌های زبانی
• 61. مدیریت نسخه مخزن اسناد و نمایه در RAG
• 62. تهیه Snapshot از Embeddingها و نمایه‌های برداری
• 63. ثبت منشأ و نسخه داده‌های مصنوعی
• 64. مستندسازی Dataset Card و مجوز مجموعه‌داده
• 65. هماهنگی نسخه‌ها در Orchestratorهای پایپلاین داده
• 66. قفل کردن محیط اجرا با Container و Dependency Lockfile
• 67. ادغام نسخه‌بندی داده در خط لوله CI/CD
• 68. آزمون خودکار سازگاری، کیفیت و بازگشت نسخه
• 69. استراتژی Rollback و بازیابی نسخه پایدار
• 70. پشتیبان‌گیری، Disaster Recovery و آزمون بازیابی
• 71. پایش نسخه‌ها، تازگی داده و سلامت Lineage
• 72. تحلیل Data Drift و ارتباط آن با تغییرات نسخه
• 73. کنترل هم‌زمانی در تغییرات توزیع‌شده داده
• 74. سازگاری نهایی، اجماع و تضمین صحت نسخه‌ها
• 75. نسخه‌بندی چندمنطقه‌ای و مدیریت تعارض جغرافیایی
• 76. بهینه‌سازی هزینه ذخیره‌سازی، محاسبه و انتقال نسخه‌ها
• 77. معیارهای انتخاب ابزار نسخه‌بندی و ردیابی داده
• 78. مهاجرت از ساختار فعلی به سامانه نسخه‌بندی داده
• 79. طراحی معماری مرجع برای پروژه‌های کلان‌داده و مدل زبانی
• 80. عیب‌یابی نسخه‌های گمشده، ناسازگار و غیرقابل ردیابی