فلش‌کارت‌های آموزشی ارزیابی و سنجش عملکرد مدل‌های زبانی بزرگ

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ارزیابی و سنجش عملکرد مدل‌های زبانی بزرگ

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: و غیره...

📋 سرفصل‌های دوره

• 1. مبانی ارزیابی مدل‌های زبانی
• 2. معیارهای دقت (Accuracy) در پردازش زبان طبیعی
• 3. معیارهای precision, recall، F1-score
• 4. معیارهای perplexity و cross-entropy
• 5. معیارهای BLEU برای تولید متن
• 6. معیارهای ROUGE برای خلاصه‌سازی
• 7. معیارهای METEOR
• 8. معیارهای BERTScore
• 9. معیارهای MoverScore
• 10. تکنیک‌های انسانی ارزیابی (Human Evaluation)
• 11. 看板 نظرسنجی و مقیاس Likert
• 12. ارزیابی fluent و coherency
• 13. ارزیابی factual consistency و تشخیص hallucination
• 14. ارزیابی bias و fairness
• 15. ارزیابی robustness در برابر perturbations
• 16. ارزیابی adversarial examples
• 17. ارزیابی zero-shot و few-shot performance
• 18. ارزیابی in-domain و out-of-domain
• 19. ارزیابی cross-lingual
• 20. ارزیابی multimodal (متن+تصویر)
• 21. ارزیابی کد تولید (code generation)
• 22. ارزیابی摘要生成 (summarization)
• 23. ارزیابی سؤال و پاسخ (QA)
• 24. ارزیابی ترجمه خودکار (machine translation)
• 25. ارزیابی تولید متن خلاقانه (creative writing)
• 26. ارزیابی سیستم‌های گفتگوی conversación
• 27. ارزیابی retrieval-augmented generation (RAG)
• 28. ارزیابی تکنیک‌های prompting
• 29. ارزیابی اثرات fine-tuning
• 30. ارزیابی catastrophic forgetting
• 31. ارزیابی مقیاس‌بندی (scaling laws) و عملکرد
• 32. ارزیابی مصرف انرژی و پایếکربن footprints
• 33. ارزیابی latency و throughput
• 34. ارزیابی حافظه و استفاده از GPU
• 35. ارزیابی توزیع وزن‌ها (weight distribution)
• 36. ارزیابی atenção heads و تفسير
• 37. ارزیابی probe tasks (ساختاری و-semantic)
• 38. ارزیابی probing دانش زبانی
• 39. ارزیابی reasoning commonsense
• 40. ارزیابی reasoning منطقی
• 41. ارزیابی حل مسائل ریاضی
• 42. ارزیابی reasoning کد (HumanEval, MBPP)
• 43. ارزیابی رفتار agente و استفاده از ابزار
• 44. ارزیابی حافظه طولانی‌مدت در LLMs
• 45. ارزیابی یادگیری پیوسته (continual learning)
• 46. ارزیابی few-shot مقابل fine-tuning کامل
• 47. ارزیابی روش‌های ensemble
• 48. ارزیابی اثرات distillation
• 49. ارزیابی تأثیر quantization
• 50. ارزیابی تأثیر pruning
• 51. ارزیابی sparsity و pruning ساختاری
• 52. ارزیابی mixed-precision training
• 53. ارزیابی brittleness prompt
• 54. ارزیابی calibration و تخمین عدم قطعیت
• 55. ارزیابیintervals اطمینان
• 56. ارزیابی خطای calibrаtion (ECE, MCE)
• 57. ارزیابی تشخیص خارج از توزیع (OOD)
• 58. ارزیابی تشخیص محتواهای سمی
• 59. ارزیابی نشت حریم خصوصی و حملات عضویت
• 60. ارزیابی robustness در برابر حملات متنی
• 61. ارزیابی حملات backdoor
• 62. ارزیابی ویرایش مدل و به‌روزرسانی دانش
• 63. ارزیابی تکنیک‌های ویرایش دانش (ROME, MEMIT)
• 64. ارزیابی tracing przyczynowy و intervenções
• 65. ارزیابی روش‌های解释abilitiy (نمایش atenção، ساينسانیتی)
• 66. ارزیابی vectors فعال‌سازی مفهوم (CAVs)
• 67. ارزیابی ablation studies
• 68. ارزیابی حساسیت به hyperparameters
• 69. ارزیابی قابلیت‌پایداری و تغییرات
• 70. ارزیابی مجموعه‌های benchmark (GLUE, SuperGLUE, XTREME, BigBench)
• 71. ارزیابی تحلیل ليدربورد
• 72. ارزیابی آزمون معنیاری آمار
• 73. ارزیابی بازنمونه‌گیری bootstrap
• 74. ارزیابی مقایسه Bayesی مدل‌ها
• 75. ارزیابی meta-arزیابی معیارها
• 76. ارزیابی همبستگی معیارهای خودکار و انسانی
• 77. ارزیابی هزینه‑منفعت در ارزیابی
• 78. ارزیابی اخلاق و مسئولیت در ارزیابی
• 79. ارزیابی استانداردهای بین‌المللی (ISO, IEEE)
• 80. ارزیابی Documentation و Model Cards
• 81. ارزیابی Data Sheets برای دatasets
• 82. ارزیابی بسته‌های قابلیت‌پایداری
• 83. ارزیابی CI/CD برای LLMs
• 84. ارزیابی نظارت در تولید
• 85. ارزیابی تشخیص drift در زمان
• 86. ارزیابی A/B testing در محصولات
• 87. ارزیابی مطالعه‌های کاربری
• 88. ارزیابی πλαットفرم‌های crowdsource (AMT, Prolific)
• 89. ارزیابی anotatör متخصص مقابل مبتدی
• 90. ارزیابی هزینه anotatör و بودجه‌بندی
• 91. ارزیابی یادگیری فعال برای برچسب‌گذاری
• 92. ارزیابی ارزیابی شبه‑تحت‌ نظارت
• 93. ارزیابی ارزیابی خود‑تحت‌ نظارت
• 94. ارزیابی داده‌هایynthesized برای ارزیابی
• 95. ارزیابی محیط‌های شبیه‌سازی
• 96. ارزیابی بهترین روش‌های ساخت benchmark
• 97. ارزیابی نسخه‌گذاری مدل‌ها و دatasets
• 98. ارزیابی ملاحظات حقوقی (GDPR, CCPA)
• 99. ارزیابی جهت‌های آینده و معیارهای نوظهور