کتاب صوتی راهنمای کاربردی برای درک و به کارگیری Perplexity, BLEU, ROUGE

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره راهنمای کاربردی برای درک و به کارگیری Perplexity, BLEU, ROUGE

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: معیارهای ارزیابی (Perplexity, BLEU, ROUGE)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر ارزیابی مدل‌های زبانی بزرگ
• 2. چرا به معیارهای ارزیابی نیاز داریم؟
• 3. معیارهای ارزیابی: یک دید کلی
• 4. Perplexity چیست؟
• 5. درک مفهوم آنتروپی در Perplexity
• 6. محاسبه Perplexity: فرمول و مثال
• 7. Perplexity و ارتباط آن با احتمال
• 8. تفسیر مقدار Perplexity
• 9. Perplexity در مقایسه با سایر معیارها
• 10. BLEU چیست؟
• 11. محاسبه BLEU: n-gram ها و دقت
• 12. Precision و Recall در BLEU
• 13. مشکلات و محدودیت‌های BLEU
• 14. تغییرات و بهبودهای BLEU (مانند Smoothing)
• 15. کاربرد BLEU در ترجمه ماشینی
• 16. ROUGE چیست؟
• 17. انواع مختلف ROUGE (ROUGE-N, ROUGE-L, ROUGE-W, ROUGE-S)
• 18. محاسبه ROUGE: Recall، Precision و F1-score
• 19. ROUGE و خلاصه سازی متن
• 20. مقایسه ROUGE با BLEU
• 21. انتخاب معیار مناسب: Perplexity، BLEU یا ROUGE؟
• 22. ارزیابی مدل‌های زبانی در وظایف مختلف
• 23. ارزیابی مدل‌های تولید متن
• 24. ارزیابی مدل‌های ترجمه ماشینی
• 25. ارزیابی مدل‌های خلاصه سازی متن
• 26. ارزیابی مدل‌های پاسخ به سوال
• 27. تاثیر داده‌های آموزشی بر نتایج ارزیابی
• 28. اهمیت داده‌های تست و اعتبارسنجی
• 29. پیش‌پردازش داده‌ها برای ارزیابی
• 30. نرم‌افزارهای کاربردی برای محاسبه Perplexity, BLEU, ROUGE
• 31. استفاده از کتابخانه‌های پایتون برای ارزیابی
• 32. ارزیابی انسان‌محور (Human Evaluation)
• 33. ترکیب ارزیابی خودکار و انسان‌محور
• 34. چالش‌های ارزیابی مدل‌های زبانی بزرگ
• 35. ارزیابی مدل‌های چندزبانه
• 36. ارزیابی مدل‌های زبانی بزرگ در زبان فارسی
• 37. بررسی موردی: ارزیابی یک مدل ترجمه فارسی-انگلیسی
• 38. بررسی موردی: ارزیابی یک مدل خلاصه سازی متن فارسی
• 39. بهبود نتایج ارزیابی با تنظیم هایپرپارامترها
• 40. آینده معیارهای ارزیابی مدل‌های زبانی بزرگ
• 41. معیارهای ارزیابی جدید و در حال ظهور