کتاب صوتی Perplexity: درک شگفتی و دقت

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره Perplexity: درک شگفتی و دقت

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: معیارهای ارزیابی (Perplexity, BLEU, ROUGE)

📋 سرفصل‌های دوره

• 1. مقدمه بر مدل‌های زبانی بزرگ و نیاز به ارزیابی
• 2. چرا ارزیابی مدل‌های زبانی به‌قدری مهم است
• 3. معرفی معیارهای ارزیابی خودکار در پردازش زبان طبیعی
• 4. نگاه کلی بر BLEU و ROUGE و محدودیت‌های آن‌ها
• 5. Perplexity چیست و چرا شگفتی‌آمیز نامیده می‌شود
• 6. تاریخچه و تکامل مفهوم Perplexity در یادگیری ماشین
• 7. آنتروپی در نظریه اطلاعات: پایه و اساس Perplexity
• 8. آنتروپی کراس‌انتروپی و رابطهٔ آن با Perplexity
• 9. ریاضیات Perplexity: از فرمول تا تفسیر عددی
• 10. محاسبهٔ Perplexity برای مدل‌های زبانی با یک‌واحد (Unigram)
• 11. محاسبهٔ Perplexity برای مدل‌های زبانی با چندواژه (N-gram)
• 12. درک تفاوت Perplexیتی در سطح کاراکتر، واژه و جمله
• 13. نرخ بیزی و ارتباط آن با درک شگفتی
• 14. شرح‌دهی کلمه‌ای (Perplex Token Prediction) و نقش آن در ارزیابی
• 15. معنای عددی Perplexity: چه عددی خوب و چه عددی ضعیف است
• 16. Perplexity پایین یعنی حتماً کیفیت بالاتر؟
• 17. خطای آموزشی و خطای آزمایشی در محاسبهٔ Perplexity
• 18. سرریز اطلاعات (Data Leakage) و تأثیر آن بر Perplexity
• 19. نمونه‌گیری و تنظیم دادهٔ ارزیابی برای اندازه‌گیری دقیق
• 20. تبعیض در دادهٔ ارزیابی و تأثیر بر نتیجهٔ Perplexity
• 21. معیارهای ارزیابی باز در مقایسه با معیارهای بسته
• 22. معرفی بخش‌بندی‌های رایج برای ارزیابی مدل‌های زبانی
• 23. Wikitext و Penn Treebank: داده‌های استاندارد ارزیابی
• 24. مجموعه‌داده‌های نوین برای سنجش Perplexity در سال‌های اخیر
• 25. تأثیر اندازهٔ مدل بر مقدار Perplexity
• 26. Perplexity در مدل‌های انتقال‌یافته (Transfer Learning)
• 27. مقایسهٔ Perplexity بین مدل‌های مختلف زبانی
• 28. بررسی تفاوت Perplexity بین مدل‌های رمزنگاری‌شده و رمزنگاری‌نشده
• 29. Perplexity در مدل‌های خودرمزگذار (Autoencoder)
• 30. دوره‌های پیش‌آموزشی و تأثیر آن‌ها بر Perplexity
• 31. نقش دادهٔ آموزشی در کاهش یا افزایش Perplexity
• 32. Perplexity و توزیع واژگان در دادهٔ آموزشی
• 33. اثر طولانی‌مدت (Long-Range Dependency) بر Perplexity
• 34. چالش‌های محاسبهٔ Perplexity در متون طولانی
• 35. سنجش Perplexity در مدل‌های تولیدکنندهٔ متن
• 36. ارتباط Perplexity با کیفیت تولید متن
• 37. بررسی خطاها و حاشیهٔ اطمینان در پیش‌بینی مدل
• 38. Perplexity در زبان‌های غیرانگلیسی چگونه متفاوت است؟
• 39. چالش‌های سنجش Perplexity در زبان فارسی
• 40. مقایسهٔ Perplexity با BLEU: کدام‌یک رهگذر بهتری است؟
• 41. مقایسهٔ Perplexity با ROUGE: تحلیل نقاط قوت و ضعف
• 42. زمانی که Perplexity کافی نیست: نیاز به معیارهای مکمل
• 43. معیارهای ارزیابی مبتنی بر انسان و مقایسه با Perplexity
• 44. تأثیر پارامترهای دما (Temperature) بر Perplexity
• 45. Perplexity و تنظیم دقیق (Fine-tuning) مدل‌های زبانی
• 46. اثر حذف داده‌های آموزشی بر مقدار Perplexity
• 47. دستورالعمل‌های عملی سنجش Perplexity در پروژه‌های واقعی
• 48. ابزارها و کتابخانه‌های محاسبهٔ Perplexity در پایتون
• 49. استفاده از Hugging Face برای اندازه‌گیری Perplexity
• 50. سنجش Perplexity در چارچوب‌های توزیع‌شده
• 51. بررسی میزان Perplexity در مدل‌های بزرگ مثل GPT و LLaMA
• 52. معنادار بودن مقایسهٔ Perplexity بین مدل‌های با اندازه‌های متفاوت
• 53. پیش‌بینی Perplexity و بررسی کارایی محاسباتی
• 54. Perplexity و کالیبراسیون مدل‌های زبانی
• 55. نقش Perplexity در تشخیص هالوسیناسیون مدل‌ها
• 56. ارتباط Perplexity با اطمینان (Confidence) مدل
• 57. سنجش Perplexity در وظایف دسته‌بندی و استخراج اطلاعات
• 58. Perplexity در مدل‌های مبتنی بر توجه (Attention-based)
• 59. تحلیل لایه‌ای Perplexity: چه لایه‌ای بهتر پیش‌بینی می‌کند؟
• 60. تأثیر مکانیزم توجه بر کاهش Perplexity
• 61. Perplexity در تولید کد برنامه‌نویسی
• 62. ارزیابی Perplexity در مدل‌های چندزبانه
• 63. پیدا کردن تعادل بین Perplexity و سرعت استنتاج
• 64. سنجش Perplexity در مدل‌های کوچک و سبک‌وزن
• 65. آیا Perplexity برای مدل‌های مبتنی بر رفرنس قابل اعتماد است؟
• 66. معیارهای ارزیابی نوین جایگزین یا مکمل Perplexity
• 67. آیندهٔ Perplexity در ارزیابی مدل‌های هوش مصنوعی
• 68. خلاصهٔ جامع معیارهای ارزیابی و جایگاه Perplexity
• 69. پروژهٔ نهایی: ارزیابی عملی Perplexity یک مدل زبانی