Computation and Language,Artificial Intelligence,Machine Learning,محاسبه و زبان , هوش مصنوعی , یادگیری ماشین ,
توضیحات
Submitted 5 September, 2024; originally announced September 2024. , Comments: Presented at the 2024 KDD workshop on Evaluation and Trustworthiness of Generative AI Models
توضیحات به فارسی
ارسال شده در 5 سپتامبر 2024 ؛در ابتدا در سپتامبر 2024 اعلام شد. ، نظرات: ارائه شده در کارگاه آموزشی KDD 2024 در مورد ارزیابی و اعتماد به نفس مدل های AI تولیدی
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
چکیده
Predicting the performance of LLMs on individual task instances is essential to ensure their reliability in high-stakes applications. To do so, a possibility is to evaluate the considered LLM on a set of task instances and train an assessor to predict its performance based on features of the instances. However, this approach requires evaluating each new LLM on a sufficiently large set of task instances to train an assessor specific to it. In this work, we leverage the evaluation results of previously tested LLMs to reduce the number of evaluations required to predict the performance of a new LLM. In practice, we propose to test the new LLM on a small set of reference instances and train a generic assessor which predicts the performance of the LLM on an instance based on the performance of the former on the reference set and features of the instance of interest. We conduct empirical studies on HELM-Lite and KindsOfReasoning, a collection of existing reasoning datasets that we introduce, where we evaluate all instruction-fine-tuned OpenAI models until the January 2024 version of GPT4. When predicting performance on instances with the same distribution as those used to train the generic assessor, we find this achieves performance comparable to the LLM-specific assessors trained on the full set of instances. Additionally, we find that randomly selecting the reference instances performs as well as some advanced selection methods we tested. For out of distribution, however, no clear winner emerges and the overall performance is worse, suggesting that the inherent predictability of LLMs is low.
چکیده به فارسی (ترجمه ماشینی)
پیش بینی عملکرد LLMS در نمونه های کار فردی برای اطمینان از قابلیت اطمینان آنها در برنامه های پر سر و صدا ضروری است.برای انجام این کار ، امکان ارزیابی LLM در نظر گرفته شده در مجموعه ای از نمونه های کار و آموزش یک ارزیابی کننده برای پیش بینی عملکرد آن بر اساس ویژگی های نمونه ها است.با این حال ، این رویکرد نیاز به ارزیابی هر LLM جدید در مجموعه کافی از نمونه های کار به اندازه کافی برای آموزش یک ارزیابی کننده خاص برای آن دارد.در این کار ، ما از نتایج ارزیابی LLMS که قبلاً آزمایش شده بودند برای کاهش تعداد ارزیابی های مورد نیاز برای پیش بینی عملکرد LLM جدید استفاده می کنیم.در عمل ، ما پیشنهاد می کنیم LLM جدید را بر روی مجموعه کوچکی از موارد مرجع آزمایش کنیم و یک ارزیابی کننده عمومی را آموزش دهیم که عملکرد LLM را بر اساس عملکرد سابق در مجموعه مرجع و ویژگی های نمونه مورد علاقه پیش بینی می کند.بشرما مطالعات تجربی را در مورد Helm-Lite و انواع فصلی انجام می دهیم ، مجموعه ای از مجموعه داده های استدلال موجود که معرفی می کنیم ، جایی که همه مدل های OpenAI را با تنظیمات و تنظیم شده تا نسخه ژانویه 2024 GPT4 ارزیابی می کنیم.هنگام پیش بینی عملکرد در مواردی با همان توزیع همان مواردی که برای آموزش ارزیابی عمومی استفاده می شود ، می یابیم که این عملکرد قابل مقایسه با ارزیابی های خاص LLM است که در مجموعه کامل نمونه ها آموزش داده می شوند.علاوه بر این ، ما می دانیم که انتخاب تصادفی نمونه های مرجع و همچنین برخی از روش های انتخاب پیشرفته ای که آزمایش کردیم انجام می شود.با این حال ، برای توزیع خارج ، هیچ برنده مشخصی پدیدار نمی شود و عملکرد کلی بدتر است ، نشان می دهد که پیش بینی ذاتی LLMS کم است.
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
