Computation and Language,Artificial Intelligence,Computers and Society,Human-Computer Interaction,Machine Learning,محاسبه و زبان , هوش مصنوعی , رایانه و جامعه , تعامل انسان و رایانه , یادگیری ماشین ,
توضیحات
Submitted 6 September, 2024; originally announced September 2024. , Comments: main paper is 20 pages
توضیحات به فارسی
ارسال شده در 6 سپتامبر 2024 ؛در ابتدا در سپتامبر 2024 اعلام شد. ، نظرات: مقاله اصلی 20 صفحه است
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
چکیده
Recent advancements in large language models (LLMs) have sparked optimism about their potential to accelerate scientific discovery, with a growing number of works proposing research agents that autonomously generate and validate new ideas. Despite this, no evaluations have shown that LLM systems can take the very first step of producing novel, expert-level ideas, let alone perform the entire research process. We address this by establishing an experimental design that evaluates research idea generation while controlling for confounders and performs the first head-to-head comparison between expert NLP researchers and an LLM ideation agent. By recruiting over 100 NLP researchers to write novel ideas and blind reviews of both LLM and human ideas, we obtain the first statistically significant conclusion on current LLM capabilities for research ideation: we find LLM-generated ideas are judged as more novel (p < 0.05) than human expert ideas while being judged slightly weaker on feasibility. Studying our agent baselines closely, we identify open problems in building and evaluating research agents, including failures of LLM self-evaluation and their lack of diversity in generation. Finally, we acknowledge that human judgements of novelty can be difficult, even by experts, and propose an end-to-end study design which recruits researchers to execute these ideas into full projects, enabling us to study whether these novelty and feasibility judgements result in meaningful differences in research outcome.
چکیده به فارسی (ترجمه ماشینی)
پیشرفت های اخیر در مدل های بزرگ زبان (LLM) باعث خوش بینی در مورد پتانسیل خود در تسریع در کشف علمی شده است ، با تعداد فزاینده ای از آثار که به نمایندگان تحقیقاتی پیشنهاد می دهند که به طور خودمختار ایده های جدید را تولید و اعتبار می دهند.با وجود این ، هیچ ارزیابی ای نشان نداده است که سیستم های LLM می توانند اولین گام تولید ایده های جدید و متخصص را بردارند ، چه رسد به انجام کل فرایند تحقیق.ما این موضوع را با ایجاد یک طرح آزمایشی که تولید ایده تحقیق را در حالی که کنترل می کند ، ارزیابی می کند و اولین مقایسه سر به سر را بین محققان متخصص NLP و یک عامل ایده آل LLM انجام می دهیم.با استخدام بیش از 100 محقق NLP برای نوشتن ایده های جدید و بررسی های کور هر دو LLM و ایده های انسانی ، ما اولین نتیجه گیری آماری قابل توجهی را در مورد قابلیت های فعلی LLM برای ایده های تحقیق بدست می آوریم: می بینیم که ایده های تولید شده LLM به عنوان جدیدتر مورد قضاوت قرار می گیرند (P <0.05) از ایده های متخصص انسانی در حالی که در مورد امکان سنجی کمی ضعیف تر می شوند.با مطالعه پایه های عامل ما از نزدیک ، ما مشکلات باز در ساخت و ارزیابی عوامل تحقیقاتی ، از جمله شکست های خود ارزیابی LLM و عدم تنوع آنها در تولید را شناسایی می کنیم.سرانجام ، ما تأیید می كنیم كه داوری های انسانی از تازگی حتی توسط متخصصان نیز می تواند دشوار باشد ، و یک طرح مطالعه نهایی را ارائه می دهیم كه محققان را برای اجرای این ایده ها در پروژه های كامل استخدام می كند ، و ما را قادر می سازد كه بررسی كنیم كه آیا این داوری های جدید و امکان سنجی منجر به آن می شود.تفاوت های معنی دار در نتیجه تحقیق.
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
