ترجمه فارسی مقاله چگونه می‌توان هوش مدل‌های زبانی بزرگ را اندازه‌گیری کرد؟

چکیده

With the release of ChatGPT and other large language models (LLMs) the discussion about the intelligence, possibilities, and risks, of current and future models have seen large attention. This discussion included much debated scenarios about the imminent rise of so-called “super-human” AI, i.e., AI systems that are orders of magnitude smarter than humans. In the spirit of Alan Turing, there is no doubt that current state-of-the-art language models already pass his famous test. Moreover, current models outperform humans in several benchmark tests, so that publicly available LLMs have already become versatile companions that connect everyday life, industry and science. Despite their impressive capabilities, LLMs sometimes fail completely at tasks that are thought to be trivial for humans. In other cases, the trustworthiness of LLMs becomes much more elusive and difficult to evaluate. Taking the example of academia, language models are capable of writing convincing research articles on a given topic with only little input. Yet, the lack of trustworthiness in terms of factual consistency or the existence of persistent hallucinations in AI-generated text bodies has led to a range of restrictions for AI-based content in many scientific journals. In view of these observations, the question arises as to whether the same metrics that apply to human intelligence can also be applied to computational methods and has been discussed extensively. In fact, the choice of metrics has already been shown to dramatically influence assessments on potential intelligence emergence. Here, we argue that the intelligence of LLMs should not only be assessed by task-specific statistical metrics, but separately in terms of qualitative and quantitative measures.

چکیده به فارسی (ترجمه ماشینی)

با انتشار ChatGPT و سایر مدل های بزرگ زبان (LLM) بحث در مورد اطلاعات ، امکانات و خطرات مدل های فعلی و آینده توجه زیادی را مشاهده کرده است.این بحث شامل سناریوهای بحث شده در مورد ظهور قریب الوقوع AI به اصطلاح “فوق العاده انسانی” ، یعنی سیستم های هوش مصنوعی است که سفارشات بزرگی نسبت به انسان دارند.با توجه به روح آلن تورینگ ، شکی نیست که مدل های فعلی زبان پیشرفته در حال حاضر آزمایش معروف خود را پشت سر می گذارند.علاوه بر این ، مدل های فعلی در چندین تست معیار از انسان بهتر عمل می کنند ، به طوری که LLM های در دسترس عموم در حال حاضر به همراهان همه کاره تبدیل شده اند که زندگی ، صنعت و علوم روزمره را به هم وصل می کنند.علی رغم قابلیت های چشمگیر آنها ، LLMS گاهی اوقات کاملاً در کارهایی که تصور می شود برای انسان بی اهمیت است ، کاملاً شکست می خورند.در موارد دیگر ، اعتماد به نفس LLMS بسیار گریزان تر و ارزیابی می شود.با در نظر گرفتن نمونه آکادمی ، مدل های زبان قادر به نوشتن مقالات تحقیقاتی قانع کننده در مورد یک موضوع خاص با تنها ورودی اندک هستند.با این وجود ، عدم اعتماد به نفس از نظر سازگاری واقعی یا وجود توهم مداوم در بدن های متنی AI منجر به محدودیت محدودیت هایی برای محتوای مبتنی بر هوش مصنوعی در بسیاری از مجلات علمی شده است.با توجه به این مشاهدات ، این سؤال پیش می آید که آیا همان معیارهایی که در مورد هوش انسانی اعمال می شود نیز می تواند در روشهای محاسباتی اعمال شود و به طور گسترده مورد بحث قرار گرفته است.در حقیقت ، انتخاب معیارها قبلاً نشان داده شده است که به طور چشمگیری بر ارزیابی های ظهور اطلاعات احتمالی تأثیر می گذارد.در اینجا ، ما استدلال می کنیم که اطلاعات LLMS نه تنها باید با معیارهای آماری خاص کار ، بلکه به طور جداگانه از نظر اقدامات کیفی و کمی ارزیابی شود.