ترجمه فارسی مقاله در باب پارادوکس استدلال سازگار هوش و اعتماد بهینه به هوش مصنوعی: قدرت «نمی‌دانم»

چکیده

We introduce the Consistent Reasoning Paradox (CRP). Consistent reasoning, which lies at the core of human intelligence, is the ability to handle tasks that are equivalent, yet described by different sentences (‘Tell me the time!’ and ‘What is the time?’). The CRP asserts that consistent reasoning implies fallibility — in particular, human-like intelligence in AI necessarily comes with human-like fallibility. Specifically, it states that there are problems, e.g. in basic arithmetic, where any AI that always answers and strives to mimic human intelligence by reasoning consistently will hallucinate (produce wrong, yet plausible answers) infinitely often. The paradox is that there exists a non-consistently reasoning AI (which therefore cannot be on the level of human intelligence) that will be correct on the same set of problems. The CRP also shows that detecting these hallucinations, even in a probabilistic sense, is strictly harder than solving the original problems, and that there are problems that an AI may answer correctly, but it cannot provide a correct logical explanation for how it arrived at the answer. Therefore, the CRP implies that any trustworthy AI (i.e., an AI that never answers incorrectly) that also reasons consistently must be able to say ‘I don’t know’. Moreover, this can only be done by implicitly computing a new concept that we introduce, termed the ‘I don’t know’ function — something currently lacking in modern AI. In view of these insights, the CRP also provides a glimpse into the behaviour of Artificial General Intelligence (AGI). An AGI cannot be ‘almost sure’, nor can it always explain itself, and therefore to be trustworthy it must be able to say ‘I don’t know’.

چکیده به فارسی (ترجمه ماشینی)

ما پارادوکس استدلال مداوم (CRP) را معرفی می کنیم.استدلال مداوم ، که در هسته اصلی هوش انسان قرار دارد ، توانایی انجام وظایفی است که معادل آن هستند ، اما با جملات مختلف توصیف می شوند (“به من بگویید زمان!” و “زمان چیست؟”).CRP ادعا می کند که استدلال مداوم به معنای جعل است-به ویژه ، هوش انسانی مانند در هوش مصنوعی لزوماً با قابلیت فساد مانند انسان همراه است.به طور خاص ، بیان می کند که مشکلاتی وجود دارد ، به عنوان مثالدر حسابی اساسی ، جایی که هر هوش مصنوعی که همیشه پاسخ می دهد و سعی می کند با استدلال به طور مداوم از هوش انسانی تقلید کند ، توهم می کند (پاسخ های اشتباه و در عین حال قابل قبول) را به طور غالباً توهم می کند.پارادوکس این است که یک هوش مصنوعی غیرقانونی (که بنابراین نمی تواند در سطح هوش انسانی باشد) وجود دارد که در همان مجموعه مشکلات صحیح باشد.CRP همچنین نشان می دهد که تشخیص این توهمات ، حتی به معنای احتمالی ، بسیار سخت تر از حل مشکلات اصلی است و مشکلاتی وجود دارد که ممکن است یک هوش مصنوعی به درستی پاسخ دهد ، اما نمی تواند یک توضیح منطقی صحیح برای نحوه رسیدن به آن ارائه دهدجواببنابراین ، CRP دلالت بر این دارد که هر هوش مصنوعی قابل اعتماد (یعنی هوش مصنوعی که هرگز به اشتباه پاسخ نمی دهد) که به طور مداوم دلایلی نیز باید بتواند بگوید “من نمی دانم”.علاوه بر این ، این فقط با محاسبه ضمنی مفهوم جدیدی که ما معرفی می کنیم ، می توان عملکرد “من نمی دانم” را انجام دهیم – چیزی که در حال حاضر فاقد هوش مصنوعی مدرن است.با توجه به این بینش ها ، CRP همچنین نگاهی اجمالی به رفتار هوش عمومی مصنوعی (AGI) ارائه می دهد.یک AGI نمی تواند “تقریباً مطمئن” باشد ، و نه همیشه می تواند خود را توضیح دهد ، و بنابراین قابل اعتماد است ، باید بتواند بگوید “من نمی دانم”.