ترجمه فارسی مقاله محک زدن قابلیت‌های مدل‌های زبان بزرگ در مهندسی سیستم حمل‌ونقل: دقت، سازگاری و رفتارهای استدلالی

چکیده

In this paper, we explore the capabilities of state-of-the-art large language models (LLMs) such as GPT-4, GPT-4o, Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro, Llama 3, and Llama 3.1 in solving some selected undergraduate-level transportation engineering problems. We introduce TransportBench, a benchmark dataset that includes a sample of transportation engineering problems on a wide range of subjects in the context of planning, design, management, and control of transportation systems. This dataset is used by human experts to evaluate the capabilities of various commercial and open-sourced LLMs, especially their accuracy, consistency, and reasoning behaviors, in solving transportation engineering problems. Our comprehensive analysis uncovers the unique strengths and limitations of each LLM, e.g. our analysis shows the impressive accuracy and some unexpected inconsistent behaviors of Claude 3.5 Sonnet in solving TransportBench problems. Our study marks a thrilling first step toward harnessing artificial general intelligence for complex transportation challenges.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله ، ما به بررسی قابلیت های مدلهای بزرگ زبان (LLM) مانند GPT-4 ، GPT-4O ، Claude 3.5 Sonnet ، Claude 3 Opus ، Gemini 1.5 Pro ، Llama 3 و Llama 3.1 می پردازیم.در حل برخی از مشکلات مهندسی حمل و نقل در سطح کارشناسی انتخاب شده.ما TransportBench ، یک مجموعه داده معیار را معرفی می کنیم که شامل نمونه ای از مشکلات مهندسی حمل و نقل در طیف گسترده ای از افراد در زمینه برنامه ریزی ، طراحی ، مدیریت و کنترل سیستم های حمل و نقل است.این مجموعه داده توسط کارشناسان انسانی برای ارزیابی قابلیت های LLM های مختلف تجاری و باز ، به ویژه صحت ، قوام و رفتارهای استدلال در حل مشکلات مهندسی حمل و نقل استفاده می شود.تجزیه و تحلیل جامع ما نقاط قوت و محدودیت های منحصر به فرد هر LLM را کشف می کند ، به عنوان مثالتجزیه و تحلیل ما صحت چشمگیر و برخی از رفتارهای متناقض غیر منتظره Claude 3.5 Sonnet در حل مشکلات حمل و نقل را نشان می دهد.مطالعه ما اولین گام هیجان انگیز به سمت مهار اطلاعات عمومی مصنوعی برای چالش های پیچیده حمل و نقل است.