ترجمه فارسی مقاله توصیف سیستماتیک اثربخشی تراز در مدل های زبان بزرگ برای تصمیم گیری های طبقه بندی شده

چکیده

As large language models (LLMs) are increasingly deployed in high-stakes domains like healthcare, understanding how well their decision-making aligns with human preferences and values becomes crucial, especially when we recognize that there is no single gold standard for these preferences. This paper applies a systematic methodology for evaluating preference alignment in LLMs on categorical decision-making with medical triage as a domain-specific use case. It also measures how effectively an alignment procedure will change the alignment of a specific model. Key to this methodology is a novel simple measure, the Alignment Compliance Index (ACI), that quantifies how effectively a LLM can be aligned to a given preference function or gold standard. Since the ACI measures the effect rather than the process of alignment, it is applicable to alignment methods beyond the in-context learning used in this study.

چکیده به فارسی (ترجمه ماشینی)

از آنجا که مدل های بزرگ زبان (LLMS) به طور فزاینده ای در حوزه های پر سر و صدا مانند مراقبت های بهداشتی مستقر می شوند ، درک می کنند که تصمیم گیری آنها با ترجیحات و ارزش های انسانی چقدر مطابقت دارد ، به ویژه هنگامی که می دانیم که هیچ استاندارد طلای واحدی برای این ترجیحات وجود ندارد.در این مقاله یک روش سیستماتیک برای ارزیابی تراز اولویت در LLMS در تصمیم گیری طبقه بندی شده با تریاژ پزشکی به عنوان یک مورد استفاده خاص دامنه استفاده شده است.همچنین اندازه گیری می کند که چگونه یک روش تراز به طور مؤثر تراز یک مدل خاص را تغییر می دهد.نکته اصلی این روش یک اندازه گیری ساده جدید ، شاخص انطباق تراز (ACI) است ، که تعیین می کند که چگونه یک LLM می تواند با یک عملکرد اولویت خاص یا استاندارد طلا مطابقت داشته باشد.از آنجا که ACI اثر را به جای فرآیند تراز اندازه گیری می کند ، در روش های تراز فراتر از یادگیری درون متن مورد استفاده در این مطالعه کاربرد دارد.