ترجمه فارسی مقاله آیا مدل های بزرگ زبان می توانند برنامه های گرافیکی نمادین را درک کنند؟

چکیده

Assessing the capabilities of large language models (LLMs) is often challenging, in part, because it is hard to find tasks to which they have not been exposed during training. We take one step to address this challenge by turning to a new task: focusing on symbolic graphics programs, which are a popular representation for graphics content that procedurally generates visual data. LLMs have shown exciting promise towards program synthesis, but do they understand symbolic graphics programs? Unlike conventional programs, symbolic graphics programs can be translated to graphics content. Here, we characterize an LLM’s understanding of symbolic programs in terms of their ability to answer questions related to the graphics content. This task is challenging as the questions are difficult to answer from the symbolic programs alone — yet, they would be easy to answer from the corresponding graphics content as we verify through a human experiment. To understand symbolic programs, LLMs may need to possess the ability to imagine how the corresponding graphics content would look without directly accessing the rendered visual content. We use this task to evaluate LLMs by creating a large benchmark for the semantic understanding of symbolic graphics programs. This benchmark is built via program-graphics correspondence, hence requiring minimal human efforts. We evaluate current LLMs on our benchmark to elucidate a preliminary assessment of their ability to reason about visual scenes from programs. We find that this task distinguishes existing LLMs and models considered good at reasoning perform better. Lastly, we introduce Symbolic Instruction Tuning (SIT) to improve this ability. Specifically, we query GPT4-o with questions and images generated by symbolic programs. Such data are then used to finetune an LLM. We also find that SIT data can improve the general instruction following ability of LLMs.

چکیده به فارسی (ترجمه ماشینی)

ارزیابی قابلیت های مدل های بزرگ زبان (LLMS) غالباً چالش برانگیز است ، زیرا یافتن کارهایی که در طول آموزش در معرض آنها قرار نگرفته اند ، دشوار است.ما با روی آوردن به یک کار جدید ، یک قدم برای رسیدگی به این چالش برداریم: تمرکز بر روی برنامه های گرافیکی نمادین ، ​​که یک نمایش محبوب برای محتوای گرافیکی است که از لحاظ رویه ای داده های بصری را تولید می کند.LLMS وعده مهیج نسبت به سنتز برنامه نشان داده است ، اما آیا آنها برنامه های گرافیکی نمادین را درک می کنند؟بر خلاف برنامه های معمولی ، برنامه های گرافیکی نمادین را می توان به محتوای گرافیکی ترجمه کرد.در اینجا ، ما درک LLM از برنامه های نمادین را از نظر توانایی آنها در پاسخ به سؤالات مربوط به محتوای گرافیکی توصیف می کنیم.این کار چالش برانگیز است زیرا پاسخ دادن به سؤالات به تنهایی از برنامه های نمادین دشوار است – با این حال ، به راحتی می توان از محتوای گرافیکی مربوطه پاسخ داد که ما از طریق یک آزمایش انسانی تأیید می کنیم.برای درک برنامه های نمادین ، ​​LLMS ممکن است نیاز به توانایی تصور اینکه چگونه محتوای گرافیکی مربوطه بدون دسترسی مستقیم به محتوای بصری ارائه شده ، چگونه به نظر می رسد.ما از این کار برای ارزیابی LLM ها با ایجاد یک معیار بزرگ برای درک معنایی برنامه های گرافیکی نمادین استفاده می کنیم.این معیار از طریق مکاتبات برنامه-گرافیکی ساخته شده است ، از این رو نیاز به حداقل تلاش های انسانی دارد.ما LLM های فعلی را در معیار خود ارزیابی می کنیم تا ارزیابی اولیه از توانایی آنها در استدلال در مورد صحنه های بصری از برنامه ها را روشن کنیم.ما می دانیم که این کار LLM ها و مدل های موجود را متمایز می کند که در استدلال خوب هستند.سرانجام ، ما برای بهبود این توانایی ، تنظیم دستورالعمل نمادین (SIT) را معرفی می کنیم.به طور خاص ، ما GPT4-O را با سؤالات و تصاویر ایجاد شده توسط برنامه های نمادین پرس و جو می کنیم.سپس از چنین داده هایی برای استفاده از LLM استفاده می شود.ما همچنین می دانیم که داده های SIT می توانند دستورالعمل کلی را به دنبال توانایی LLMS بهبود بخشند.