ترجمه فارسی مقاله تولید خودکار موارد آزمون رفتاری برای پردازش زبان طبیعی با استفاده از خوشه‌بندی و اعلان

چکیده

Recent work in behavioral testing for natural language processing (NLP) models, such as Checklist, is inspired by related paradigms in software engineering testing. They allow evaluation of general linguistic capabilities and domain understanding, hence can help evaluate conceptual soundness and identify model weaknesses. However, a major challenge is the creation of test cases. The current packages rely on semi-automated approach using manual development which requires domain expertise and can be time consuming. This paper introduces an automated approach to develop test cases by exploiting the power of large language models and statistical techniques. It clusters the text representations to carefully construct meaningful groups and then apply prompting techniques to automatically generate Minimal Functionality Tests (MFT). The well-known Amazon Reviews corpus is used to demonstrate our approach. We analyze the behavioral test profiles across four different classification algorithms and discuss the limitations and strengths of those models.

چکیده به فارسی (ترجمه ماشینی)

کار اخیر در آزمایش رفتاری برای مدل های پردازش زبان طبیعی (NLP) ، مانند لیست چک ، از پارادایم های مرتبط در تست مهندسی نرم افزار الهام گرفته شده است.آنها امکان ارزیابی قابلیت های زبانی عمومی و درک دامنه را فراهم می کنند ، از این رو می توانند به ارزیابی صدای مفهومی و شناسایی نقاط ضعف مدل کمک کنند.با این حال ، یک چالش اساسی ایجاد موارد آزمایش است.بسته های فعلی با استفاده از توسعه دستی که به تخصص دامنه نیاز دارد ، به رویکرد نیمه اتوماتیک متکی هستند و می توانند وقت گیر باشند.در این مقاله یک رویکرد خودکار برای توسعه موارد آزمایشی با بهره برداری از قدرت مدل های بزرگ زبان و تکنیک های آماری ارائه شده است.این نمایشگاه ها را برای ساختن گروههای معنادار با دقت و سپس تکنیک های فوری برای تولید خودکار آزمایشات عملکردی حداقل (MFT) به کار می برد.از Corpus مشهور آمازون برای نشان دادن رویکرد ما استفاده می شود.ما پروفایل های آزمون رفتاری را در چهار الگوریتم طبقه بندی مختلف تجزیه و تحلیل می کنیم و در مورد محدودیت ها و نقاط قوت آن مدل ها بحث می کنیم.