ترجمه فارسی مقاله آیا گفتار کودک محور برای مدل‌های زبانی، داده‌های آموزشی مؤثری است؟

چکیده

While high-performing language models are typically trained on hundreds of billions of words, human children become fluent language users with a much smaller amount of data. What are the features of the data they receive, and how do these features support language modeling objectives? To investigate this question, we train GPT-2 models on 29M words of English-language child-directed speech and a new matched, synthetic dataset (TinyDialogues), comparing to a heterogeneous blend of datasets from the BabyLM challenge. We evaluate both the syntactic and semantic knowledge of these models using developmentally-inspired evaluations. Through pretraining experiments, we test whether the global developmental ordering or the local discourse ordering of children’s training data support high performance relative to other datasets. The local properties of the data affect model results, but somewhat surprisingly, global properties do not. Further, child language input is not uniquely valuable for training language models. These findings support the hypothesis that, rather than proceeding from better data, children’s learning is instead substantially more efficient than current language modeling techniques.

چکیده به فارسی (ترجمه ماشینی)

در حالی که مدلهای زبان با عملکرد بالا معمولاً روی صدها میلیارد کلمه آموزش می یابند ، کودکان انسانی با داده های بسیار کمتری به کاربران زبان مسلط تبدیل می شوند.ویژگی های داده ای که دریافت می کنند چیست و چگونه این ویژگی ها از اهداف مدل سازی زبان پشتیبانی می کنند؟برای بررسی این سؤال ، ما مدل های GPT-2 را بر روی 29 متر کلمات گفتار کودک به زبان انگلیسی و یک مجموعه داده جدید و مصنوعی (Tinydialogues) آموزش می دهیم ، و در مقایسه با ترکیبی ناهمگن از مجموعه داده ها از چالش BabyLM.ما دانش نحوی و معنایی این مدل ها را با استفاده از ارزیابی های الهام گرفته از توسعه ارزیابی می کنیم.از طریق آزمایش های پیش نویس ، ما آزمایش می کنیم که آیا سفارش جهانی توسعه یا ترتیب گفتمان محلی داده های آموزش کودکان از عملکرد بالایی نسبت به سایر مجموعه داده ها پشتیبانی می کند.خصوصیات محلی داده ها بر نتایج مدل تأثیر می گذارد ، اما به طرز حیرت انگیزی ، خصوصیات جهانی این کار را نمی کند.علاوه بر این ، ورودی زبان کودک برای مدلهای آموزش زبان منحصر به فرد نیست.این یافته ها این فرضیه را تأیید می کنند که ، به جای اینکه از داده های بهتر استفاده شود ، یادگیری کودکان در عوض از نظر تکنیک های مدل سازی زبان فعلی کارآمدتر است.