ترجمه فارسی مقاله رویکردی مبتنی بر معیار برای آموزش با دقت ترکیبی

چکیده

As deep learning methodologies have developed, it has been generally agreed that increasing neural network size improves model quality. However, this is at the expense of memory and compute requirements, which also need to be increased. Various efficiency techniques have been proposed to rein in hardware costs, one being the use of low precision numerics. Recent accelerators have introduced several different 8-bit data types to help accommodate DNNs in terms of numerics. In this paper, we identify a metric driven methodology to aid in the choice of numerics. We demonstrate how such a methodology can help scale training of a language representation model. The technique can be generalized to other model architectures.

چکیده به فارسی (ترجمه ماشینی)

با توسعه روشهای یادگیری عمیق ، به طور کلی توافق شده است که افزایش اندازه شبکه عصبی باعث بهبود کیفیت مدل می شود.با این حال ، این به هزینه حافظه و الزامات محاسباتی است که باید افزایش یابد.تکنیک های مختلف بهره وری برای تقویت هزینه های سخت افزاری ارائه شده است ، یکی استفاده از شماره های با دقت پایین.شتاب دهنده های اخیر چندین نوع داده 8 بیتی مختلف را برای کمک به اسکان DNN ها از نظر عددی معرفی کرده اند.در این مقاله ، ما یک روش محور متریک را برای کمک به انتخاب شماره ها شناسایی می کنیم.ما نشان می دهیم که چگونه چنین روشی می تواند به مقیاس آموزش یک مدل بازنمایی زبان کمک کند.این تکنیک را می توان به سایر معماری های مدل تعمیم داد.