ترجمه فارسی مقاله FTuner: یک تنظیم‌کننده خودکار سریع برنامه تنسورهای شکل پویا برای کامپایلرهای یادگیری عمیق

چکیده

Many artificial intelligence models process input data of different lengths and resolutions, making the shape of the tensors dynamic. The performance of these models depends on the shape of the tensors, which makes it difficult to optimize the tensors before the model runs. There are two common solutions to this problem. The first is to add useless data to the input to match a pre-optimized tensor library. The second is to use small basic tensors to create a tensor that is closest in size to the input data and then tune it to minimize padding. However, this second solution can be time-consuming. This paper proposes a new technique for deep learning compilers called FTuner. Instead of using a large design space or training a cost model, we use an abstract computational unit called the uKernel to patch together small, various-sized tensors to match the shape of the input tensor. We determine the shape of the uKernel using an analytic hardware information model. Experiments show that the FTuner can achieve comparable operators and end-to-end performance to vendor libraries and achieves 3% speedup on existing auto-tuner with the model-training compiler while reducing tuning time by two orders of magnitude.

چکیده به فارسی (ترجمه ماشینی)

بسیاری از مدلهای هوش مصنوعی داده های ورودی با طول و وضوح مختلف را پردازش می کنند و شکل تانسور را پویا می کنند.عملکرد این مدلها به شکل تانسور بستگی دارد و این امر بهینه سازی تنش ها قبل از اجرای مدل را دشوار می کند.دو راه حل مشترک برای این مشکل وجود دارد.اولین مورد اضافه کردن داده های بی فایده به ورودی برای مطابقت با یک کتابخانه تنسور از قبل بهینه سازی شده است.مورد دوم استفاده از تنسورهای اساسی اساسی برای ایجاد تانسور است که از نظر اندازه نزدیک به داده های ورودی نزدیک باشد و سپس آن را تنظیم کنید تا بالشتک را به حداقل برساند.با این حال ، این راه حل دوم می تواند وقت گیر باشد.در این مقاله یک تکنیک جدید برای کامپایلرهای یادگیری عمیق به نام FTUNER ارائه شده است.به جای استفاده از یک فضای طراحی بزرگ یا آموزش یک مدل هزینه ، ما از یک واحد محاسباتی انتزاعی به نام Ukernel استفاده می کنیم تا تنسورهای کوچک و با اندازه مختلف را با هم جمع کنیم تا با شکل تانسور ورودی مطابقت داشته باشد.ما شکل Ukernel را با استفاده از یک مدل اطلاعات سخت افزاری تحلیلی تعیین می کنیم.آزمایشات نشان می دهد که FTUNER می تواند به اپراتورهای قابل مقایسه و عملکرد پایان به کتابخانه های فروشنده دست یابد و به سرعت 3 ٪ در تنظیم خودکار موجود با کامپایلر آموزش مدل دست یابد و در عین حال زمان تنظیم را با دو سفارش از بزرگی کاهش دهد.