ترجمه فارسی مقاله تخمین هزینه زیست‌محیطی در طول چرخه عمر تطبیقی ​​مدل

چکیده

With the rapid increase in the research, development, and application of neural networks in the current era, there is a proportional increase in the energy needed to train and use models. Crucially, this is accompanied by the increase in carbon emissions into the environment. A sustainable and socially beneficial approach to reducing the carbon footprint and rising energy demands associated with the modern age of AI/deep learning is the adaptive and continuous reuse of models with regard to changes in the environment of model deployment or variations/changes in the input data. In this paper, we propose PreIndex, a predictive index to estimate the environmental and compute resources associated with model retraining to distributional shifts in data. PreIndex can be used to estimate environmental costs such as carbon emissions and energy usage when retraining from current data distribution to new data distribution. It also correlates with and can be used to estimate other resource indicators associated with deep learning, such as epochs, gradient norm, and magnitude of model parameter change. PreIndex requires only one forward pass of the data, following which it provides a single concise value to estimate resources associated with retraining to the new distribution shifted data. We show that PreIndex can be reliably used across various datasets, model architectures, different types, and intensities of distribution shifts. Thus, PreIndex enables users to make informed decisions for retraining to different distribution shifts and determine the most cost-effective and sustainable option, allowing for the reuse of a model with a much smaller footprint in the environment. The code for this work is available here: https://github.com/JEKimLab/AIES2024PreIndex

چکیده به فارسی (ترجمه ماشینی)

با افزایش سریع تحقیق ، توسعه و کاربرد شبکه های عصبی در دوره فعلی ، افزایش متناسب در انرژی مورد نیاز برای آموزش و استفاده از مدل ها وجود دارد.از نظر مهم ، این با افزایش انتشار کربن به محیط همراه است.یک رویکرد پایدار و اجتماعی مفید برای کاهش ردپای کربن و افزایش تقاضای انرژی مرتبط با عصر مدرن یادگیری عمیق/استفاده مجدد از مدل ها با توجه به تغییرات در محیط استقرار مدل یا تغییرات/تغییرات در ورودی ، استفاده مجدد و مداوم از مدل ها است.داده هادر این مقاله ، ما Preindex را پیشنهاد می کنیم ، یک شاخص پیش بینی کننده برای برآورد منابع محیطی و محاسبه شده با بازآموزی مدل به تغییرات توزیع در داده ها.از Preindex می توان برای برآورد هزینه های زیست محیطی مانند انتشار کربن و مصرف انرژی هنگام بازآموزی از توزیع داده های فعلی به توزیع داده های جدید استفاده کرد.همچنین با آن با و می توان برای برآورد سایر شاخص های منابع مرتبط با یادگیری عمیق ، مانند دوره ها ، هنجار شیب و بزرگی تغییر پارامتر مدل استفاده کرد.Preindex فقط به یک انتقال رو به جلو از داده ها نیاز دارد و در پی آن یک مقدار مختصر مختصر برای برآورد منابع مرتبط با بازآموزی به داده های تغییر یافته توزیع جدید فراهم می کند.ما نشان می دهیم که preindex می تواند با اطمینان در مجموعه داده های مختلف ، معماری های مدل ، انواع مختلف و شدت تغییرات توزیع استفاده شود.بنابراین ، Preindex کاربران را قادر می سازد تا تصمیمات آگاهانه ای را برای بازآموزی در شیفت های مختلف توزیع و تعیین مقرون به صرفه ترین و پایدار ترین گزینه بگیرند و امکان استفاده مجدد از یک مدل را با ردپای بسیار کوچکتر در محیط فراهم می کند.کد این کار در اینجا موجود است: https://github.com/jekimlab/aies2024preindex