ترجمه فارسی مقاله ظرفیت حافظه برای تنظیم دقیق افزایشی با شبکه‌های ReLU کوچک

چکیده

Fine-tuning large pre-trained models is a common practice in machine learning applications, yet its mathematical analysis remains largely unexplored. In this paper, we study fine-tuning through the lens of memorization capacity. Our new measure, the Fine-Tuning Capacity (FTC), is defined as the maximum number of samples a neural network can fine-tune, or equivalently, as the minimum number of neurons ($m$) needed to arbitrarily change $N$ labels among $K$ samples considered in the fine-tuning process. In essence, FTC extends the memorization capacity concept to the fine-tuning scenario. We analyze FTC for the additive fine-tuning scenario where the fine-tuned network is defined as the summation of the frozen pre-trained network $f$ and a neural network $g$ (with $m$ neurons) designed for fine-tuning. When $g$ is a ReLU network with either 2 or 3 layers, we obtain tight upper and lower bounds on FTC; we show that $N$ samples can be fine-tuned with $m=Θ(N)$ neurons for 2-layer networks, and with $m=Θ(sqrt{N})$ neurons for 3-layer networks, no matter how large $K$ is. Our results recover the known memorization capacity results when $N = K$ as a special case.

چکیده به فارسی (ترجمه ماشینی)

تنظیم دقیق مدل های بزرگ از پیش آموزش یک روش معمول در برنامه های یادگیری ماشین است ، اما تجزیه و تحلیل ریاضی آن تا حد زیادی ناشناخته است.در این مقاله ، تنظیم دقیق از طریق لنزهای ظرفیت حفظ می کنیم.اندازه گیری جدید ما ، ظرفیت تنظیم دقیق (FTC) ، به عنوان حداکثر تعداد نمونه هایی که یک شبکه عصبی می تواند خوب یا معادل آن تعریف شود ، تعریف می شود ، زیرا حداقل تعداد نورون ها ($ m $) برای تغییر دلخواه N $ $ مورد نیاز است.برچسب ها در بین نمونه های $ $ $ که در فرآیند تنظیم دقیق در نظر گرفته شده است.در اصل ، FTC مفهوم ظرفیت یادآوری را به سناریوی تنظیم دقیق گسترش می دهد.ما FTC را برای سناریوی تنظیم دقیق افزودنی تجزیه و تحلیل می کنیم که در آن شبکه تنظیم دقیق به عنوان جمع بندی شبکه از پیش آموزش یافته یخ زده $ f $ و یک شبکه عصبی $ g $ (با نورونهای $ m $) طراحی شده است که برای تنظیم دقیق طراحی شده است.بشرهنگامی که $ g $ یک شبکه RELU با 2 یا 3 لایه است ، ما مرزهای بالا و پایین محکم را در FTC بدست می آوریم.ما نشان می دهیم که نمونه های $ n $ می توانند با سلولهای عصبی $ m = θ (n) $ برای شبکه های 2 لایه تنظیم شوند ، و با $ m = θ ( sqrt {n}) سلولهای عصبی $ برای شبکه های 3 لایه ، نهمهم است که $ k $ بزرگ است.نتایج ما نتایج ظرفیت یادآوری شناخته شده را هنگامی که $ n = k $ به عنوان یک مورد خاص بازیابی می کند ، بازیابی می کند.