ترجمه فارسی مقاله مدل‌های ریاضی محاسبات در برهم‌نهی

چکیده

Superposition — when a neural network represents more “features” than it has dimensions — seems to pose a serious challenge to mechanistically interpreting current AI systems. Existing theory work studies emph{representational} superposition, where superposition is only used when passing information through bottlenecks. In this work, we present mathematical models of emph{computation} in superposition, where superposition is actively helpful for efficiently accomplishing the task. We first construct a task of efficiently emulating a circuit that takes the AND of the $binom{m}{2}$ pairs of each of $m$ features. We construct a 1-layer MLP that uses superposition to perform this task up to $varepsilon$-error, where the network only requires $tilde{O}(m^{frac{2}{3}})$ neurons, even when the input features are emph{themselves in superposition}. We generalize this construction to arbitrary sparse boolean circuits of low depth, and then construct “error correction” layers that allow deep fully-connected networks of width $d$ to emulate circuits of width $tilde{O}(d^{1.5})$ and emph{any} polynomial depth. We conclude by providing some potential applications of our work for interpreting neural networks that implement computation in superposition.

چکیده به فارسی (ترجمه ماشینی)

Supposition – هنگامی که یک شبکه عصبی نشان دهنده “ویژگی های” بیشتر از آن است – به نظر می رسد که یک چالش جدی برای تفسیر مکانیکی سیستم های هوش مصنوعی فعلی ایجاد می کند.مطالعات تئوری موجود emph {بازنمایی} نمایش ، که در آن از ترکیب فقط هنگام عبور اطلاعات از طریق تنگناها استفاده می شود.در این کار ، ما مدلهای ریاضی emph {محاسبه} را در ابر قرار می دهیم ، جایی که ابرحایل برای انجام کارآمد کار به طور فعال مفید است.ما ابتدا یک کار را برای تقلید کارآمد مدار می سازیم که و از $ binom {m} {2} $ از هر یک از ویژگی های $ m $ استفاده می کند.ما یک MLP 1 لایه ای را ایجاد می کنیم که از Supposition برای انجام این کار تا $ varepsilon $ -error استفاده می کند ، جایی که شبکه فقط به $ tilde {o} (m^{ frac {2 {3}) $ نیاز دارد.، حتی هنگامی که ویژگی های ورودی {{خود در ابر است.ما این ساخت و ساز را به مدارهای بولی پراکنده خودسرانه از عمق کم تعمیم می دهیم ، و سپس لایه های “اصلاح خطا” را ساختیم که به شبکه های کاملاً متصل به عرض $ d $ اجازه می دهد تا مدارهای عرض $ tilde {o} را تقلید کنند (d^{1.5}) $ و emph {هر عمق چند جمله ای.ما با ارائه برخی از برنامه های کاربردی بالقوه کار خود برای تفسیر شبکه های عصبی که محاسبات را به صورت فوق العاده انجام می دهند ، نتیجه می گیریم.