ترجمه فارسی مقاله اپراتور توجه غیر محلی: تحقق دانش پنهان به سمت کشف فیزیک قابل تفسیر

چکیده

Despite the recent popularity of attention-based neural architectures in core AI fields like natural language processing (NLP) and computer vision (CV), their potential in modeling complex physical systems remains under-explored. Learning problems in physical systems are often characterized as discovering operators that map between function spaces based on a few instances of function pairs. This task frequently presents a severely ill-posed PDE inverse problem. In this work, we propose a novel neural operator architecture based on the attention mechanism, which we coin Nonlocal Attention Operator (NAO), and explore its capability towards developing a foundation physical model. In particular, we show that the attention mechanism is equivalent to a double integral operator that enables nonlocal interactions among spatial tokens, with a data-dependent kernel characterizing the inverse mapping from data to the hidden parameter field of the underlying operator. As such, the attention mechanism extracts global prior information from training data generated by multiple systems, and suggests the exploratory space in the form of a nonlinear kernel map. Consequently, NAO can address ill-posedness and rank deficiency in inverse PDE problems by encoding regularization and achieving generalizability. We empirically demonstrate the advantages of NAO over baseline neural models in terms of generalizability to unseen data resolutions and system states. Our work not only suggests a novel neural operator architecture for learning interpretable foundation models of physical systems, but also offers a new perspective towards understanding the attention mechanism.

چکیده به فارسی (ترجمه ماشینی)

علیرغم محبوبیت اخیر معماری های عصبی مبتنی بر توجه در زمینه های اصلی AI مانند پردازش زبان طبیعی (NLP) و دید رایانه ای (CV) ، پتانسیل آنها در مدل سازی سیستم های فیزیکی پیچیده تحت تأثیر قرار می گیرد.مشکلات یادگیری در سیستم های فیزیکی اغلب به عنوان کشف اپراتورهایی که بین فضاهای عملکرد بر اساس چند مورد از جفت های عملکرد نقشه می گیرند ، مشخص می شوند.این کار غالباً یک مشکل معکوس PDE را به شدت بدبخت نشان می دهد.در این کار ، ما یک معماری جدید اپراتور عصبی را بر اساس مکانیسم توجه ، که ما اپراتور توجه غیر محلی (NAO) را سکه می کنیم ، پیشنهاد می کنیم و توانایی آن را برای تهیه یک مدل فیزیکی پایه و اساس کشف می کنیم.به طور خاص ، ما نشان می دهیم که مکانیسم توجه معادل یک اپراتور انتگرال دوتایی است که باعث تعامل غیر محلی بین نشانه های مکانی می شود ، با یک هسته وابسته به داده ها که نقشه برداری معکوس را از داده ها به قسمت پارامتر پنهان اپراتور زیرین نشان می دهد.به این ترتیب ، مکانیسم توجه اطلاعات قبلی جهانی را از داده های آموزش تولید شده توسط سیستم های مختلف استخراج می کند و فضای اکتشافی را در قالب نقشه هسته غیرخطی نشان می دهد.در نتیجه ، NAO می تواند با رمزگذاری منظم و دستیابی به تعمیم پذیری ، در مشکلات PDE معکوس و ناتوان بودن در مشکلات PDE معکوس قرار بگیرد.ما به طور تجربی مزایای NAO را نسبت به مدلهای عصبی پایه از نظر تعمیم پذیری در وضوح داده های غیب و حالات سیستم نشان می دهیم.کار ما نه تنها یک معماری جدید اپراتور عصبی را برای یادگیری مدل های پایه ای قابل تفسیر سیستم های فیزیکی نشان می دهد ، بلکه چشم انداز جدیدی را برای درک مکانیسم توجه ارائه می دهد.