ترجمه فارسی مقاله یک چارچوب یکپارچه برای ترانسفورماتورهای قابل تفسیر با استفاده از PDES و نظریه اطلاعات

چکیده

This paper presents a novel unified theoretical framework for understanding Transformer architectures by integrating Partial Differential Equations (PDEs), Neural Information Flow Theory, and Information Bottleneck Theory. We model Transformer information dynamics as a continuous PDE process, encompassing diffusion, self-attention, and nonlinear residual components. Our comprehensive experiments across image and text modalities demonstrate that the PDE model effectively captures key aspects of Transformer behavior, achieving high similarity (cosine similarity > 0.98) with Transformer attention distributions across all layers. While the model excels in replicating general information flow patterns, it shows limitations in fully capturing complex, non-linear transformations. This work provides crucial theoretical insights into Transformer mechanisms, offering a foundation for future optimizations in deep learning architectural design. We discuss the implications of our findings, potential applications in model interpretability and efficiency, and outline directions for enhancing PDE models to better mimic the intricate behaviors observed in Transformers, paving the way for more transparent and optimized AI systems.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله یک چارچوب نظری یکپارچه یکپارچه برای درک معماری های ترانسفورماتور با ادغام معادلات دیفرانسیل جزئی (PDES) ، نظریه جریان اطلاعات عصبی و نظریه تنگنا اطلاعات ارائه شده است.ما دینامیک اطلاعات ترانسفورماتور را به عنوان یک فرآیند PDE مداوم ، شامل انتشار ، خودداری و اجزای باقیمانده غیرخطی مدل می کنیم.آزمایش های جامع ما در بین روش های تصویر و متن نشان می دهد که مدل PDE به طور موثری جنبه های کلیدی رفتار ترانسفورماتور را ضبط می کند ، و به شباهت بالایی (شباهت Cosine> 0.98) با توزیع توجه ترانسفورماتور در تمام لایه ها دست می یابد.در حالی که این مدل در تکرار الگوهای جریان اطلاعات عمومی برتری دارد ، محدودیت هایی در ضبط کامل تحولات پیچیده و غیر خطی نشان می دهد.این کار بینش های نظری اساسی در مورد مکانیسم های ترانسفورماتور ارائه می دهد و پایه و اساس بهینه سازی های آینده در طراحی معماری عمیق یادگیری را ارائه می دهد.ما در مورد پیامدهای یافته های خود ، برنامه های کاربردی بالقوه در تفسیر مدل و کارآیی ، و جهت های تشریح برای تقویت مدل های PDE برای تقلید بهتر رفتارهای پیچیده مشاهده شده در ترانسفورماتورها بحث می کنیم و راه را برای سیستم های هوش مصنوعی شفاف تر و بهینه تر هموار می کنیم.