ترجمه فارسی مقاله حل کردن جاسازی‌های متراکم با استفاده از رمزگذارهای خودکار پراکنده

چکیده

Sparse autoencoders (SAEs) have shown promise in extracting interpretable features from complex neural networks. We present one of the first applications of SAEs to dense text embeddings from large language models, demonstrating their effectiveness in disentangling semantic concepts. By training SAEs on embeddings of over 420,000 scientific paper abstracts from computer science and astronomy, we show that the resulting sparse representations maintain semantic fidelity while offering interpretability. We analyse these learned features, exploring their behaviour across different model capacities and introducing a novel method for identifying “feature families” that represent related concepts at varying levels of abstraction. To demonstrate the practical utility of our approach, we show how these interpretable features can be used to precisely steer semantic search, allowing for fine-grained control over query semantics. This work bridges the gap between the semantic richness of dense embeddings and the interpretability of sparse representations. We open source our embeddings, trained sparse autoencoders, and interpreted features, as well as a web app for exploring them.

چکیده به فارسی (ترجمه ماشینی)

Autoencoders پراکنده (SAE) نوید در استخراج ویژگی های قابل تفسیر از شبکه های عصبی پیچیده را نشان داده اند.ما یکی از اولین برنامه های SAE ها را برای تعبیه متن متراکم از مدل های بزرگ زبان ارائه می دهیم و اثربخشی آنها را در تفکیک مفاهیم معنایی نشان می دهد.با آموزش SAE در مورد تعبیه بیش از 420،000 مقاله علمی علمی از علوم کامپیوتر و نجوم ، ما نشان می دهیم که بازنمایی های پراکنده حاصل از ارائه تفسیر ، وفاداری معنایی را حفظ می کنند.ما این ویژگی های آموخته شده را تجزیه و تحلیل می کنیم ، رفتار آنها را در ظرفیت های مختلف مدل بررسی می کنیم و یک روش جدید برای شناسایی “خانواده های ویژگی” را معرفی می کنیم که مفاهیم مرتبط را در سطوح مختلف انتزاع نشان می دهد.برای نشان دادن کاربرد عملی رویکرد ما ، ما نشان می دهیم که چگونه می توان از این ویژگی های قابل تفسیر برای هدایت دقیق جستجوی معنایی استفاده کرد و امکان کنترل ریز و درشت بر معناشناسی پرس و جو را فراهم می آورد.این کار شکاف بین غنای معنایی تعبیه متراکم و تفسیر بازنمایی های پراکنده را ایجاد می کند.ما تعبیه های خود را باز می کنیم ، خودروهای پراکنده آموزش دیده و ویژگی های تفسیر شده و همچنین یک برنامه وب برای کاوش در آنها.