ترجمه فارسی مقاله Gemma Scope: رمزگذارهای خودکار پراکنده را در همه جا باز کنید، همه به طور همزمان در Gemma 2

چکیده

Sparse autoencoders (SAEs) are an unsupervised method for learning a sparse decomposition of a neural network’s latent representations into seemingly interpretable features. Despite recent excitement about their potential, research applications outside of industry are limited by the high cost of training a comprehensive suite of SAEs. In this work, we introduce Gemma Scope, an open suite of JumpReLU SAEs trained on all layers and sub-layers of Gemma 2 2B and 9B and select layers of Gemma 2 27B base models. We primarily train SAEs on the Gemma 2 pre-trained models, but additionally release SAEs trained on instruction-tuned Gemma 2 9B for comparison. We evaluate the quality of each SAE on standard metrics and release these results. We hope that by releasing these SAE weights, we can help make more ambitious safety and interpretability research easier for the community. Weights and a tutorial can be found at https://huggingface.co/google/gemma-scope and an interactive demo can be found at https://www.neuronpedia.org/gemma-scope

چکیده به فارسی (ترجمه ماشینی)

Autoencoders پراکنده (SAEs) روشی بدون نظارت برای یادگیری تجزیه پراکنده بازنمایی های نهفته یک شبکه عصبی به ویژگی های به ظاهر قابل تفسیر است.علیرغم هیجان اخیر در مورد پتانسیل آنها ، برنامه های تحقیقاتی در خارج از صنعت با هزینه بالای آموزش یک مجموعه جامع از SAE محدود می شود.در این کار ، ما Gemma Scope را معرفی می کنیم ، مجموعه ای باز از Jumprelu Saes که در تمام لایه ها و زیر لایه های Gemma 2 2B و 9B آموزش دیده و لایه های مدل های پایه Gemma 2 27B را انتخاب می کنیم.ما در درجه اول SAE ها را بر روی مدلهای از پیش آموزش Gemma 2 آموزش می دهیم ، اما علاوه بر این SAE ها را برای مقایسه با Gemma 2 9B تنظیم شده آموزش داده شده آزاد می کنیم.ما کیفیت هر SAE را در معیارهای استاندارد ارزیابی می کنیم و این نتایج را منتشر می کنیم.ما امیدواریم که با انتشار این وزن های SAE ، ما می توانیم کمک کنیم تا تحقیقات ایمنی و تفسیر جاه طلبانه تر برای جامعه آسانتر شود.وزنه ها و یک آموزش را می توان در https://huggingface.co/google/gemma-scope یافت و یک نسخه ی نمایشی تعاملی را می توان در https://www.neuronpedia.org/gemma-scope یافت.