ترجمه فارسی مقاله اندازه‌گیری پیشرفت در یادگیری فرهنگ لغت برای تفسیرپذیری مدل زبان با مدل‌های بازی تخته‌ای

چکیده

What latent features are encoded in language model (LM) representations? Recent work on training sparse autoencoders (SAEs) to disentangle interpretable features in LM representations has shown significant promise. However, evaluating the quality of these SAEs is difficult because we lack a ground-truth collection of interpretable features that we expect good SAEs to recover. We thus propose to measure progress in interpretable dictionary learning by working in the setting of LMs trained on chess and Othello transcripts. These settings carry natural collections of interpretable features — for example, “there is a knight on F3” — which we leverage into $textit{supervised}$ metrics for SAE quality. To guide progress in interpretable dictionary learning, we introduce a new SAE training technique, $textit{p-annealing}$, which improves performance on prior unsupervised metrics as well as our new metrics.

چکیده به فارسی (ترجمه ماشینی)

چه ویژگی های نهفته در بازنمایی های مدل زبان (LM) رمزگذاری شده است؟کار اخیر در مورد آموزش Autoencoders پراکنده (SAEs) برای جدا کردن ویژگی های قابل تفسیر در بازنمودهای LM نوید قابل توجهی را نشان داده است.با این حال ، ارزیابی کیفیت این SAE ها دشوار است زیرا ما فاقد مجموعه ای از حقیقت زمین از ویژگی های قابل تفسیر هستیم که انتظار داریم SAE های خوب بازیابی شود.بنابراین ما پیشنهاد می کنیم پیشرفت در یادگیری فرهنگ لغت قابل تفسیر را با کار در تنظیم LMS آموزش داده شده در رونوشت های شطرنج و اتللو اندازه گیری کنیم.این تنظیمات دارای مجموعه های طبیعی از ویژگی های قابل تفسیر است – به عنوان مثال ، “یک شوالیه در F3 وجود دارد” – که ما به $ textit {تحت نظارت} $ برای کیفیت SAE استفاده می کنیم.برای هدایت پیشرفت در یادگیری فرهنگ لغت قابل تفسیر ، ما یک تکنیک جدید آموزش SAE ، $ textit {P-Annealing} $ را معرفی می کنیم ، که باعث بهبود عملکرد در معیارهای بدون نظارت قبلی و همچنین معیارهای جدید ما می شود.