ترجمه فارسی مقاله ردیابی نشت حریم خصوصی مدل های زبان به داده های آموزشی از طریق توابع نفوذ تنظیم شده

چکیده

The responses generated by Large Language Models (LLMs) can include sensitive information from individuals and organizations, leading to potential privacy leakage. This work implements Influence Functions (IFs) to trace privacy leakage back to the training data, thereby mitigating privacy concerns of Language Models (LMs). However, we notice that current IFs struggle to accurately estimate the influence of tokens with large gradient norms, potentially overestimating their influence. When tracing the most influential samples, this leads to frequently tracing back to samples with large gradient norm tokens, overshadowing the actual most influential samples even if their influences are well estimated. To address this issue, we propose Heuristically Adjusted IF (HAIF), which reduces the weight of tokens with large gradient norms, thereby significantly improving the accuracy of tracing the most influential samples. To establish easily obtained groundtruth for tracing privacy leakage, we construct two datasets, PII-E and PII-CR, representing two distinct scenarios: one with identical text in the model outputs and pre-training data, and the other where models leverage their reasoning abilities to generate text divergent from pre-training data. HAIF significantly improves tracing accuracy, enhancing it by 20.96% to 73.71% on the PII-E dataset and 3.21% to 45.93% on the PII-CR dataset, compared to the best SOTA IFs against various GPT-2 and QWen-1.5 models. HAIF also outperforms SOTA IFs on real-world pretraining data CLUECorpus2020, demonstrating strong robustness regardless prompt and response lengths.

چکیده به فارسی (ترجمه ماشینی)

پاسخ های ایجاد شده توسط مدل های بزرگ زبان (LLMS) می تواند شامل اطلاعات حساس افراد و سازمان ها باشد که منجر به نشت احتمالی حریم خصوصی می شود.این کار برای ردیابی نشت حریم خصوصی به داده های آموزش ، توابع (IFS) را تحت تأثیر قرار می دهد و از این طریق نگرانی های مربوط به حریم خصوصی مدل های زبان (LMS) را کاهش می دهد.با این حال ، ما متوجه می شویم که IFS فعلی برای برآورد دقیق تأثیر نشانه ها با هنجارهای شیب بزرگ تلاش می کند ، و به طور بالقوه تأثیر آنها را بیش از حد ارزیابی می کند.هنگام ردیابی تأثیرگذارترین نمونه ها ، این امر منجر به ردیابی مکرر به نمونه هایی با نشانه های هنجار شیب بزرگ می شود و حتی اگر تأثیرات آنها به خوبی تخمین زده شود ، تأثیرگذارترین نمونه ها را تحت الشعاع قرار می دهد.برای پرداختن به این مسئله ، ما پیشنهاد می کنیم اگر (HAIF) ، که وزن توکن ها با هنجارهای شیب بزرگ را کاهش می دهد ، به صورت اکتشافی تنظیم شود ، از این طریق دقت ردیابی را با تأثیرگذاری بیشترین نمونه ها بهبود می بخشد.برای ایجاد GroundTruth به راحتی برای ردیابی نشت حریم خصوصی ، ما دو مجموعه داده ، PII-E و PII-CR را می سازیم ، دو سناریو مجزا را نشان می دهیم: یکی با متن یکسان در خروجی های مدل و داده های قبل از آموزش و دیگری که در آن مدل ها از استدلال خود استفاده می کنندتوانایی های تولید متن واگرایی از داده های قبل از آموزش.HAIF به طور قابل توجهی دقت ردیابی را بهبود می بخشد و آن را با 20.96 ٪ به 73.71 ٪ در مجموعه داده PII-E و 3.21 ٪ تا 45.93 ٪ در مجموعه داده PII-CR ، در مقایسه با بهترین SOTA IFS در برابر مدل های مختلف GPT-2 و QWEN-1.5 افزایش می دهد.HAIF همچنین از SOTA IFS در داده های پیش بینی شده در دنیای واقعی CLUECORPUS2020 بهتر عمل می کند ، بدون در نظر گرفتن طول سریع و پاسخ ، استحکام قوی را نشان می دهد.