ترجمه فارسی مقاله تعبیه انتخاب فضا برای تشخیص به خاطر سپردن و انگشت‌نگاری در مدل‌های مولد

چکیده

In the rapidly evolving landscape of artificial intelligence, generative models such as Generative Adversarial Networks (GANs) and Diffusion Models have become cornerstone technologies, driving innovation in diverse fields from art creation to healthcare. Despite their potential, these models face the significant challenge of data memorization, which poses risks to privacy and the integrity of generated content. Among various metrics of memorization detection, our study delves into the memorization scores calculated from encoder layer embeddings, which involves measuring distances between samples in the embedding spaces. Particularly, we find that the memorization scores calculated from layer embeddings of Vision Transformers (ViTs) show an notable trend – the latter (deeper) the layer, the less the memorization measured. It has been found that the memorization scores from the early layers’ embeddings are more sensitive to low-level memorization (e.g. colors and simple patterns for an image), while those from the latter layers are more sensitive to high-level memorization (e.g. semantic meaning of an image). We also observe that, for a specific model architecture, its degree of memorization on different levels of information is unique. It can be viewed as an inherent property of the architecture. Building upon this insight, we introduce a unique fingerprinting methodology. This method capitalizes on the unique distributions of the memorization score across different layers of ViTs, providing a novel approach to identifying models involved in generating deepfakes and malicious content. Our approach demonstrates a marked 30% enhancement in identification accuracy over existing baseline methods, offering a more effective tool for combating digital misinformation.

چکیده به فارسی (ترجمه ماشینی)

در چشم انداز به سرعت در حال تحول هوش مصنوعی ، مدلهای تولیدی مانند شبکه های منفی مولد (GAN) و مدل های انتشار به فن آوری های سنگ بنای سنگ تبدیل شده اند و نوآوری را در زمینه های مختلف از ایجاد هنر تا مراقبت های بهداشتی هدایت می کنند.با وجود پتانسیل آنها ، این مدلها با چالش مهمی در حفظ داده ها روبرو هستند ، که خطرات مربوط به حریم خصوصی و یکپارچگی محتوای تولید شده را ایجاد می کند.در میان معیارهای مختلف تشخیص به یاد ماندنی ، مطالعه ما به نمرات یادآوری محاسبه شده از تعبیه لایه رمزگذار ، که شامل اندازه گیری فاصله بین نمونه ها در فضاهای تعبیه شده است ، می پردازد.به ویژه ، ما می یابیم که نمرات حفظ شده از تعبیه لایه ترانسفورماتورهای بینایی (VITS) یک روند قابل توجه را نشان می دهد – دومی (عمیق تر) لایه ، یادآوری کمتر اندازه گیری می شود.مشخص شده است که نمرات به یاد ماندنی از تعبیه لایه های اولیه نسبت به حفظ سطح پایین (به عنوان مثال رنگ ها و الگوهای ساده برای یک تصویر) حساس تر است ، در حالی که آنهایی که از لایه های دوم نسبت به حفظ سطح بالا حساس تر هستند (به عنوان مثال معناییمعنی یک تصویر).ما همچنین مشاهده می کنیم که ، برای یک معماری مدل خاص ، میزان حفظ آن در سطوح مختلف اطلاعات بی نظیر است.می توان آن را به عنوان یک ویژگی ذاتی معماری مشاهده کرد.با تکیه بر این بینش ، ما یک روش اثر انگشت منحصر به فرد را معرفی می کنیم.این روش از توزیع های منحصر به فرد از نمره به یاد آوردن در لایه های مختلف VITS بهره می برد و یک رویکرد جدید برای شناسایی مدل های درگیر در تولید عمیق و محتوای مخرب فراهم می کند.رویکرد ما نشان می دهد 30 ٪ پیشرفت در دقت شناسایی نسبت به روشهای پایه موجود ، ابزاری مؤثرتر برای مبارزه با اطلاعات غلط دیجیتال ارائه می دهد.