ترجمه فارسی مقاله هارمونیک: بهره‌برداری از LLMها برای سنتز داده‌های جدولی و حفاظت از حریم خصوصی

چکیده

Data serves as the fundamental foundation for advancing deep learning, particularly tabular data presented in a structured format, which is highly conducive to modeling. However, even in the era of LLM, obtaining tabular data from sensitive domains remains a challenge due to privacy or copyright concerns. Hence, exploring how to effectively use models like LLMs to generate realistic and privacy-preserving synthetic tabular data is urgent. In this paper, we take a step forward to explore LLMs for tabular data synthesis and privacy protection, by introducing a new framework HARMONIC for tabular data generation and evaluation. In the tabular data generation of our framework, unlike previous small-scale LLM-based methods that rely on continued pre-training, we explore the larger-scale LLMs with fine-tuning to generate tabular data and enhance privacy. Based on idea of the k-nearest neighbors algorithm, an instruction fine-tuning dataset is constructed to inspire LLMs to discover inter-row relationships. Then, with fine-tuning, LLMs are trained to remember the format and connections of the data rather than the data itself, which reduces the risk of privacy leakage. In the evaluation part of our framework, we develop specific privacy risk metrics DLT for LLM synthetic data generation, as well as performance evaluation metrics LLE for downstream LLM tasks. Our experiments find that this tabular data generation framework achieves equivalent performance to existing methods with better privacy, which also demonstrates our evaluation framework for the effectiveness of synthetic data and privacy risks in LLM scenarios.

چکیده به فارسی (ترجمه ماشینی)

داده ها به عنوان پایه اساسی برای پیشبرد یادگیری عمیق ، به ویژه داده های جدولی ارائه شده در قالب ساختاری ، که برای مدل سازی بسیار مناسب است ، خدمت می کنند.با این حال ، حتی در دوره LLM ، به دست آوردن داده های جدولی از حوزه های حساس به دلیل حفظ حریم خصوصی یا نگرانی های حق چاپ ، همچنان یک چالش است.از این رو ، بررسی نحوه استفاده مؤثر از مدلهایی مانند LLMS برای تولید داده های جدولی مصنوعی واقع گرایانه و حفظ حریم خصوصی فوری است.در این مقاله ، ما با معرفی یک چارچوب جدید هارمونیک برای تولید داده های جدولی و ارزیابی ، یک قدم به جلو برای کشف LLMS برای سنتز داده های جدولی و محافظت از حریم خصوصی برداشته ایم.در تولید داده های جدولی چارچوب ما ، بر خلاف روشهای قبلی مبتنی بر LLM در مقیاس کوچک که به ادامه دوره آموزش متکی هستند ، LLM های در مقیاس بزرگتر را با تنظیم دقیق برای تولید داده های جدولی و تقویت حریم خصوصی بررسی می کنیم.بر اساس ایده الگوریتم K-Nearest همسایگان ، یک مجموعه داده تنظیم دقیق دستورالعمل برای الهام بخشیدن به LLM ها برای کشف روابط بین ردیف ساخته شده است.سپس ، با تنظیم دقیق ، LLM ها آموزش داده می شوند تا قالب و اتصالات داده ها را به جای خود داده ها به خاطر بسپارند ، که خطر نشت حریم خصوصی را کاهش می دهد.در بخش ارزیابی چارچوب ما ، ما معیارهای خاص خطر حفظ حریم خصوصی DLT را برای تولید داده های مصنوعی LLM و همچنین معیارهای ارزیابی عملکرد LLE برای کارهای پایین دست LLM ایجاد می کنیم.آزمایشات ما نشان می دهد که این چارچوب تولید داده جدولی به عملکرد معادل روشهای موجود با حریم خصوصی بهتر دست می یابد ، که همچنین چارچوب ارزیابی ما را برای اثربخشی داده های مصنوعی و خطرات حریم خصوصی در سناریوهای LLM نشان می دهد.