مقاله مدل های بزرگ زبان به عنوان تقویت کننده ساختار توپولوژیکی برای نمودارهای متناسب با متن

چکیده

The latest advancements in large language models (LLMs) have revolutionized the field of natural language processing (NLP). Inspired by the success of LLMs in NLP tasks, some recent work has begun investigating the potential of applying LLMs in graph learning tasks. However, most of the existing work focuses on utilizing LLMs as powerful node feature augmenters, leaving employing LLMs to enhance graph topological structures an understudied problem. In this work, we explore how to leverage the information retrieval and text generation capabilities of LLMs to refine/enhance the topological structure of text-attributed graphs (TAGs) under the node classification setting. First, we propose using LLMs to help remove unreliable edges and add reliable ones in the TAG. Specifically, we first let the LLM output the semantic similarity between node attributes through delicate prompt designs, and then perform edge deletion and edge addition based on the similarity. Second, we propose using pseudo-labels generated by the LLM to improve graph topology, that is, we introduce the pseudo-label propagation as a regularization to guide the graph neural network (GNN) in learning proper edge weights. Finally, we incorporate the two aforementioned LLM-based methods for graph topological refinement into the process of GNN training, and perform extensive experiments on four real-world datasets. The experimental results demonstrate the effectiveness of LLM-based graph topology refinement (achieving a 0.15%–2.47% performance gain on public benchmarks).

چکیده به فارسی (ترجمه ماشینی)

آخرین پیشرفت در مدلهای بزرگ زبان (LLM) در زمینه پردازش زبان طبیعی (NLP) متحول شده است.با الهام از موفقیت LLMS در کارهای NLP ، برخی از کارهای اخیر بررسی پتانسیل استفاده از LLM ها در کارهای یادگیری گراف را آغاز کرده است.با این حال ، بسیاری از کارهای موجود در استفاده از LLM ها به عنوان تقویت کننده های قدرتمند گره متمرکز است و از LLM ها برای تقویت ساختارهای توپولوژیکی نمودار یک مشکل ناراحت کننده استفاده می کنند.در این کار ، ما بررسی می کنیم که چگونه می توان از قابلیت های بازیابی اطلاعات و قابلیت تولید متن LLMS برای تصفیه/تقویت ساختار توپولوژیکی نمودارهای متناسب با متن (برچسب ها) تحت تنظیم طبقه بندی گره استفاده کرد.ابتدا پیشنهاد می کنیم از LLMS برای کمک به حذف لبه های غیرقابل اعتماد و اضافه کردن موارد قابل اعتماد در برچسب استفاده کنیم.به طور خاص ، ما ابتدا اجازه می دهیم که LLM شباهت معنایی بین ویژگی های گره را از طریق طرح های ظریف سریع باز کند ، و سپس بر اساس شباهت ، حذف لبه و افزودن لبه را انجام می دهد.دوم ، ما با استفاده از برچسب های شبه تولید شده توسط LLM برای بهبود توپولوژی نمودار پیشنهاد می کنیم ، یعنی انتشار شبه برچسب را به عنوان یک تنظیم برای هدایت شبکه عصبی نمودار (GNN) در یادگیری وزن لبه مناسب معرفی می کنیم.سرانجام ، ما دو روش مبتنی بر LLM فوق الذکر را برای پالایش توپولوژیکی نمودار در فرآیند آموزش GNN گنجانده و آزمایش های گسترده ای را در چهار مجموعه داده در دنیای واقعی انجام می دهیم.نتایج تجربی اثربخشی پالایش توپولوژی نمودار مبتنی بر LLM (دستیابی به عملکرد 0.15 ٪-2.47 ٪ عملکرد در معیارهای عمومی) را نشان می دهد.