ترجمه فارسی مقاله طراحی شبکه عصبی گراف پسند محاسباتی با انباشت دانش در مدل های زبان بزرگ

چکیده

Graph Neural Networks (GNNs), like other neural networks, have shown remarkable success but are hampered by the complexity of their architecture designs, which heavily depend on specific data and tasks. Traditionally, designing proper architectures involves trial and error, which requires intensive manual effort to optimize various components. To reduce human workload, researchers try to develop automated algorithms to design GNNs. However, both experts and automated algorithms suffer from two major issues in designing GNNs: 1) the substantial computational resources expended in repeatedly trying candidate GNN architectures until a feasible design is achieved, and 2) the intricate and prolonged processes required for humans or algorithms to accumulate knowledge of the interrelationship between graphs, GNNs, and performance. To further enhance the automation of GNN architecture design, we propose a computation-friendly way to empower Large Language Models (LLMs) with specialized knowledge in designing GNNs, thereby drastically shortening the computational overhead and development cycle of designing GNN architectures. Our framework begins by establishing a knowledge retrieval pipeline that comprehends the intercorrelations between graphs, GNNs, and performance. This pipeline converts past model design experiences into structured knowledge for LLM reference, allowing it to quickly suggest initial model proposals. Subsequently, we introduce a knowledge-driven search strategy that emulates the exploration-exploitation process of human experts, enabling quick refinement of initial proposals within a promising scope. Extensive experiments demonstrate that our framework can efficiently deliver promising (e.g., Top-5.77%) initial model proposals for unseen datasets within seconds and without any prior training and achieve outstanding search performance in a few iterations.

چکیده به فارسی (ترجمه ماشینی)

شبکه های عصبی نمودار (GNN) ، مانند سایر شبکه های عصبی ، موفقیت چشمگیری را نشان داده اند اما از پیچیدگی طرح های معماری آنها جلوگیری می کنند ، که به شدت به داده ها و وظایف خاص بستگی دارد.به طور سنتی ، طراحی معماری مناسب شامل آزمایش و خطا است که برای بهینه سازی اجزای مختلف نیاز به تلاش فشرده دارد.برای کاهش بار کاری انسان ، محققان سعی می کنند الگوریتم های خودکار را برای طراحی GNN توسعه دهند.با این حال ، هر دو کارشناسان و الگوریتم های خودکار در طراحی GNN از دو موضوع اصلی رنج می برند: 1) منابع محاسباتی قابل توجهی که در تلاش مکرر در تلاش برای معماری های GNN نامزد صرف شده تا یک طرح امکان پذیر و 2) فرآیندهای پیچیده و طولانی مورد نیاز برای انسان یا الگوریتمدانش مربوط به ارتباط بین نمودارها ، GNN ها و عملکرد را جمع کنید.برای تقویت بیشتر اتوماسیون طراحی معماری GNN ، ما یک روش محاسباتی را برای توانمندسازی مدل های بزرگ زبان (LLM) با دانش تخصصی در طراحی GNN ها پیشنهاد می کنیم ، از این طریق چرخه سربار محاسباتی و توسعه طراحی معماری های GNN را به طرز چشمگیری کوتاه می کنیم.چارچوب ما با ایجاد خط لوله بازیابی دانش شروع می شود که ارتباط بین نمودارها ، GNN ها و عملکرد را درک می کند.این خط لوله تجربیات طراحی مدل گذشته را به دانش ساختاری برای مرجع LLM تبدیل می کند و به آن اجازه می دهد تا به سرعت پیشنهادات مدل اولیه را پیشنهاد کند.پس از آن ، ما یک استراتژی جستجوی دانش محور را معرفی می کنیم که روند اکتشاف-بهره برداری از متخصصان انسانی را تقلید می کند ، و امکان پالایش سریع پیشنهادات اولیه را در یک محدوده امیدوارکننده فراهم می کند.آزمایش های گسترده نشان می دهد که چارچوب ما می تواند به طور مؤثر پیشنهادات مدل اولیه امیدوار کننده (به عنوان مثال ، 5.77 ٪ برتر) را برای مجموعه داده های غیب در عرض چند ثانیه و بدون آموزش قبلی ارائه دهد و در چند تکرار به عملکرد جستجوی برجسته برسد.