ترجمه فارسی مقاله نظرسنجی در مورد تقطیر دانش نمادین از مدل های بزرگ زبان

چکیده

This survey paper delves into the emerging and critical area of symbolic knowledge distillation in Large Language Models (LLMs). As LLMs like Generative Pre-trained Transformer-3 (GPT-3) and Bidirectional Encoder Representations from Transformers (BERT) continue to expand in scale and complexity, the challenge of effectively harnessing their extensive knowledge becomes paramount. This survey concentrates on the process of distilling the intricate, often implicit knowledge contained within these models into a more symbolic, explicit form. This transformation is crucial for enhancing the interpretability, efficiency, and applicability of LLMs. We categorize the existing research based on methodologies and applications, focusing on how symbolic knowledge distillation can be used to improve the transparency and functionality of smaller, more efficient Artificial Intelligence (AI) models. The survey discusses the core challenges, including maintaining the depth of knowledge in a comprehensible format, and explores the various approaches and techniques that have been developed in this field. We identify gaps in current research and potential opportunities for future advancements. This survey aims to provide a comprehensive overview of symbolic knowledge distillation in LLMs, spotlighting its significance in the progression towards more accessible and efficient AI systems.

چکیده به فارسی (ترجمه ماشینی)

این مقاله نظرسنجی به منطقه نوظهور و مهم تقطیر دانش نمادین در مدلهای بزرگ زبان (LLMS) می پردازد.از آنجا که LLM ها مانند ترانسفورماتور از پیش آموزش از پیش آموزش دیده (GPT-3) و بازنمایی رمزگذار دو طرفه از ترانسفورماتورها (BERT) در مقیاس و پیچیدگی گسترش می یابند ، چالش استفاده مؤثر از دانش گسترده آنها مهم است.این بررسی بر روند تقطیر دانش پیچیده و غالباً ضمنی موجود در این مدل ها به شکلی نمادین تر و صریح تر متمرکز است.این تحول برای تقویت تفسیر ، کارآیی و کاربرد LLM ها بسیار مهم است.ما تحقیقات موجود را بر اساس روشها و برنامه ها طبقه بندی می کنیم ، با تمرکز بر اینکه چگونه می توان از تقطیر دانش نمادین برای بهبود شفافیت و عملکرد مدل های هوش مصنوعی کوچکتر و کارآمدتر (AI) استفاده کرد.در این نظرسنجی ، چالش های اصلی ، از جمله حفظ عمق دانش در یک قالب قابل درک ، مورد بحث قرار می گیرد و رویکردها و تکنیک های مختلفی را که در این زمینه توسعه یافته است ، بررسی می کند.ما شکاف در تحقیقات فعلی و فرصت های بالقوه برای پیشرفت های آینده را شناسایی می کنیم.این نظرسنجی با هدف ارائه یک مرور کلی از تقطیر دانش نمادین در LLM ها ، توجه به اهمیت آن در پیشرفت به سمت سیستم های AI در دسترس و کارآمدتر است.