ترجمه فارسی مقاله استفاده از تکنیک های تقطیر برای درک اسناد: یک مطالعه موردی با FLAN-T5

چکیده

The surge of digital documents in various formats, including less standardized documents such as business reports and environmental assessments, underscores the growing importance of Document Understanding. While Large Language Models (LLMs) have showcased prowess across diverse natural language processing tasks, their direct application to Document Understanding remains a challenge. Previous research has demonstrated the utility of LLMs in this domain, yet their significant computational demands make them challenging to deploy effectively. Additionally, proprietary Blackbox LLMs often outperform their open-source counterparts, posing a barrier to widespread accessibility. In this paper, we delve into the realm of document understanding, leveraging distillation methods to harness the power of large LLMs while accommodating computational limitations. Specifically, we present a novel approach wherein we distill document understanding knowledge from the proprietary LLM ChatGPT into FLAN-T5. Our methodology integrates labeling and curriculum-learning mechanisms to facilitate efficient knowledge transfer. This work contributes to the advancement of document understanding methodologies by offering a scalable solution that bridges the gap between resource-intensive LLMs and practical applications. Our findings underscore the potential of distillation techniques in facilitating the deployment of sophisticated language models in real-world scenarios, thereby fostering advancements in natural language processing and document comprehension domains.

چکیده به فارسی (ترجمه ماشینی)

افزایش اسناد دیجیتالی در قالب های مختلف ، از جمله اسناد کمتر استاندارد مانند گزارش های تجاری و ارزیابی های زیست محیطی ، بر اهمیت روزافزون درک اسناد تأکید می کند.در حالی که مدل های بزرگ زبان (LLMS) در وظایف متنوع پردازش زبان طبیعی قدرت نشان داده اند ، کاربرد مستقیم آنها برای مستند سازی درک همچنان یک چالش است.تحقیقات قبلی نشان دهنده کاربرد LLM ها در این حوزه است ، اما خواسته های محاسباتی قابل توجه آنها باعث می شود که آنها برای استقرار مؤثر چالش برانگیز باشند.علاوه بر این ، LLM های اختصاصی Blackbox LLM ها اغلب از همتایان منبع باز خود بهتر عمل می کنند و مانع دسترسی گسترده می شوند.در این مقاله ، ما به قلمرو درک اسناد می پردازیم ، و روش های تقطیر را برای مهار قدرت LLM های بزرگ در حالی که محدودیت های محاسباتی را در خود جای می دهد ، استفاده می کنیم.به طور خاص ، ما یک رویکرد جدید ارائه می دهیم که در آن ما دانش را درک دانش از LLM Chatgpt اختصاصی به Flan-T5 تقطیر می کنیم.روش ما مکانیسم های برچسب زدن و یادگیری برنامه درسی را برای تسهیل انتقال دانش کارآمد ادغام می کند.این کار با ارائه یک راه حل مقیاس پذیر که شکاف بین LLMS با منابع و برنامه های عملی را ایجاد می کند ، به پیشرفت روشهای درک اسناد کمک می کند.یافته های ما پتانسیل تکنیک های تقطیر را در تسهیل استقرار مدل های زبان پیشرفته در سناریوهای دنیای واقعی تأکید می کند و از این طریق پیشرفت هایی را در پردازش زبان طبیعی و حوزه های درک مطلب ایجاد می کند.