ترجمه فارسی مقاله تقریب رتبه پایین قطار تنسور (TT-LoRA): دموکراتیزه کردن هوش مصنوعی با LLM های شتاب یافته

چکیده

In recent years, Large Language Models (LLMs) have demonstrated remarkable capabilities across a wide range of natural language processing (NLP) tasks, such as question-answering, sentiment analysis, text summarization, and machine translation. However, the ever-growing complexity of LLMs demands immense computational resources, hindering the broader research and application of these models. To address this, various parameter-efficient fine-tuning strategies, such as Low-Rank Approximation (LoRA) and Adapters, have been developed. Despite their potential, these methods often face limitations in compressibility. Specifically, LoRA struggles to scale effectively with the increasing number of trainable parameters in modern large scale LLMs. Additionally, Low-Rank Economic Tensor-Train Adaptation (LoRETTA), which utilizes tensor train decomposition, has not yet achieved the level of compression necessary for fine-tuning very large scale models with limited resources. This paper introduces Tensor Train Low-Rank Approximation (TT-LoRA), a novel parameter-efficient fine-tuning (PEFT) approach that extends LoRETTA with optimized tensor train (TT) decomposition integration. By eliminating Adapters and traditional LoRA-based structures, TT-LoRA achieves greater model compression without compromising downstream task performance, along with reduced inference latency and computational overhead. We conduct an exhaustive parameter search to establish benchmarks that highlight the trade-off between model compression and performance. Our results demonstrate significant compression of LLMs while maintaining comparable performance to larger models, facilitating their deployment on resource-constraint platforms.

چکیده به فارسی (ترجمه ماشینی)

در سالهای اخیر ، مدل های بزرگ زبان (LLMS) قابلیت های قابل توجهی را در طیف گسترده ای از کارهای پردازش زبان طبیعی (NLP) مانند پاسخ به سؤال ، تجزیه و تحلیل احساسات ، خلاصه متن و ترجمه ماشین نشان داده اند.با این حال ، پیچیدگی روزافزون LLMS منابع محاسباتی عظیمی را می طلبد و مانع تحقیق و کاربرد گسترده تر این مدل ها می شود.برای پرداختن به این موضوع ، استراتژی های مختلف تنظیم دقیق پارامترها ، مانند تقریب درجه پایین (LORA) و آداپتورها ، تدوین شده است.با وجود پتانسیل آنها ، این روش ها اغلب در تراکم پذیری با محدودیت هایی روبرو هستند.به طور خاص ، لورا تلاش می کند تا با افزایش تعداد پارامترهای قابل آموزش در LLM های در مقیاس بزرگ مدرن ، به طور مؤثر مقیاس کند.علاوه بر این ، سازگاری با قطارهای اقتصادی با رتبه پایین (Loretta) ، که از تجزیه قطار تانسور استفاده می کند ، هنوز به سطح فشرده سازی لازم برای تنظیم دقیق مدل های بسیار بزرگ با منابع محدود نرسیده است.در این مقاله ، قطار Tensor تقریباً با رتبه پایین (TT-LORA) ، یک رویکرد تنظیم دقیق و کارآمد پارامتر (PEFT) جدید ارائه شده است که لورتا را با ادغام تجزیه قطار تانسور بهینه (TT) گسترش می دهد.TT-LORA با از بین بردن آداپتورها و ساختارهای سنتی مبتنی بر لورا ، به فشرده سازی مدل بیشتر بدون به خطر انداختن عملکرد کار در پایین دست ، همراه با کاهش تأخیر استنباط و سربار محاسباتی دست می یابد.ما یک جستجوی پارامتر جامع را برای ایجاد معیارهایی انجام می دهیم که تجارت بین فشرده سازی مدل و عملکرد را برجسته می کند.نتایج ما نشان دهنده فشرده سازی قابل توجهی از LLM ها در حالی است که عملکرد قابل مقایسه با مدلهای بزرگتر را حفظ می کند و استقرار آنها را در سیستم عامل های محدودیت منابع تسهیل می کند.