ترجمه فارسی مقاله تحقیقات در مورد الگوریتم فشرده سازی شخصی برای مدلهای از پیش آموزش شده بر اساس افزایش آنتروپی همرفومورفیک

چکیده

In this article, we explore the challenges and evolution of two key technologies in the current field of AI: Vision Transformer model and Large Language Model (LLM). Vision Transformer captures global information by splitting images into small pieces and leveraging Transformer’s multi-head attention mechanism, but its high reference count and compute overhead limit deployment on mobile devices. At the same time, the rapid development of LLM has revolutionized natural language processing, but it also faces huge deployment challenges. To address these issues, we investigate model pruning techniques, with a particular focus on how to reduce redundant parameters without losing accuracy to accommodate personalized data and resource-constrained environments. In this paper, a new layered pruning strategy is proposed to distinguish the personalized layer from the common layer by compressed sensing and random sampling, thus significantly reducing the model parameters. Our experimental results show that the introduced step buffering mechanism further improves the accuracy of the model after pruning, providing new directions and possibilities for the deployment of efficient and personalized AI models on mobile devices in the future.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله ، ما چالش ها و تکامل دو فناوری کلیدی را در زمینه فعلی AI: Vision Transformer Model و مدل زبان بزرگ (LLM) بررسی می کنیم.Vision Transformer با تقسیم تصاویر به قطعات کوچک و استفاده از مکانیسم توجه چند سر ترانسفورماتور ، اطلاعات جهانی را ضبط می کند ، اما تعداد مرجع بالای آن و محاسبه محدودیت سربار در دستگاه های تلفن همراه.در عین حال ، توسعه سریع LLM باعث تحول در پردازش زبان طبیعی شده است ، اما همچنین با چالش های استقرار عظیمی روبرو است.برای پرداختن به این موضوعات ، ما تکنیک های هرس مدل را با تمرکز خاص بر نحوه کاهش پارامترهای اضافی بدون از دست دادن دقت در اختیار داشتن داده های شخصی و محیط های محدود شده با منابع بررسی می کنیم.در این مقاله ، یک استراتژی جدید هرس لایه بندی شده برای تمایز لایه شخصی از لایه مشترک با سنجش فشرده شده و نمونه گیری تصادفی پیشنهاد شده است ، بنابراین پارامترهای مدل را به طور قابل توجهی کاهش می دهد.نتایج تجربی ما نشان می دهد که مکانیسم بافر مرحله معرفی شده ، دقت مدل را پس از هرس بهبود می بخشد ، و جهت و امکانات جدیدی را برای استقرار مدل های هوش مصنوعی کارآمد و شخصی در دستگاه های تلفن همراه در آینده فراهم می کند.