ترجمه فارسی مقاله معیارهای توپولوژی محلی مدل‌های زبانی زمینه‌ای: فضاهای پنهان با کاربردها در استخراج اصطلاحات محاوره‌ای

چکیده

A common approach for sequence tagging tasks based on contextual word representations is to train a machine learning classifier directly on these embedding vectors. This approach has two shortcomings. First, such methods consider single input sequences in isolation and are unable to put an individual embedding vector in relation to vectors outside the current local context of use. Second, the high performance of these models relies on fine-tuning the embedding model in conjunction with the classifier, which may not always be feasible due to the size or inaccessibility of the underlying feature-generation model. It is thus desirable, given a collection of embedding vectors of a corpus, i.e., a datastore, to find features of each vector that describe its relation to other, similar vectors in the datastore. With this in mind, we introduce complexity measures of the local topology of the latent space of a contextual language model with respect to a given datastore. The effectiveness of our features is demonstrated through their application to dialogue term extraction. Our work continues a line of research that explores the manifold hypothesis for word embeddings, demonstrating that local structure in the space carved out by word embeddings can be exploited to infer semantic properties.

چکیده به فارسی (ترجمه ماشینی)

یک رویکرد مشترک برای انجام وظایف برچسب زدن به توالی بر اساس بازنمایی های کلمه متنی ، آموزش یک طبقه بندی کننده یادگیری ماشین به طور مستقیم بر روی این بردارهای تعبیه شده است.این رویکرد دارای دو کاستی است.اول ، چنین روشهایی توالی های ورودی واحد را در انزوا در نظر می گیرند و قادر به قرار دادن یک بردار تعبیه شده فردی در رابطه با بردارهای خارج از زمینه محلی فعلی استفاده نیستند.دوم ، عملکرد بالای این مدلها به تنظیم دقیق مدل تعبیه در رابطه با طبقه بندی متکی است ، که ممکن است به دلیل اندازه یا عدم دسترسی مدل اصلی نسل ، همیشه امکان پذیر نباشد.بنابراین ، با توجه به مجموعه ای از بردارهای جاسازی شده از یک جسد ، یعنی یک داده ، مطلوب است که ویژگی های هر وکتور را پیدا کند که رابطه آن با سایر بردارهای مشابه در داده ها را توصیف می کند.با توجه به این موضوع ، ما اقدامات پیچیدگی از توپولوژی محلی فضای نهفته یک مدل زبان متنی را با توجه به یک داده داده شده معرفی می کنیم.اثربخشی ویژگی های ما از طریق کاربرد آنها برای استخراج اصطلاح گفتگو نشان داده شده است.کار ما یک خط تحقیق را ادامه می دهد که به بررسی فرضیه منیفولد برای تعبیه کلمات می پردازد ، نشان می دهد که ساختار محلی در فضای حک شده توسط تعبیه های کلمه می تواند برای استنباط خصوصیات معنایی مورد سوء استفاده قرار گیرد.