ترجمه فارسی مقاله مدل‌سازی موضوع با LLM های تنظیم دقیق و مجموعه جملات

چکیده

Large language models (LLM)’s are increasingly used for topic modeling outperforming classical topic models such as LDA. Commonly, pre-trained LLM encoders such as BERT are used out-of-the-box despite the fact that fine-tuning is known to improve LLMs considerably. The challenge lies in obtaining a suitable (labeled) dataset for fine-tuning. In this paper, we use the recent idea to use bag of sentences as the elementary unit in computing topics. In turn, we derive an approach FT-Topic to perform unsupervised fine-tuning relying primarily on two steps for constructing a training dataset in an automatic fashion. First, a heuristic method to identifies pairs of sentence groups that are either assumed to be of the same or different topics. Second, we remove sentence pairs that are likely labeled incorrectly. The dataset is then used to fine-tune an encoder LLM, which can be leveraged by any topic modeling approach using embeddings. However, in this work, we demonstrate its effectiveness by deriving a novel state-of-the-art topic modeling method called SenClu, which achieves fast inference through an expectation-maximization algorithm and hard assignments of sentence groups to a single topic, while giving users the possibility to encode prior knowledge on the topic-document distribution. Code is at url{https://github.com/JohnTailor/FT-Topic}

چکیده به فارسی (ترجمه ماشینی)

مدل های بزرگ زبان (LLM) به طور فزاینده ای برای مدل سازی موضوع از مدل های موضوعی کلاسیک مانند LDA استفاده می شود.معمولاً ، رمزگذارهای LLM از قبل آموزش دیده مانند BERT با وجود این واقعیت که تنظیم دقیق برای بهبود چشمگیر LLM ها شناخته شده است ، از خارج از جعبه استفاده می شود.این چالش در به دست آوردن یک مجموعه داده مناسب (برچسب) برای تنظیم دقیق است.در این مقاله ، ما از ایده اخیر برای استفاده از کیسه جملات به عنوان واحد ابتدایی در موضوعات محاسبات استفاده می کنیم.به نوبه خود ، ما یک رویکرد FT-Topic را برای انجام تنظیم دقیق بدون کنترل در درجه اول به دو مرحله برای ساخت یک مجموعه داده آموزشی به صورت خودکار انجام می دهیم.اول ، یک روش اکتشافی برای شناسایی جفت گروه های جمله ای که فرض می شود از موضوعات یکسان یا متفاوت برخوردار هستند.دوم ، ما جفت جمله ها را حذف می کنیم که احتمالاً نادرست برچسب خورده اند.سپس از مجموعه داده ها برای تنظیم دقیق یک رمزگذار LLM استفاده می شود ، که می تواند با استفاده از هر روش مدل سازی موضوع با استفاده از تعبیه ها ، از آن استفاده شود.با این حال ، در این کار ، ما اثربخشی آن را با به دست آوردن یک روش جدید مدل سازی موضوعی جدید به نام Senclu نشان می دهیم ، که از طریق الگوریتم انتظار حداکثر انتظار و تکالیف سخت گروه های جمله به یک موضوع واحد ، در حالی که ارائه می دهد ، به استنتاج سریع می رسد.کاربران امکان رمزگذاری دانش قبلی را در مورد توزیع موضوعاتی دارند.کد در url {https://github.com/johntailor/ft-topic} است