ترجمه فارسی مقاله HELP: تجزیه و تحلیل گزارش مبتنی بر جاسازی سلسله مراتبی

چکیده

Logs are a first-hand source of information for software maintenance and failure diagnosis. Log parsing, which converts semi-structured log messages into structured templates, is a prerequisite for automated log analysis tasks such as anomaly detection, troubleshooting, and root cause analysis. However, existing log parsers fail in real-world systems for three main reasons. First, traditional heuristics-based parsers require handcrafted features and domain knowledge, which are difficult to generalize at scale. Second, existing large language model-based parsers rely on periodic offline processing, limiting their effectiveness in real-time use cases. Third, existing online parsing algorithms are susceptible to log drift, where slight log changes create false positives that drown out real anomalies. To address these challenges, we propose HELP, a Hierarchical Embeddings-based Log Parser. HELP is the first online semantic-based parser to leverage LLMs for performant and cost-effective log parsing. We achieve this through a novel hierarchical embeddings module, which fine-tunes a text embedding model to cluster logs before parsing, reducing querying costs by multiple orders of magnitude. To combat log drift, we also develop an iterative rebalancing module, which periodically updates existing log groupings. We evaluate HELP extensively on 14 public large-scale datasets, showing that HELP achieves significantly higher F1-weighted grouping and parsing accuracy than current state-of-the-art online log parsers. We also implement HELP into Iudex’s production observability platform, confirming HELP’s practicality in a production environment. Our results show that HELP is effective and efficient for high-throughput real-world log parsing.

چکیده به فارسی (ترجمه ماشینی)

سیاههها منبع اول اطلاعات برای نگهداری نرم افزار و تشخیص عدم موفقیت هستند.تجزیه و تحلیل ورود به سیستم ، که پیام های ورود به سیستم نیمه ساختار یافته را به الگوهای ساختاری تبدیل می کند ، پیش نیاز برای کارهای تجزیه و تحلیل خودکار خودکار مانند تشخیص ناهنجاری ، عیب یابی و تجزیه و تحلیل علت اصلی است.با این حال ، تجزیه کننده های موجود در سیستم به سه دلیل اصلی در سیستم های دنیای واقعی شکست می خورند.اول ، تجزیه کننده های سنتی مبتنی بر اکتشافی نیاز به ویژگی های دست ساز و دانش دامنه دارند که تعمیم در مقیاس دشوار است.دوم ، تجزیه کننده های موجود مبتنی بر مدل بزرگ زبان به پردازش دوره ای آفلاین متکی هستند و اثربخشی آنها را در موارد استفاده در زمان واقعی محدود می کنند.سوم ، الگوریتم های تجزیه و تحلیل آنلاین موجود مستعد ابتلا به ورود به سیستم هستند ، جایی که تغییرات جزئی ورود به سیستم باعث ایجاد مثبت کاذب می شود که ناهنجاری های واقعی را غرق می کند.برای پرداختن به این چالش ها ، ما کمک می کنیم ، یک پارسر مبتنی بر تعبیه سلسله مراتبی.HELP اولین تجزیه و تحلیل مبتنی بر معنایی آنلاین است که از LLMS برای تجزیه و تحلیل ورود به سیستم و مقرون به صرفه استفاده می کند.ما این کار را از طریق یک ماژول تعبیه شده سلسله مراتبی جدید ، که یک مدل متنی را برای تهیه لیست های خوشه ای قبل از تجزیه ، تنظیم می کند ، به دست می آوریم و هزینه های پرس و جو را با سفارشات متعدد از اندازه کاهش می دهد.برای مبارزه با Log Drift ، ما همچنین یک ماژول تعادل تکرار شونده را توسعه می دهیم ، که به طور دوره ای گروه بندی های ورود به سیستم موجود را به روز می کند.ما در 14 مجموعه داده در مقیاس بزرگ به طور گسترده کمک می کنیم ، نشان می دهد که به دستیابی به گروه بندی با وزن F1 به طور قابل توجهی بالاتر از تجزیه و تحلیل دقیق تر از تجزیه و تحلیل های آنلاین ، کمک می کند.ما همچنین به پلت فرم مشاهدات تولید Iudex کمک می کنیم و از عملی بودن HELP در یک محیط تولید تأیید می کنیم.نتایج ما نشان می دهد که کمک برای تجزیه و تحلیل ورود به سیستم با توان بالا با توان بالا است.