مقاله دوره های جدید در نظارت هوش مصنوعی: طراحی و اجرای یک سیستم نظارت بر رادیولوژی مستقل AI

چکیده

With the increasingly widespread adoption of AI in healthcare, maintaining the accuracy and reliability of AI models in clinical practice has become crucial. In this context, we introduce novel methods for monitoring the performance of radiology AI classification models in practice, addressing the challenges of obtaining real-time ground truth for performance monitoring. We propose two metrics – predictive divergence and temporal stability – to be used for preemptive alerts of AI performance changes. Predictive divergence, measured using Kullback-Leibler and Jensen-Shannon divergences, evaluates model accuracy by comparing predictions with those of two supplementary models. Temporal stability is assessed through a comparison of current predictions against historical moving averages, identifying potential model decay or data drift. This approach was retrospectively validated using chest X-ray data from a single-center imaging clinic, demonstrating its effectiveness in maintaining AI model reliability. By providing continuous, real-time insights into model performance, our system ensures the safe and effective use of AI in clinical decision-making, paving the way for more robust AI integration in healthcare

چکیده به فارسی (ترجمه ماشینی)

با اتخاذ فزاینده گسترده AI در مراقبت های بهداشتی ، حفظ دقت و قابلیت اطمینان مدل های هوش مصنوعی در عمل بالینی بسیار مهم است.در این زمینه ، ما روشهای جدیدی را برای نظارت بر عملکرد مدل های طبقه بندی رادیولوژی AI در عمل معرفی می کنیم و به چالش های دستیابی به حقیقت زمین در زمان واقعی برای نظارت بر عملکرد می پردازیم.ما دو معیار – واگرایی پیش بینی کننده و ثبات زمانی – را برای هشدارهای پیشگیرانه از تغییرات عملکرد AI پیشنهاد می کنیم.واگرایی پیش بینی کننده ، با استفاده از واگرایی Kullback-Leibler و Jensen-Shannon اندازه گیری می شود ، با مقایسه پیش بینی ها با دو مدل تکمیلی ، دقت مدل را ارزیابی می کند.ثبات زمانی از طریق مقایسه پیش بینی های فعلی در برابر میانگین های متحرک تاریخی ، شناسایی پوسیدگی مدل بالقوه یا رانش داده ارزیابی می شود.این روش به صورت گذشته نگر با استفاده از داده های اشعه ایکس قفسه سینه از یک کلینیک تصویربرداری تک مرکز تأیید شد و اثربخشی آن در حفظ قابلیت اطمینان مدل AI را نشان داد.سیستم ما با ارائه بینش مداوم و در زمان واقعی در مورد عملکرد مدل ، استفاده ایمن و مؤثر از هوش مصنوعی در تصمیم گیری بالینی را تضمین می کند و راه را برای ادغام قوی تر هوش مصنوعی در مراقبت های بهداشتی هموار می کند