هوش مصنوعی (AI) به سرعت در حال پیشرفت است و پتانسیل قابل توجهی برای متحول کردن صنایع مختلف، از جمله مراقبت‌های بهداشتی، ارائه می‌دهد. با این حال، موفقیت استقرار هوش مصنوعی در هر زمینه‌ای به شدت به کیفیت و مرتبط بودن داده‌هایی بستگی دارد که مدل‌های هوش مصنوعی بر اساس آن‌ها آموزش می‌بینند. این مقاله به بررسی این موضوع می‌پردازد که آیا مجموعه داده‌های محک (benchmark datasets) موجود، که برای ارزیابی و مقایسه عملکرد مدل‌های هوش مصنوعی استفاده می‌شوند، واقعاً نیازهای متخصصان پزشکی را برآورده می‌کنند یا خیر.

این مقاله با عنوان اصلی انگلیسی “Benchmark datasets driving artificial intelligence development fail to capture the needs of medical professionals” (مجموعه داده‌های محکِ پیشرانِ هوش مصنوعی، در برآوردن نیازهای متخصصان پزشکی ناکام‌اند) به بررسی شکاف بین قابلیت‌های بالقوه هوش مصنوعی در حوزه پزشکی و واقعیت مجموعه داده‌های موجود برای آموزش این سیستم‌ها می‌پردازد. اهمیت این موضوع از آنجا ناشی می‌شود که اگر هوش مصنوعی نتواند بر اساس داده‌های مرتبط و واقع‌بینانه آموزش ببیند، نمی‌تواند به طور موثر به پزشکان در انجام وظایفشان کمک کند و در نتیجه، پتانسیل این فناوری برای بهبود مراقبت‌های بهداشتی تحقق نخواهد یافت.

داده‌های محک نقش حیاتی در توسعه هوش مصنوعی دارند. آن‌ها مجموعه‌های داده‌ای استاندارد هستند که به محققان و توسعه‌دهندگان اجازه می‌دهند عملکرد مدل‌های هوش مصنوعی خود را در یک مجموعه وظایف از پیش تعریف شده ارزیابی و مقایسه کنند. استفاده از این داده‌ها تضمین می‌کند که پیشرفت در هوش مصنوعی قابل اندازه‌گیری، قابل تکرار و قابل مقایسه باشد. با این حال، اگر داده‌های محک مناسب نباشند، کل فرآیند توسعه هوش مصنوعی ممکن است به مسیر اشتباه هدایت شود.

این مقاله توسط Kathrin Blagec، Jakob Kraiger، Wolfgang Frühwirt و Matthias Samwald نوشته شده است. نویسندگان این مقاله متخصصان در زمینه‌های هوش مصنوعی و پردازش زبان طبیعی (NLP) در زمینه پزشکی هستند. این افراد با داشتن تخصص در هر دو حوزه، قادرند به طور جامع چالش‌های مربوط به توسعه هوش مصنوعی برای کاربردهای بالینی را درک کنند.

زمینه تحقیقاتی این مقاله در تقاطع هوش مصنوعی، پردازش زبان طبیعی و مراقبت‌های بهداشتی قرار دارد. تمرکز اصلی بر این است که چگونه می‌توان از هوش مصنوعی و NLP برای بهبود کارایی و اثربخشی خدمات پزشکی استفاده کرد. با این حال، نویسندگان به این نکته مهم اشاره می‌کنند که برای دستیابی به این هدف، لازم است تا مجموعه‌های داده‌ای که برای آموزش مدل‌های هوش مصنوعی استفاده می‌شوند، به طور دقیق بازتاب‌دهنده نیازها و وظایف متخصصان پزشکی باشند.

چکیده مقاله به این شرح است: مجموعه داده‌های محکِ در دسترس عموم که امکان ارزیابی و مقایسه عملکرد مدل‌ها را فراهم می‌کنند، محرک‌های مهمی برای پیشرفت در هوش مصنوعی هستند. در حالی که پیشرفت‌های اخیر در قابلیت‌های هوش مصنوعی پتانسیل تبدیل شیوه پزشکی را با کمک و تقویت فرایندهای شناختی متخصصان مراقبت‌های بهداشتی دارد، پوشش وظایف مرتبط بالینی توسط داده‌های محکِ هوش مصنوعی تا حد زیادی نامشخص است. علاوه بر این، کمبود فراداده (meta-information) سیستماتیک وجود دارد که به محققان هوش مصنوعی بالینی اجازه می‌دهد به سرعت به دسترسی‌پذیری، دامنه، محتوا و سایر ویژگی‌های مجموعه‌های داده و مجموعه داده‌های محکِ مرتبط با حوزه بالینی پی ببرند. برای پرداختن به این مسائل، ما یک فهرست جامع از مجموعه‌های داده و معیارها مربوط به دامنه گسترده پردازش زبان طبیعی بالینی و زیست پزشکی را بر اساس یک بررسی سیستماتیک از ادبیات و منابع آنلاین تنظیم و منتشر کردیم. در مجموع 450 مجموعه داده پردازش زبان طبیعی به صورت دستی سازماندهی و با فراداده غنی مانند وظایف هدف، کاربرد بالینی، انواع داده، معیارهای عملکرد، اطلاعات دسترسی و مجوز و در دسترس بودن تقسیم داده‌ها حاشیه‌نویسی شدند. سپس وظایف پوشش داده شده توسط مجموعه داده‌های محکِ هوش مصنوعی را با وظایف مرتبطی که پزشکان در یک مطالعه تجربی قبلی به عنوان اهداف بسیار مطلوب برای اتوماسیون گزارش کرده‌اند، مقایسه کردیم. تحلیل ما نشان می‌دهد که داده‌های محکِ هوش مصنوعی با ارتباط بالینی مستقیم کم است و نمی‌تواند بیشتر فعالیت‌های کاری که پزشکان می‌خواهند به آن رسیدگی شود را پوشش دهد. به طور خاص، وظایف مرتبط با مستندسازی معمول و جریان‌های کاری مدیریت داده‌های بیمار با وجود حجم کاری قابل توجه مرتبط، نشان داده نمی‌شوند. بنابراین، مجموعه داده‌های محکِ هوش مصنوعی در حال حاضر به درستی با اهداف مورد نظر برای اتوماسیون هوش مصنوعی در محیط‌های بالینی همسو نیستند و مجموعه داده‌های محکِ جدید باید برای پر کردن این شکاف‌ها ایجاد شوند.

به طور خلاصه، این مقاله نشان می‌دهد که مجموعه داده‌های محکِ موجود برای آموزش مدل‌های هوش مصنوعی در زمینه پزشکی، به طور کامل نیازهای متخصصان پزشکی را برآورده نمی‌کنند. به عبارت دیگر، مدل‌های هوش مصنوعی که بر اساس این داده‌ها آموزش می‌بینند، ممکن است در حل مسائل و انجام وظایفی که پزشکان در عمل با آن روبرو هستند، به اندازه کافی کارآمد نباشند. این امر به دلیل تمرکز بیش از حد داده‌های محک بر وظایف خاص و نادیده گرفتن وظایف روزمره و پرحجمی است که پزشکان انجام می‌دهند، مانند مستندسازی و مدیریت داده‌های بیمار.

روش‌شناسی تحقیق این مقاله شامل یک بررسی سیستماتیک از ادبیات و منابع آنلاین برای شناسایی مجموعه‌های داده و داده‌های محکِ مربوط به NLP بالینی و زیست‌پزشکی است. نویسندگان با دقت ۴۵۰ مجموعه داده NLP را به صورت دستی سازماندهی و با فراداده غنی حاشیه‌نویسی کردند. این فراداده شامل اطلاعاتی در مورد وظایف هدف، کاربرد بالینی، انواع داده، معیارهای عملکرد، اطلاعات دسترسی و مجوز و در دسترس بودن تقسیم داده‌ها بود.

سپس، نویسندگان وظایف پوشش داده شده توسط مجموعه داده‌های محکِ هوش مصنوعی را با وظایف مرتبطی که پزشکان در یک مطالعه تجربی قبلی به عنوان اهداف بسیار مطلوب برای اتوماسیون گزارش کرده‌اند، مقایسه کردند. این مقایسه به نویسندگان اجازه داد تا شکاف بین قابلیت‌های مجموعه داده‌های محکِ موجود و نیازهای واقعی متخصصان پزشکی را شناسایی کنند. به عنوان مثال، آن‌ها بررسی کردند که آیا وظایفی مانند خلاصه کردن یادداشت‌های بیمار، تشخیص بیماری‌ها از روی متن پزشکی، یا پاسخ دادن به سوالات بیماران به اندازه کافی در داده‌های محک نشان داده شده‌اند یا خیر.

یافته‌های کلیدی این مقاله به شرح زیر است:

• داده‌های محکِ هوش مصنوعی با ارتباط بالینی مستقیم کم است.
• داده‌های محکِ موجود نمی‌تواند بیشتر فعالیت‌های کاری که پزشکان می‌خواهند به آن رسیدگی شود را پوشش دهد.
• وظایف مرتبط با مستندسازی معمول و جریان‌های کاری مدیریت داده‌های بیمار با وجود حجم کاری قابل توجه مرتبط، نشان داده نمی‌شوند.
• مجموعه داده‌های محکِ هوش مصنوعی در حال حاضر به درستی با اهداف مورد نظر برای اتوماسیون هوش مصنوعی در محیط‌های بالینی همسو نیستند.

به عبارت دیگر، هوش مصنوعی به اندازه کافی برای کمک به پزشکان در انجام وظایف روزمره و پرحجم مانند مستندسازی و مدیریت داده‌ها آموزش ندیده است. این موضوع می‌تواند منجر به این شود که پزشکان نتوانند به طور کامل از مزایای هوش مصنوعی بهره‌مند شوند و در نتیجه، کارایی و کیفیت خدمات پزشکی تحت تاثیر قرار گیرد.

کاربردهای این تحقیق بسیار گسترده است. این تحقیق به محققان و توسعه‌دهندگان هوش مصنوعی کمک می‌کند تا شکاف بین قابلیت‌های هوش مصنوعی و نیازهای واقعی متخصصان پزشکی را درک کنند. این درک به آن‌ها امکان می‌دهد تا مجموعه داده‌های محکِ جدیدی را ایجاد کنند که به طور دقیق بازتاب‌دهنده وظایف و چالش‌هایی باشند که پزشکان در عمل با آن روبرو هستند. با انجام این کار، می‌توان مدل‌های هوش مصنوعی را آموزش داد که به طور موثرتری به پزشکان در انجام وظایفشان کمک کنند و در نتیجه، کارایی و کیفیت خدمات پزشکی را بهبود بخشند.

علاوه بر این، این تحقیق می‌تواند به سیاست‌گذاران و سازمان‌های بهداشتی کمک کند تا سرمایه‌گذاری‌های خود را در زمینه هوش مصنوعی به درستی هدایت کنند. با درک بهتر نیازهای واقعی متخصصان پزشکی، این سازمان‌ها می‌توانند اطمینان حاصل کنند که بودجه و منابع خود را به پروژه‌هایی اختصاص می‌دهند که بیشترین تاثیر را بر بهبود مراقبت‌های بهداشتی دارند. به عنوان مثال، ممکن است سرمایه‌گذاری در توسعه مجموعه داده‌های محکِ جدید برای وظایفی مانند مستندسازی و مدیریت داده‌های بیمار، از سرمایه‌گذاری در توسعه مدل‌های هوش مصنوعی برای وظایف تخصصی‌تر، اهمیت بیشتری داشته باشد.

مقاله به این نتیجه می‌رسد که مجموعه داده‌های محکِ موجود برای آموزش مدل‌های هوش مصنوعی در زمینه پزشکی، به طور کامل نیازهای متخصصان پزشکی را برآورده نمی‌کنند. این امر به دلیل تمرکز بیش از حد داده‌های محک بر وظایف خاص و نادیده گرفتن وظایف روزمره و پرحجمی است که پزشکان انجام می‌دهند.

برای رفع این مشکل، نویسندگان پیشنهاد می‌کنند که مجموعه داده‌های محکِ جدیدی ایجاد شوند که به طور دقیق بازتاب‌دهنده نیازها و چالش‌هایی باشند که پزشکان در عمل با آن روبرو هستند. این مجموعه داده‌ها باید شامل اطلاعاتی در مورد وظایفی مانند مستندسازی، مدیریت داده‌های بیمار و سایر وظایف روزمره باشد. با انجام این کار، می‌توان مدل‌های هوش مصنوعی را آموزش داد که به طور موثرتری به پزشکان در انجام وظایفشان کمک کنند و در نتیجه، کارایی و کیفیت خدمات پزشکی را بهبود بخشند.

در نهایت، این مقاله تاکید می‌کند که برای دستیابی به پتانسیل کامل هوش مصنوعی در زمینه پزشکی، لازم است تا توسعه‌دهندگان هوش مصنوعی، متخصصان پزشکی و سیاست‌گذاران با یکدیگر همکاری کنند. این همکاری به اطمینان حاصل می‌کند که هوش مصنوعی به گونه‌ای توسعه می‌یابد که به طور موثر نیازهای واقعی متخصصان پزشکی را برآورده کند و در نتیجه، به بهبود مراقبت‌های بهداشتی کمک کند.