معرفی مقاله و اهمیت آن

مسکن، یکی از بنیادی‌ترین نیازهای بشر و از مؤلفه‌های اجتماعی و رفتاری تعیین‌کننده سلامت (SDOH) محسوب می‌شود. امنیت مسکن و ثبات آن تأثیر عمیقی بر سلامت جسمی و روانی افراد دارد. در مقابل، تجربه اخراج از خانه می‌تواند کاتالیزوری برای زنجیره‌ای از رویدادهای منفی باشد که منجر به بیکاری، ناامنی مسکن یا بی‌خانمانی، فقر طولانی‌مدت و مشکلات جدی سلامت روان می‌شود. این مقاله با عنوان “شناسایی خودکار وضعیت اخراج از یادداشت‌های پرونده سلامت الکترونیک” به بررسی و ارائه راهکاری نوآورانه برای تشخیص خودکار وضعیت اخراج از یادداشت‌های بالینی موجود در پرونده‌های سلامت الکترونیک (EHR) می‌پردازد.

اهمیت این تحقیق در توانایی آن برای شناسایی زودهنگام و مقیاس‌پذیر افراد در معرض خطر اخراج یا افراد اخراج‌شده است. با توجه به حجم عظیم داده‌های متنی موجود در پرونده‌های سلامت الکترونیک، روش‌های دستی برای پایش و شناسایی این وضعیت‌ها ناکارآمد و زمان‌بر هستند. توسعه یک سیستم پردازش زبان طبیعی (NLP) خودکار می‌تواند به ارائه‌دهندگان مراقبت‌های بهداشتی کمک کند تا به سرعت بیماران نیازمند حمایت را شناسایی کرده و مداخلات لازم را برای کاهش اثرات منفی اخراج بر سلامت آن‌ها آغاز کنند. این رویکرد نه تنها سلامت فردی را بهبود می‌بخشد، بلکه می‌تواند به سیاست‌گذاری‌های عمومی در زمینه مسکن و سلامت کمک شایانی کند.

نویسندگان و زمینه تحقیق

این مطالعه توسط تیمی از محققان برجسته شامل Zonghai Yao، Jack Tsai، Weisong Liu، David A. Levy، Emily Druhl، Joel I Reisman و Hong Yu انجام شده است. زمینه اصلی تحقیق آن‌ها در تلاقی محاسبات و زبان (Computation and Language)، به ویژه در کاربرد پردازش زبان طبیعی در حوزه سلامت و پزشکی، قرار دارد.

این گروه تحقیقاتی به طور خاص در اداره سلامت جانبازان (VHA) ایالات متحده فعالیت می‌کنند، جایی که نیاز مبرمی به شناسایی و مدیریت مسائل اجتماعی مؤثر بر سلامت جانبازان وجود دارد. جانبازان، گروهی آسیب‌پذیر هستند که ممکن است بیشتر در معرض خطر ناامنی مسکن و اخراج قرار گیرند. از این رو، تمرکز بر روی یادداشت‌های پرونده سلامت الکترونیک VHA نشان‌دهنده تعهد این تیم به بهبود نتایج سلامت برای این جمعیت خاص است. تحقیقات آن‌ها در راستای بهره‌برداری از قدرت داده‌های بالینی برای استخراج اطلاعات حیاتی اجتماعی است که می‌تواند به طور مستقیم بر کیفیت زندگی و سلامت افراد تأثیر بگذارد.

چکیده و خلاصه محتوا

هدف اصلی این پژوهش، توسعه یک سیستم پردازش زبان طبیعی برای شناسایی خودکار وضعیت اخراج (شامل وجود اخراج و دوره زمانی اخراج) از یادداشت‌های پرونده سلامت الکترونیک (EHR) بود. محققان ابتدا وضعیت اخراج را تعریف کرده و سپس در 5000 یادداشت EHR از اداره سلامت جانبازان (VHA) به صورت دستی برچسب‌گذاری (Annotate) کردند.

آن‌ها یک مدل جدید به نام KIRESH را توسعه دادند که در مقایسه با مدل‌های پیشرفته دیگری مانند مدل‌های زبانی از پیش آموزش‌دیده مانند BioBERT و BioClinicalBERT، عملکرد به مراتب بهتری از خود نشان داد. علاوه بر این، یک prompt (دستور/الگوی ورودی) نوآورانه طراحی شد تا با استفاده از ارتباط ذاتی بین دو زیروظیفه پیش‌بینی وجود و دوره اخراج، عملکرد مدل را بیشتر بهبود بخشد. در نهایت، برای جلوگیری از مشکلات اعتماد به نفس بیش از حد مدل (over-confidence) ناشی از عدم توازن در مجموعه داده، از روش کالیبراسیون مبتنی بر Temperature Scaling بر روی متد KIRESH-Prompt استفاده شد.

نتایج نشان داد که KIRESH-Prompt به طور قابل توجهی از مدل‌های پایه قوی، از جمله تنظیم دقیق مدل BioClinicalBERT، پیشی گرفته است. در پیش‌بینی دوره اخراج، این مدل به MCC 0.74672، Macro-F1 0.71153 و Micro-F1 0.83396 دست یافت. در پیش‌بینی وجود اخراج نیز، به MCC 0.66827، Macro-F1 0.62734 و Micro-F1 0.7863 رسید. آزمایش‌های تکمیلی روی یک مجموعه داده معیاری از مؤلفه‌های اجتماعی سلامت (SBDH) نیز قابلیت تعمیم روش‌های توسعه‌یافته را اثبات کرد.

نتیجه‌گیری این است که KIRESH-Prompt طبقه‌بندی وضعیت اخراج را به طور قابل توجهی بهبود بخشیده و برنامه‌ریزی شده است که به عنوان یک سیستم نظارتی برای اخراج در EHRهای VHA مستقر شود تا به مقابله با ناامنی مسکن جانبازان آمریکایی کمک کند.

روش‌شناسی تحقیق

این مطالعه با رویکردی جامع و چندمرحله‌ای برای توسعه یک سیستم NLP کارآمد برای شناسایی وضعیت اخراج انجام گرفت. مراحل اصلی روش‌شناسی به شرح زیر است:

• تعریف و برچسب‌گذاری وضعیت اخراج: اولین گام حیاتی، تعریف دقیق مفهوم “وضعیت اخراج” بود که شامل دو جنبه کلیدی می‌شود: وجود اخراج (eviction presence) و دوره اخراج (eviction period). این تعاریف، اساس برچسب‌گذاری دستی 5000 یادداشت بالینی از پرونده‌های سلامت الکترونیک (EHR) اداره سلامت جانبازان (VHA) را تشکیل دادند. این برچسب‌گذاری دقیق توسط متخصصین حوزه انجام شد تا کیفیت داده‌های آموزشی و اعتبارسنجی مدل تضمین شود. دقت در این مرحله برای موفقیت هر سیستم NLP مبتنی بر یادگیری نظارت‌شده ضروری است.

• توسعه مدل KIRESH: هسته این تحقیق، توسعه یک مدل پردازش زبان طبیعی جدید به نام KIRESH بود. این مدل به طور خاص برای این وظیفه طراحی شده و از الگوریتم‌ها و معماری‌های پیشرفته‌ای بهره می‌برد که به آن امکان می‌دهد اطلاعات مربوط به اخراج را با دقت بالا از متن‌های بالینی استخراج کند. نتایج نشان داد که KIRESH به طور قابل توجهی از مدل‌های حال حاضر (state-of-the-art) مانند BioBERT و BioClinicalBERT که مدل‌های زبانی از پیش آموزش‌دیده هستند و برای وظایف عمومی NLP در حوزه زیست‌پزشکی استفاده می‌شوند، بهتر عمل کرده است. این برتری حاکی از تخصص و بهینه‌سازی مدل KIRESH برای وظیفه شناسایی اخراج است.

• طراحی Prompt نوآورانه: برای افزایش بیشتر دقت مدل، یک prompt یا دستورالعمل ورودی نوآورانه طراحی شد. این prompt از ارتباط ذاتی بین دو زیروظیفه پیش‌بینی وجود اخراج و پیش‌بینی دوره اخراج بهره می‌برد. به عبارت دیگر، مدل با آگاهی از اینکه این دو وظیفه به هم مرتبط هستند، آموزش داده شد. این رویکرد به مدل کمک می‌کند تا با در نظر گرفتن زمینه گسترده‌تر، تصمیمات دقیق‌تری بگیرد و عملکرد کلی را بهبود بخشد.

• کالیبراسیون مبتنی بر Temperature Scaling: یکی از چالش‌های رایج در یادگیری ماشین، به ویژه در مجموعه داده‌های نامتوازن (imbalanced datasets)، مشکل اعتماد به نفس بیش از حد (over-confidence) مدل است. این بدان معناست که مدل ممکن است پیش‌بینی‌های خود را با اطمینان بسیار بالا ارائه دهد، حتی زمانی که احتمال خطا وجود دارد. برای رفع این مشکل، محققان از Temperature Scaling بر روی متد KIRESH-Prompt استفاده کردند. این روش کالیبراسیون، اطمینان مدل را تنظیم می‌کند تا پیش‌بینی‌ها با احتمال واقعی رویداد هماهنگ‌تر شوند و از تصمیم‌گیری‌های نادرست ناشی از اعتماد به نفس کاذب جلوگیری شود.

• آزمایش تعمیم‌پذیری: به منظور اطمینان از اینکه روش‌های توسعه‌یافته صرفاً برای مجموعه داده VHA کارآمد نیستند، آزمایش‌های اضافی روی یک مجموعه داده معیاری (benchmark dataset) از مؤلفه‌های اجتماعی تعیین‌کننده سلامت (SBDH) انجام شد. این آزمایش‌ها نشان داد که رویکرد KIRESH-Prompt دارای قابلیت تعمیم (generalizability) خوبی است و می‌تواند در زمینه‌های مختلف پزشکی و برای شناسایی سایر مؤلفه‌های اجتماعی سلامت نیز به کار گرفته شود.

یافته‌های کلیدی

نتایج این مطالعه به وضوح برتری قابل توجه مدل KIRESH-Prompt را نسبت به مدل‌های پایه قوی، از جمله مدل BioClinicalBERT، نشان می‌دهد. این یافته‌ها در دو زیروظیفه اصلی ارزیابی شده‌اند که شامل پیش‌بینی وجود اخراج و پیش‌بینی دوره اخراج است. معیارهای ارزیابی شامل MCC (Matthews Correlation Coefficient)، Macro-F1 و Micro-F1 هستند که برای سنجش عملکرد مدل، به ویژه در مجموعه داده‌های نامتوازن، مناسب می‌باشند.

پیش‌بینی دوره اخراج (Eviction Period Prediction):

• MCC (Matthews Correlation Coefficient): 0.74672. این معیار که تعادل بین همه دسته‌های ماتریس درهم‌ریختگی (confusion matrix) را در نظر می‌گیرد، نشان‌دهنده یک همبستگی قوی بین پیش‌بینی‌ها و واقعیت است، به خصوص برای داده‌های نامتوازن بسیار ارزشمند است.
• Macro-F1: 0.71153. این معیار میانگین F1-score را برای هر کلاس محاسبه کرده و سپس میانگین می‌گیرد، بنابراین عملکرد مدل را برای هر دو کلاس (داشتن اخراج و نداشتن اخراج) به طور یکسان ارزیابی می‌کند و به خوبی نشان‌دهنده توانایی مدل در تشخیص موارد مثبت و منفی است.
• Micro-F1: 0.83396. این معیار F1-score را به صورت جهانی با شمارش کل موارد مثبت واقعی، مثبت کاذب و منفی کاذب محاسبه می‌کند و معمولاً برای ارزیابی عملکرد کلی در مجموعه داده‌های بزرگ مفید است.

پیش‌بینی وجود اخراج (Eviction Presence Prediction):

• MCC (Matthews Correlation Coefficient): 0.66827. این مقدار نیز نشان‌دهنده عملکرد خوب مدل در شناسایی وجود اخراج است، هرچند کمی پایین‌تر از پیش‌بینی دوره اخراج.
• Macro-F1: 0.62734. این معیار توانایی مدل را در شناسایی وجود اخراج به طور متعادل نشان می‌دهد.
• Micro-F1: 0.7863. نشان‌دهنده عملکرد کلی قوی مدل در این زیروظیفه.

به طور خلاصه، این اعداد حاکی از آن است که KIRESH-Prompt یک ابزار بسیار دقیق و قابل اعتماد برای شناسایی وضعیت اخراج از یادداشت‌های بالینی است. بهبود قابل توجهی که نسبت به مدل‌های پایه مانند BioClinicalBERT نشان داده شده، اهمیت توسعه مدل‌های تخصصی و بهینه‌سازی شده برای وظایف خاص بالینی را تأیید می‌کند. علاوه بر این، آزمایش‌های انجام شده بر روی یک مجموعه داده معیاری از مؤلفه‌های اجتماعی سلامت (SBDH) نشان داد که این روش‌ها دارای قابلیت تعمیم بالایی هستند و می‌توانند برای شناسایی سایر مؤلفه‌های اجتماعی سلامت نیز به کار روند. این یک دستاورد مهم است که پتانسیل گسترده‌ای برای کاربردهای آتی این مدل فراهم می‌آورد.

کاربردها و دستاوردها

دستاورد اصلی این تحقیق، توسعه و اعتبارسنجی یک سیستم NLP پیشرفته است که می‌تواند به طور خودکار اطلاعات حیاتی مربوط به اخراج از یادداشت‌های پرونده سلامت الکترونیک را استخراج کند. این فناوری کاربردهای عملی و دستاوردهای قابل توجهی در حوزه سلامت عمومی و مراقبت‌های بالینی دارد:

• سیستم نظارتی برای اخراج در VHA: مهم‌ترین کاربرد فوری این مدل، استقرار KIRESH-Prompt به عنوان یک سیستم نظارتی برای اخراج (eviction surveillance system) در پرونده‌های سلامت الکترونیک VHA است. این سیستم به کارکنان VHA امکان می‌دهد تا به سرعت و به طور خودکار جانبازانی را که در معرض خطر اخراج قرار دارند یا قبلاً اخراج شده‌اند، شناسایی کنند. این شناسایی زودهنگام بسیار حیاتی است.

• مداخلات زودهنگام و پیشگیرانه: با شناسایی به موقع وضعیت اخراج، ارائه‌دهندگان مراقبت‌های بهداشتی و مددکاران اجتماعی می‌توانند مداخلات پیشگیرانه و حمایتی لازم را آغاز کنند. این مداخلات می‌توانند شامل ارجاع به خدمات مسکن، مشاوره حقوقی، حمایت‌های مالی، و خدمات سلامت روان باشند تا از بروز عواقب شدید اخراج مانند بی‌خانمانی، فقر شدید و تشدید مشکلات روانی جلوگیری شود. این رویکرد فعالانه به جای واکنش پس از بحران، می‌تواند به طور چشمگیری کیفیت زندگی جانبازان را بهبود بخشد.

• مقابله با ناامنی مسکن جانبازان: این سیستم ابزاری قدرتمند برای مقابله با ناامنی مسکن جانبازان آمریکایی است. با توجه به آسیب‌پذیری خاص این جمعیت، توانایی شناسایی خودکار این چالش می‌تواند به تخصیص منابع به شکل هدفمندتر و ارائه حمایت‌های متناسب با نیازهای آنان کمک کند.

• شناسایی سایر مؤلفه‌های اجتماعی سلامت (SDOH): قابلیت تعمیم‌پذیری روش‌های توسعه‌یافته در این پژوهش، که بر روی مجموعه داده‌های SBDH نیز تأیید شده است، نشان‌دهنده پتانسیل عظیم این فناوری برای شناسایی سایر مؤلفه‌های اجتماعی تعیین‌کننده سلامت است. به عنوان مثال، این رویکرد می‌تواند برای تشخیص مشکلاتی مانند ناامنی غذایی، بیکاری، خشونت خانگی، یا مشکلات آموزشی از یادداشت‌های بالینی به کار رود و به بهبود جامع سلامت افراد کمک کند.

• پیشرفت در پردازش زبان طبیعی پزشکی: از منظر فنی، این تحقیق نشان می‌دهد که چگونه مدل‌های NLP تخصصی و با دقت طراحی شده (مانند KIRESH-Prompt) می‌توانند از مدل‌های زبانی عمومی‌تر (مانند BioClinicalBERT) برای وظایف بالینی خاص پیشی بگیرند. این دستاورد به پیشرفت در زمینه پردازش زبان طبیعی پزشکی (Medical NLP) کمک کرده و راه را برای توسعه ابزارهای هوشمندتر و دقیق‌تر در مراقبت‌های بهداشتی هموار می‌سازد.

• افزایش کارایی سیستم سلامت: با خودکارسازی فرآیند شناسایی وضعیت اخراج، نیاز به بررسی دستی و زمان‌بر یادداشت‌ها کاهش یافته، در نتیجه کارایی سیستم سلامت افزایش می‌یابد و کارکنان می‌توانند زمان خود را صرف ارائه مراقبت‌های مستقیم و مداخلات ضروری کنند.

نتیجه‌گیری

این مطالعه یک گام مهم رو به جلو در استفاده از پردازش زبان طبیعی برای رسیدگی به مؤلفه‌های اجتماعی تعیین‌کننده سلامت (SDOH) برداشته است. توسعه مدل KIRESH-Prompt نشان‌دهنده توانایی چشمگیر NLP در استخراج اطلاعات حیاتی از داده‌های متنی پیچیده پرونده‌های سلامت الکترونیک است. نتایج به وضوح نشان داد که KIRESH-Prompt توانسته است با عملکردی عالی، وضعیت اخراج (وجود و دوره آن) را با دقت و اطمینان بالا شناسایی کند و از مدل‌های پایه موجود پیشی گیرد.

اهمیت این دستاورد تنها به پیشرفت‌های فنی محدود نمی‌شود؛ بلکه پیامدهای عمیقی بر سلامت عمومی و رفاه اجتماعی دارد. با قابلیت استقرار این سیستم در پرونده‌های سلامت الکترونیک VHA، می‌توان جانبازان آسیب‌پذیر را به موقع شناسایی کرده و مداخلات لازم را برای کاهش اثرات مخرب اخراج و ناامنی مسکن بر سلامتشان فراهم آورد. این رویکرد می‌تواند به پیشگیری از یک چرخه معیوب از مشکلات اجتماعی و بهداشتی کمک کند که اغلب از تجربه اخراج نشأت می‌گیرد.

در نهایت، این پژوهش نه تنها یک راهکار مؤثر برای یک چالش خاص ارائه می‌دهد، بلکه راه را برای کاربردهای گسترده‌تر NLP در شناسایی و مدیریت سایر مؤلفه‌های اجتماعی سلامت هموار می‌سازد. آینده کار شامل استقرار عملیاتی KIRESH-Prompt در سیستم‌های VHA و پایش مداوم عملکرد آن خواهد بود تا اطمینان حاصل شود که این فناوری به طور مؤثر به بهبود زندگی جانبازان آمریکایی کمک می‌کند. این مطالعه نمونه‌ای درخشان از پتانسیل فناوری در خدمت به جامعه و ارتقای سلامت است.