در دهه‌های اخیر، هوش مصنوعی و یادگیری ماشین، به‌ویژه یادگیری عمیق، انقلابی در حوزه‌های مختلف از جمله پردازش زبان طبیعی و بینایی کامپیوتر ایجاد کرده‌اند. حوزه بهداشت و درمان نیز از این پیشرفت‌ها بی‌نصیب نمانده است. با این حال، یکی از بزرگ‌ترین چالش‌ها در استفاده از مدل‌های یادگیری عمیق در پزشکی، نیاز مبرم آن‌ها به حجم عظیمی از داده‌های برچسب‌دار و باکیفیت است. در بسیاری از سناریوهای بالینی، مانند بیمارستان‌های کوچک، بیماری‌های نادر، یا مطالعات تحقیقاتی خاص، جمع‌آوری چنین داده‌هایی بسیار دشوار یا حتی غیرممکن است.

اینجاست که مفهوم پیش‌آموزش (Pre-training) به عنوان یک راهکار قدرتمند مطرح می‌شود. در این رویکرد، یک مدل ابتدا بر روی یک مجموعه داده بزرگ و بدون برچسب آموزش داده می‌شود تا الگوها و ساختارهای بنیادین داده را بیاموزد. سپس این مدلِ «پیش‌آموزش‌دیده» برای یک وظیفه خاص با استفاده از مجموعه داده‌ای کوچک‌تر و برچسب‌دار، «تنظیم دقیق» (Fine-tuning) می‌شود. این مقاله با عنوان «پیش‌آموزش بی‌نظارت ترانسفورمرهای گرافی بر گراف‌های جمعیت بیماران»، روشی نوآورانه برای پیاده‌سازی این ایده در حوزه داده‌های بالینی ارائه می‌دهد که پتانسیل حل مشکل کمبود داده و بهبود چشمگیر مدل‌های پیش‌بینی پزشکی را دارد.

این مقاله توسط شانتال پلگرینی، نصیر نواب و انیس قاضی، محققان برجسته در زمینه هوش مصنوعی پزشکی و یادگیری ماشین، به رشته تحریر درآمده است. این پژوهش در مرز مشترک چند حوزه کلیدی قرار دارد:

• یادگیری ماشین در سلامت: استفاده از الگوریتم‌های پیشرفته برای تحلیل داده‌های پزشکی و بهبود تصمیم‌گیری‌های بالینی.
• یادگیری عمیق گرافی (Graph Deep Learning): مدل‌سازی داده‌های پیچیده و دارای ارتباطات داخلی، مانند شبکه‌های اجتماعی یا مولکولی، که در اینجا برای نمایش جمعیت بیماران به کار گرفته شده است.
• پردازش زبان طبیعی (NLP): الهام‌گیری از تکنیک‌های موفق در این حوزه، به‌ویژه مدل‌های ترانسفورمر و روش‌های پیش‌آموزش مبتنی بر ماسک‌گذاری.

ترکیب این حوزه‌ها به نویسندگان امکان داده است تا یک راه‌حل جامع برای مدل‌سازی داده‌های بالینی ناهمگون و چندوجهی ارائه دهند.

ایده اصلی این مقاله، طراحی یک چارچوب پیش‌آموزش بی‌نظارت برای داده‌های بالینی است. داده‌های بالینی معمولاً ناهمگون (Heterogeneous) هستند، یعنی شامل انواع مختلفی از اطلاعات مانند نتایج آزمایشگاهی عددی، کدهای تشخیص بیماری، یادداشت‌های متنی پزشک و اطلاعات دموگرافیک می‌باشند. نویسندگان برای مدیریت این پیچیدگی، داده‌های بیماران را در قالب یک ساختار قدرتمند به نام گراف جمعیت بیماران (Patient Population Graph) نمایش می‌دهند. در این گراف، هر بیمار یک گره (node) است و ارتباطات بین بیماران (مثلاً شباهت در پروفایل بالینی) به صورت یال (edge) مدل‌سازی می‌شود.

سپس، یک معماری شبکه عصبی نوین مبتنی بر ترانسفورمرهای گرافی (Graph Transformers) برای یادگیری از این گراف طراحی شده است. نقطه اوج نوآوری مقاله، روش پیش‌آموزش آن است که از تکنیک موفق مدل‌سازی زبان ماسک‌شده (Masked Language Modeling – MLM) در حوزه NLP الهام گرفته شده است. در این روش، بخش‌هایی از اطلاعات یک بیمار در گراف (مثلاً یک کد تشخیص یا یک نتیجه آزمایش) به صورت تصادفی «ماسک» یا پنهان می‌شود و مدل وظیفه دارد تا با توجه به اطلاعات باقی‌مانده بیمار و اطلاعات بیماران مشابه در گراف، آن بخش پنهان‌شده را پیش‌بینی کند. این فرآیند، مدل را وادار می‌کند تا روابط پیچیده و الگوهای بالینی عمیق را در سطح بیمار و جمعیت بیاموزد.

روش پیشنهادی در این مقاله از سه جزء اصلی تشکیل شده است که در ادامه به تفصیل شرح داده می‌شوند:

1. ساخت گراف جمعیت بیماران:
   گام اول، تبدیل داده‌های خام بالینی (از پرونده‌های الکترونیک سلامت) به یک گراف معنادار است. در این گراف:
   • گره‌ها (Nodes): هر گره نماینده یک بیمار است. ویژگی‌های هر گره (Node Features) برداری است که شامل تمام اطلاعات موجود برای آن بیمار می‌شود؛ از جمله اطلاعات دموگرافیک (سن، جنسیت)، علائم حیاتی، نتایج آزمایش‌ها، کدهای تشخیص (مانند ICD-10) و داروهای تجویز شده.
   • یال‌ها (Edges): یال‌ها ارتباطات بین بیماران را نشان می‌دهند. این یال‌ها می‌توانند بر اساس معیارهای مختلفی مانند شباهت در ویژگی‌های بالینی، هم‌زمانی بستری در یک بخش بیمارستان، یا هر معیار مرتبط دیگری تعریف شوند. این ساختار گرافی به مدل اجازه می‌دهد تا از اطلاعات بیماران مشابه برای درک بهتر وضعیت یک بیمار خاص استفاده کند.
2. معماری مدل: ترانسفورمر گرافی (Graph Transformer):
   برای تحلیل گراف جمعیت بیماران، نویسندگان از یک معماری ترکیبی استفاده می‌کنند که از قدرت شبکه‌های عصبی گرافی (GNNs) و ترانسفورمرها به طور همزمان بهره می‌برد. GNNها در agreg کردن اطلاعات از گره‌های همسایه تخصص دارند، در حالی که مکانیزم توجه (Attention Mechanism) در ترانسفورمرها به مدل اجازه می‌دهد تا به مهم‌ترین ویژگی‌ها در داخل پروفایل یک بیمار و همچنین به تأثیرگذارترین بیماران در همسایگی، وزن بیشتری بدهد. این معماری برای مدیریت داده‌های ناهمگون و پیچیده بالینی بسیار مناسب است.
3. تکنیک پیش‌آموزش بی‌نظارت مبتنی بر ماسک‌گذاری:
   این بخش، هسته نوآوری مقاله است. فرآیند پیش‌آموزش به این صورت انجام می‌شود که مدل با یک وظیفه «خود-نظارتی» (Self-supervised) آموزش داده می‌شود:
   • ماسک‌گذاری ویژگی (Feature Masking): به طور تصادفی، بخشی از بردار ویژگی‌های یک گره (بیمار) انتخاب و پنهان (ماسک) می‌شود. برای مثال، مقدار یک آزمایش خون خاص یا وجود یک کد تشخیص بیماری از ورودی مدل حذف می‌شود.
   • وظیفه بازسازی (Reconstruction Task): هدف مدل، پیش‌بینی و بازسازی مقدار یا برچسب ویژگی ماسک‌شده است. برای انجام این کار، مدل باید از زمینه (Context) موجود استفاده کند. این زمینه شامل سایر اطلاعات همان بیمار و همچنین اطلاعات agreg شده از بیماران همسایه در گراف است.

   این فرآیند، که می‌توان آن را «حدس زدن جاهای خالی در پرونده پزشکی» نامید، مدل را مجبور به یادگیری بازنمایی‌های (Representations) غنی و قابل تعمیم از داده‌های بالینی می‌کند.

نویسندگان برای ارزیابی روش پیشنهادی خود از سه مجموعه داده پزشکی معتبر استفاده کردند: TADPOLE (برای پیش‌بینی پیشرفت بیماری آلزایمر)، MIMIC-III (یک پایگاه داده بزرگ از بخش مراقبت‌های ویژه) و یک مجموعه داده برای پیش‌بینی سپسیس. نتایج به دست آمده به وضوح برتری این رویکرد را نشان می‌دهد:

• بهبود عملکرد: مدل‌های پیش‌آموزش‌دیده در تمام وظایف نهایی (Fine-tuning tasks) مانند پیش‌بینی مرگ و میر یا تشخیص بیماری، عملکرد بهتری نسبت به مدل‌هایی که از صفر آموزش دیده‌اند، از خود نشان دادند.
• موفقیت در یادگیری انتقالی (Transfer Learning): یکی از مهم‌ترین یافته‌ها، موفقیت این روش در سناریوی یادگیری انتقالی بود. به عنوان مثال، مدلی که بر روی مجموعه داده بزرگ و عمومی MIMIC-III پیش‌آموزش داده شده بود، توانست پس از تنظیم دقیق بر روی مجموعه داده کوچک‌تر سپسیس، عملکرد بسیار بالایی کسب کند. این نشان می‌دهد که دانش آموخته‌شده از یک جمعیت بزرگ بیماران، قابل انتقال و استفاده برای وظایف خاص دیگر است.
• یادگیری بازنمایی‌های معنادار: تحلیل‌ها نشان داد که مدل توانسته است الگوهای بالینی معناداری را در سطح بیمار و جمعیت شناسایی کند. این بازنمایی‌های آموخته‌شده می‌توانند برای کاربردهای دیگری مانند خوشه‌بندی بیماران یا شناسایی زیرگروه‌های بیماری نیز مفید باشند.

این پژوهش دستاوردهای مهمی برای آینده هوش مصنوعی در پزشکی به همراه دارد:

۱. دموکراتیزه کردن هوش مصنوعی پزشکی: با این روش، مراکز تحقیقاتی یا بیمارستان‌هایی که به داده‌های برچسب‌دار بزرگ دسترسی ندارند، می‌توانند از مدل‌های پیش‌آموزش‌دیده بر روی داده‌های عمومی استفاده کرده و آن‌ها را برای نیازهای خاص خود سفارشی‌سازی کنند. این امر مانع بزرگ کمبود داده را تا حد زیادی برطرف می‌کند.

۲. ساخت مدل‌های بالینی قوی‌تر: پیش‌آموزش به مدل‌ها کمک می‌کند تا درک عمیق‌تری از فیزیولوژی و الگوهای بیماری پیدا کنند که منجر به سیستم‌های پشتیبان تصمیم‌گیری بالینی دقیق‌تر و قابل‌اعتمادتر می‌شود.

۳. کشف دانش جدید: بازنمایی‌های غنی که توسط مدل آموخته می‌شوند، می‌توانند به عنوان ابزاری برای کشف ارتباطات پنهان بین متغیرهای بالینی و شناسایی بیومارکرهای دیجیتال جدید مورد استفاده قرار گیرند.

مقاله «پیش‌آموزش بی‌نظارت ترانسفورمرهای گرافی بر گراف‌های جمعیت بیماران» یک چارچوب قدرتمند و نوآورانه برای بهره‌برداری از حجم عظیم داده‌های بالینی بدون برچسب ارائه می‌دهد. با ترکیب هوشمندانه ساختارهای گرافی، معماری ترانسفورمر و یک استراتژی پیش‌آموزش الهام‌گرفته از NLP، این تحقیق راه را برای ساخت نسل جدیدی از مدل‌های هوش مصنوعی در حوزه سلامت هموار می‌کند. این مدل‌ها نه تنها دقیق‌تر هستند، بلکه قابلیت تعمیم‌پذیری بیشتری داشته و می‌توانند به حل یکی از اساسی‌ترین چالش‌های این حوزه، یعنی کمبود داده‌های برچسب‌دار، کمک شایانی کنند. این پژوهش نشان می‌دهد که آینده تحلیل داده‌های پزشکی در گروی مدل‌هایی است که قادر به درک روابط پیچیده در سطح جمعیت بیماران باشند.