معرفی مقاله و اهمیت آن

مدل‌های زبانی از پیش‌آموزش‌دیده (LMs) و مدل‌های زبانی بزرگ (LLMs) انقلابی در حوزه پردازش زبان‌های طبیعی (NLP) ایجاد کرده و قابلیت‌های چشمگیری در درک و تولید زبان انسانی نشان داده‌اند. این پیشرفت‌ها، سوال اساسی را مطرح کرده است: آیا این مدل‌ها صرفاً الگوهای زبانی را تقلید می‌کنند یا دانش واقعی را در خود ذخیره و سازماندهی می‌کنند؟ به عبارت دیگر، آیا می‌توان LMs را به عنوان پایگاه‌های دانش (KBs) در نظر گرفت که قادر به ذخیره، بازیابی و استنتاج اطلاعات واقعی هستند؟

مقاله “Can Language Models be Biomedical Knowledge Bases?” به قلم موجین سانگ و همکاران، به بررسی دقیق این سوال در حوزه تخصصی و حیاتی دانش زیست‌پزشکی می‌پردازد. اگرچه تحقیقات گسترده‌ای بر روی کاوش LMs در حوزه‌های عمومی انجام شده، اما توجه کمتری به ارزیابی پتانسیل آن‌ها به عنوان پایگاه‌های دانش مختص دامنه (domain-specific KBs) در زمینه پیچیده زیست‌پزشکی معطوف شده است. اهمیت این تحقیق در توانایی بالقوه آن برای گشودن افق‌های جدید در کاربردهایی نظیر کشف دارو، تشخیص بیماری و شخصی‌سازی درمان نهفته است.

این مقاله با ایجاد معیار جدید BioLAMA، گامی مهم در جهت پر کردن این شکاف برداشته و ابزاری برای سنجش دقیق توانایی LMs در بازیابی حقایق زیست‌پزشکی فراهم می‌کند. هدف اصلی، صرفاً نمایش عملکرد مدل‌ها نیست، بلکه درک عمیق‌تر از چگونگی عملکردهای آن‌ها و شناسایی محدودیت‌های اساسی‌شان در کاربرد به عنوان پایگاه‌های دانش قابل اعتماد در حوزه زیست‌پزشکی است. نتایج این پژوهش می‌تواند راهنمای ارزشمندی برای طراحی و توسعه LMs آینده باشد.

نویسندگان و زمینه تحقیق

مقاله توسط Mujeen Sung, Jinhyuk Lee, Sean Yi, Minji Jeon, Sungdong Kim, و Jaewoo Kang نوشته شده است. این تیم از محققان برجسته در زمینه‌های علوم کامپیوتر، هوش مصنوعی و بیوانفورماتیک هستند و تخصص آن‌ها در پردازش زبان‌های طبیعی و کاربردهای آن در زیست‌پزشکی، این تحقیق بین‌رشته‌ای را ممکن ساخته است.

زمینه تحقیق در تقاطع پردازش زبان‌های طبیعی (NLP) و انفورماتیک زیست‌پزشکی (Biomedical Informatics) قرار دارد. چالش اصلی در زیست‌پزشکی، حجم عظیم و سرعت فزاینده تولید اطلاعات در مقالات علمی، گزارش‌های بالینی و پایگاه‌های داده است. پایگاه‌های دانش سنتی نیازمند استخراج دستی یا نیمه‌خودکار اطلاعات هستند که فرآیندی پرهزینه و زمان‌بر است. در اینجا، LMs به عنوان راه حلی بالقوه برای استخراج، سازماندهی و پرس‌وجوی دانش از متون زیست‌پزشکی مطرح می‌شوند. این تحقیق با نگاهی انتقادی، پتانسیل واقعی این مدل‌ها را در نقش یک پایگاه دانش واقعی در این دامنه پیچیده ارزیابی می‌کند.

چکیده و خلاصه محتوا

مدل‌های زبانی از پیش‌آموزش‌دیده (LMs) در حل وظایف مختلف NLP فراگیر شده‌اند و علاقه فزاینده‌ای به این موضوع وجود دارد که چه دانشی در این مدل‌ها نهفته است و چگونه می‌توان آن را استخراج کرد، به گونه‌ای که LMs را به عنوان پایگاه‌های دانش (KBs) در نظر بگیریم. در حالی که کارهای زیادی بر روی کاوش LMs در حوزه‌های عمومی انجام شده، توجه کمی به قابلیت آن‌ها به عنوان KBs مختص دامنه، به‌ویژه در حوزه زیست‌پزشکی، معطوف شده است.

برای پاسخ به این نیاز، نویسندگان معیار BioLAMA را ایجاد کرده‌اند. این معیار شامل ۴۹,۰۰۰ سه‌تایی دانش واقعی زیست‌پزشکی برای کاوش LMs زیست‌پزشکی است. نتایج نشان می‌دهد که LMs زیست‌پزشکی، با استفاده از روش‌های کاوش اخیراً پیشنهاد شده، می‌توانند تا ۱۸.۵۱٪ دقت در ۵ پاسخ برتر (Acc@5) را در بازیابی دانش کسب کنند. اگرچه این میزان دقت با توجه به دشواری وظیفه امیدوارکننده به نظر می‌رسد، تحلیل‌های دقیق‌تر نشان می‌دهد که بیشتر پیش‌بینی‌ها همبستگی بالایی با قالب‌های پرامپت (prompt templates) بدون موضوع مشخص دارند. این امر منجر به تولید نتایج مشابه برای هر رابطه می‌شود و قابلیت مدل‌ها را برای استفاده به عنوان KBs مختص دامنه به شدت تضعیف می‌کند. امید است BioLAMA به عنوان یک معیار چالش‌برانگیز برای کاوش حقایق زیست‌پزشکی عمل کند.

روش‌شناسی تحقیق

نویسندگان برای ارزیابی LMs در نقش پایگاه‌های دانش زیست‌پزشکی، رویکردی سیستماتیک شامل دو بخش اصلی را اتخاذ کرده‌اند: ایجاد معیار BioLAMA و به‌کارگیری روش‌های کاوش (Probing Methods).

۱. ایجاد معیار BioLAMA

• منبع داده: BioLAMA بر اساس اطلاعات استخراج شده از منابع دانش زیست‌پزشکی معتبر مانند پاب‌مد (PubMed) و پایگاه‌های داده ژنتیکی و پروتئینی ساخته شده است.

• قالب سه‌تایی‌های دانش: هسته BioLAMA شامل ۴۹,۰۰۰ سه‌تایی دانش واقعی به فرم (موضوع، رابطه، شیء) – (Subject, Relation, Object) است. به عنوان مثال: (آسپرین، درمان می‌کند، سردرد) یا (ویروس کرونا، باعث، بیماری کووید-۱۹). این فرمت استاندارد برای نمایش حقایق و امکان پرس‌وجوی ساختاریافته است.

• پوشش دامنه: BioLAMA طیف وسیعی از روابط و موجودیت‌های زیست‌پزشکی (مانند ژن-بیماری، دارو-بیماری) را پوشش می‌دهد تا ارزیابی جامع مدل‌ها را تضمین کند.

۲. روش‌های کاوش (Probing Methods)

مدل‌های زبانی زیست‌پزشکی با پرامپت‌هایی که قسمتی از یک سه‌تایی دانش را شامل نمی‌شود، مواجه شده و باید قسمت گمشده را پیش‌بینی کنند.

• قالب‌بندی پرامپت: برای هر سه‌تایی، چندین قالب پرامپت طبیعی زبان ایجاد می‌شود. مثلاً برای (آسپرین، درمان می‌کند، سردرد)، پرامپت می‌تواند “آسپرین برای درمان [MASK] استفاده می‌شود” باشد.

• مدل‌های زبانی مورد آزمایش: شامل LMs زیست‌پزشکی مانند BioBERT و ClinicalBERT یا نسخه‌های سفارشی‌شده از مدل‌های عمومی هستند که بر روی داده‌های پزشکی fine-tune شده‌اند.

• معیار ارزیابی: معیار اصلی، دقت در ۵ پاسخ برتر (Acc@5) است، که نشان می‌دهد آیا شیء صحیح در میان ۵ پیش‌بینی برتر مدل قرار دارد یا خیر.

این روش‌شناسی، تصویری دقیق از قابلیت‌ها و محدودیت‌های LMs در نقش پایگاه‌های دانش زیست‌پزشکی ارائه می‌دهد.

یافته‌های کلیدی

یافته‌های این تحقیق، با وجود نتایج اولیه امیدوارکننده، به نکات چالش‌برانگیزی اشاره دارند که درک ما را از چگونگی عملکرد LMs به عنوان پایگاه‌های دانش عمق می‌بخشد.

۱. عملکرد اولیه: دقت ۱۸.۵۱٪ در ۵ پاسخ برتر (Acc@5)

در ابتدا، نتایج نشان داد که LMs زیست‌پزشکی می‌توانند تا ۱۸.۵۱٪ Acc@5 را در بازیابی دانش زیست‌پزشکی کسب کنند. این عدد، با توجه به دشواری و پیچیدگی بی‌نظیر حوزه زیست‌پزشکی، در نگاه اول نویدبخش به نظر می‌رسد. این دقت می‌تواند نشان‌دهنده توانایی مدل‌ها در نگهداری و بازیابی نسبی اطلاعات واقعی باشد.

۲. همبستگی بالا با قالب‌های پرامپت بدون موضوع

مهمترین و در عین حال نگران‌کننده‌ترین یافته، این بود که بیشتر پیش‌بینی‌های مدل، همبستگی بالایی با قالب‌های پرامپت (prompt templates) بدون هیچ موضوع خاصی داشتند. این یعنی مدل‌ها به جای استخراج اطلاعات مربوط به موضوع (Subject)، بر اساس الگوهای زبانی کلی مرتبط با رابطه (Relation) در پرامپت، پاسخ تولید می‌کنند. برای مثال، برای پرامپت “ژن BRCA1 مرتبط با [MASK] است”، مدل ممکن است به جای “سرطان سینه” (که خاص BRCA1 است)، یک اصطلاح عمومی مانند “سرطان” را پیشنهاد دهد.

۳. تولید نتایج مشابه برای هر رابطه و تضعیف نقش KB

این همبستگی با قالب‌های پرامپت، منجر به تولید نتایج مشابه برای هر رابطه، بدون توجه به موضوع خاص شد. این پدیده به شدت قابلیت مدل‌ها را برای استفاده به عنوان پایگاه‌های دانش مختص دامنه تضعیف می‌کند. یک پایگاه دانش واقعی باید بتواند اطلاعات دقیق و متفاوتی را برای هر موجودیت و رابطه آن ارائه دهد، نه اینکه پاسخ‌های کلیشه‌ای و مبتنی بر الگوهای سطحی زبان را تکرار کند. این یافته‌ها نشان می‌دهند که LMs فعلی، با وجود توانایی در تقلید الگوهای زبانی، فاقد درک عمیق و سازماندهی واقعی دانش درونی هستند که برای یک پایگاه دانش زیست‌پزشکی قابل اعتماد ضروری است.

کاربردها و دستاوردها

مقاله “آیا مدل‌های زبانی می‌توانند پایگاه‌های دانش زیست‌پزشکی باشند؟” با وجود محدودیت‌های شناسایی شده، دستاوردها و کاربردهای مهمی دارد که برای جامعه تحقیقاتی هوش مصنوعی و حوزه زیست‌پزشکی حائز اهمیت است.

۱. ایجاد BioLAMA به عنوان یک معیار چالش‌برانگیز

مهمترین دستاورد، توسعه و معرفی معیار BioLAMA است. این معیار:

• ابزاری برای ارزیابی: BioLAMA به محققان امکان می‌دهد LMs موجود و جدید را به طور سیستماتیک در زمینه درک و بازیابی دانش زیست‌پزشکی ارزیابی کنند.
• محرک نوآوری: با آشکار ساختن محدودیت‌های مدل‌های فعلی، BioLAMA محققان را ترغیب می‌کند تا روش‌ها و معماری‌های جدیدی برای LMs توسعه دهند.
• پلی بین NLP و زیست‌پزشکی: این معیار شکاف بین جوامع NLP و زیست‌پزشکی را پر کرده و ابزاری مشترک برای همکاری در مسائل بین‌رشته‌ای فراهم می‌کند.

۲. شناسایی شکاف‌های حیاتی در درک مدل‌ها از دانش دامنه

مقاله به وضوح نشان داد که LMs کنونی در درک عمیق و استخراج دقیق حقایق خاص دامنه با چالش‌های اساسی روبرو هستند. این کشف مهم است زیرا:

• تغییر جهت تحقیقات: یافته‌ها مسیرهای جدیدی را برای تحقیقات آینده در NLP زیست‌پزشکی مشخص می‌کنند، با تمرکز بر توسعه مدل‌هایی با قابلیت استنتاج، توجیه و درک روابط معنایی پیچیده.
• هشدار برای کاربردهای عملی: برای کاربردهای حیاتی مانند کشف دارو، تشخیص بیماری و تصمیم‌گیری‌های بالینی، اتکا به مدل‌هایی که دانش را به صورت سطحی درک می‌کنند، خطرناک است. این تحقیق بر لزوم بهبود قابلیت اطمینان و دقت آن‌ها قبل از استقرار تاکید می‌کند.

۳. راهنمایی برای توسعه مدل‌های زبانی نسل آینده

با درک محدودیت‌های فعلی، این مقاله راهنمایی برای توسعه LMs نسل آینده ارائه می‌دهد. برای ایجاد مدل‌هایی که واقعاً به عنوان پایگاه‌های دانش زیست‌پزشکی عمل کنند، باید به معماری‌های جدیدی که دانش ساختاریافته را با دانش بدون ساختار ترکیب می‌کنند، روش‌های آموزشی بهبود یافته برای یادگیری روابط واقعی، و داده‌های آموزشی غنی‌تر و حاشیه‌نویسی شده توجه کرد. این مقاله مسیر روشنی را برای دستیابی به هوش مصنوعی واقعاً آگاه از دامنه ترسیم می‌نماید.

نتیجه‌گیری

مقاله “آیا مدل‌های زبانی می‌توانند پایگاه‌های دانش زیست‌پزشکی باشند؟” بررسی عمیق و انتقادی از قابلیت‌های LMs در ذخیره و بازیابی دانش واقعی در حوزه تخصصی زیست‌پزشکی ارائه می‌دهد. این تحقیق، گامی مهم در پیشبرد درک ما از هوش مصنوعی در علم پزشکی برداشته است.

دستاورد اصلی این مقاله، ایجاد و معرفی معیار BioLAMA است. این معیار، شامل ۴۹,۰۰۰ سه‌تایی دانش واقعی زیست‌پزشکی، ابزاری بی‌بدیل برای ارزیابی دقیق و سیستماتیک LMs در این حوزه محسوب می‌شود. BioLAMA نه تنها به عنوان یک چالش برای مدل‌های کنونی عمل می‌کند، بلکه راه را برای توسعه نسل جدیدی از مدل‌ها که قادر به درک عمیق‌تر و دقیق‌تر اطلاعات زیست‌پزشکی هستند، هموار می‌سازد.

یافته‌های کلیدی تحقیق نشان داد که اگرچه LMs زیست‌پزشکی می‌توانند تا ۱۸.۵۱٪ دقت در ۵ پاسخ برتر (Acc@5) را در بازیابی دانش کسب کنند، اما این عملکرد به ظاهر امیدوارکننده، با یک محدودیت اساسی همراه است: بسیاری از پیش‌بینی‌ها به جای استناد به دانش واقعی مربوط به موضوع خاص، به شدت با قالب‌های پرامپت و الگوهای زبانی مرتبط هستند. این پدیده منجر به تولید نتایج مشابه برای روابط مختلف می‌شود و توانایی این مدل‌ها را برای عمل به عنوان پایگاه‌های دانش قابل اعتماد و مختص دامنه در زیست‌پزشکی، به طور جدی زیر سوال می‌برد.

این نتیجه‌گیری مهم، یک هشدار حیاتی برای جامعه هوش مصنوعی و زیست‌پزشکی به همراه دارد: در حالی که LMs ابزارهای قدرتمندی برای پردازش و تولید زبان هستند، آن‌ها هنوز با درک و استدلال عمیق در مورد حقایق پیچیده دامنه فاصله زیادی دارند. اتکا به این مدل‌ها برای کاربردهای حساس مانند کشف دارو یا تشخیص بالینی، بدون اطمینان از قابلیت‌های واقعی درک دانش آن‌ها، می‌تواند پیامدهای نامطلوبی داشته باشد.

در نهایت، مقاله بر این امید تاکید می‌کند که BioLAMA به عنوان یک معیار چالش‌برانگیز برای کاوش حقایق زیست‌پزشکی عمل کرده و الهام‌بخش تحقیقات آتی باشد. مسیر پیش رو نیازمند توسعه مدل‌هایی است که نه تنها قادر به یادگیری الگوهای زبانی باشند، بلکه بتوانند دانش را به صورت معنادار سازماندهی کرده، استنتاج‌های منطقی انجام دهند و اطلاعات را با دقت و اطمینان خاطر از متون پیچیده زیست‌پزشکی بازیابی کنند. این پژوهش، گامی اساسی در جهت ساخت هوش مصنوعی مسئولیت‌پذیر و کارآمد برای آینده سلامت و پزشکی است.