در دهه‌های اخیر، حجم متون علمی در حوزه زیست‌پزشکی، از مقالات تحقیقاتی گرفته تا گزارش‌های بالینی و پرونده‌های الکترونیک سلامت، به صورت تصاعدی افزایش یافته است. این انفجار اطلاعات، فرصت‌های بی‌نظیری برای کشف دانش جدید، بهبود روش‌های درمانی و تسریع تحقیقات دارویی فراهم آورده، اما در عین حال، چالشی بزرگ برای استخراج و تحلیل این حجم از داده‌های بدون ساختار ایجاد کرده است. پردازش زبان طبیعی (Natural Language Processing – NLP) به عنوان یک شاخه کلیدی از هوش مصنوعی، ابزارهای لازم برای درک، تفسیر و استخراج اطلاعات ارزشمند از این متون را ارائه می‌دهد.

مدل‌های زبانی از پیش آموزش‌دیده (Pre-trained Language Models – PLMs) مانند BERT انقلابی در حوزه NLP ایجاد کرده‌اند. با این حال، زبان حوزه زیست‌پزشکی دارای واژگان، ساختارها و مفاهیم بسیار تخصصی است که مدل‌های آموزش‌دیده بر روی متون عمومی (مانند ویکی‌پدیا) قادر به درک کامل آن نیستند. این موضوع منجر به توسعه مدل‌های خاص دامنه (Domain-specific) مانند BioBERT شد. مقاله “ELECTRAMed: a new pre-trained language representation model for biomedical NLP” در همین راستا گامی مهم به جلو برمی‌دارد. این مقاله نه تنها یک مدل جدید و قدرتمند برای حوزه زیست‌پزشکی معرفی می‌کند، بلکه با بهره‌گیری از یک معماری کارآمدتر به نام ELECTRA، به چالش هزینه‌های محاسباتی بالای آموزش این مدل‌ها نیز پاسخ می‌دهد. اهمیت این پژوهش در ارائه مدلی نهفته است که هم دقت بالاتری در وظایف کلیدی NLP زیست‌پزشکی ارائه می‌دهد و هم فرآیند آموزش آن بهینه‌تر است.

این مقاله توسط جاکومو میولو (Giacomo Miolo)، جولیو مانتوان (Giulio Mantoan) و کارلوتا اورسنیگو (Carlotta Orsenigo) به رشته تحریر درآمده است. این پژوهش در حوزه “محاسبات و زبان” (Computation and Language) قرار می‌گیرد که بر تلاقی علوم کامپیوتر، زبان‌شناسی و هوش مصنوعی تمرکز دارد.

زمینه تحقیق این مقاله، توسعه مدل‌های زبانی برای کاربردهای تخصصی زیست‌پزشکی است. این حوزه شاهد یک تکامل سریع بوده است:

• مدل‌های عمومی: مدل‌هایی مانند BERT که بر روی داده‌های عمومی آموزش دیده‌اند.
• مدل‌های خاص دامنه (Fine-tuning): مدل‌هایی مانند BioBERT که یک مدل عمومی را گرفته و با داده‌های تخصصی (مانند مقالات PubMed) بیشتر آموزش می‌دهند.
• مدل‌های خاص دامنه (Training from Scratch): رویکردی نوین‌تر که استدلال می‌کند آموزش یک مدل از ابتدا و صرفاً با داده‌های تخصصی، ممکن است به نتایج بهتری منجر شود.

مقاله ELECTRAMed در دسته سوم قرار می‌گیرد و با استفاده از معماری نوین ELECTRA، این فرضیه را به آزمون می‌گذارد که آموزش یک مدل بهینه از صفر روی داده‌های زیست‌پزشکی، می‌تواند به عملکردی پیشرو در این حوزه دست یابد.

مقاله حاضر، یک مدل زبانی از پیش آموزش‌دیده و خاص دامنه به نام ELECTRAMed را برای حوزه زیست‌پزشکی معرفی می‌کند. نویسندگان با اشاره به حجم عظیم متون علمی در این حوزه، بر ضرورت توسعه مدل‌های زبانی کارآمد تأکید می‌کنند. رویکردهای غالب اخیر، مدل‌های خاص دامنه‌ای بوده‌اند که بر پایه مدل‌های عمومی ساخته شده و سپس با داده‌های علمی آموزش دیده‌اند. با این حال، شواهد نشان می‌دهد که در دامنه‌های تخصصی با مجموعه داده‌های بزرگ، آموزش یک مدل از ابتدا (from scratch) فقط با دانش همان دامنه می‌تواند نتایج برتری به همراه داشته باشد.

علاوه بر این، تمرکز روزافزون بر هزینه‌های محاسباتی آموزش، منجر به طراحی معماری‌های بهینه‌تر مانند ELECTRA شده است. ELECTRAMed چارچوب یادگیری و مزایای محاسباتی معماری ELECTRA را به ارث می‌برد. آزمایش‌های انجام‌شده بر روی مجموعه داده‌های استاندارد برای وظایف مختلف NLP زیست‌پزشکی، کارایی ELECTRAMed را تأیید می‌کند. این مدل توانسته است رکورد جدیدی (state-of-the-art) در وظیفه تشخیص موجودیت‌های نام‌دار (Named Entity Recognition) بر روی مجموعه داده BC5CDR ثبت کند و در وظیفه پاسخ به سؤال (Question Answering) در چالش BioASQ-factoid نیز نتایج بسیار رقابتی و برتری ارائه دهد.

سنگ بنای روش‌شناسی این تحقیق، بهره‌گیری از معماری ELECTRA است که توسط گوگل معرفی شد. این معماری تفاوت بنیادینی با مدل‌های مبتنی بر “مدل‌سازی زبان نقاب‌دار” (Masked Language Modeling – MLM) مانند BERT دارد. درک این تفاوت، کلید درک نوآوری ELECTRAMed است.

• رویکرد BERT (MLM): در هر مرحله آموزش، حدود ۱۵٪ از کلمات ورودی به صورت تصادفی “نقاب‌دار” (masked) می‌شوند و مدل وظیفه دارد کلمات اصلی را پیش‌بینی کند. این روش مؤثر است، اما ناکارآمدی محاسباتی دارد، زیرا مدل فقط از ۱۵٪ کلمات سیگنال یادگیری دریافت می‌کند.
• رویکرد ELECTRA (RTD): این معماری از یک وظیفه جدید به نام “تشخیص توکن جایگزین‌شده” (Replaced Token Detection – RTD) استفاده می‌کند و شامل دو شبکه عصبی است:
  1. تولیدکننده (Generator): یک شبکه کوچک (شبیه به یک BERT کوچک) که وظیفه آن مشابه MLM است. این شبکه ورودی نقاب‌دار را گرفته و کلمات محتملی را برای جای خالی‌ها “تولید” می‌کند.
  2. تمایزدهنده (Discriminator): یک شبکه بزرگ‌تر و اصلی که ورودی آن، جمله کامل تولید شده توسط تولیدکننده است. وظیفه تمایزدهنده این است که برای هر کلمه در جمله، تشخیص دهد که آیا این کلمه، کلمه اصلی بوده یا یک کلمه “جعلی” است که توسط تولیدکننده جایگزین شده است.

مزیت اصلی این رویکرد در کارایی یادگیری است. تمایزدهنده (که مدل نهایی ELECTRA است) از تمام کلمات ورودی سیگنال یادگیری دریافت می‌کند، نه فقط از ۱۵٪ کلمات نقاب‌دار. این باعث می‌شود فرآیند پیش‌آموزش بسیار سریع‌تر و از نظر محاسباتی بهینه‌تر باشد و با داده‌های کمتر به نتایج بهتری دست یابد.

برای ساخت ELECTRAMed، نویسندگان این معماری را از ابتدا بر روی یک پیکره عظیم از متون زیست‌پزشکی (ترکیبی از چکیده مقالات PubMed و مقالات کامل PubMed Central) آموزش دادند. این تصمیم استراتژیک (آموزش از صفر) تضمین می‌کند که مدل به طور کامل با زبان و مفاهیم پیچیده حوزه پزشکی و زیست‌شناسی عجین می‌شود و تحت تأثیر دانش عمومی نامرتبط قرار نمی‌گیرد.

ارزیابی عملکرد ELECTRAMed بر روی وظایف استاندارد NLP زیست‌پزشکی، موفقیت این رویکرد را به وضوح نشان می‌دهد. دو دستاورد اصلی این مدل در مقاله برجسته شده‌اند:

1. تشخیص موجودیت‌های نام‌دار (Named Entity Recognition – NER):

   وظیفه NER در حوزه زیست‌پزشکی به معنای شناسایی و دسته‌بندی موجودیت‌هایی مانند نام بیماری‌ها، مواد شیمیایی، ژن‌ها و پروتئین‌ها در متن است. برای مثال، در جمله «داروی آسپرین برای درمان سردرد استفاده می‌شود»، مدل باید “آسپرین” را به عنوان یک ماده شیمیایی و “سردرد” را به عنوان یک بیماری شناسایی کند.

   نویسندگان، ELECTRAMed را بر روی مجموعه داده استاندارد BC5CDR (BioCreative V Chemical Disease Relation) ارزیابی کردند. نتایج نشان داد که ELECTRAMed توانست از تمامی مدل‌های پیشین، از جمله BioBERT و سایر مدل‌های مبتنی بر BERT، پیشی گرفته و یک رکورد جدید (State-of-the-Art) در این معیار به ثبت برساند. این یافته نشان‌دهنده توانایی بالای مدل در درک دقیق و ظریف اصطلاحات تخصصی پزشکی است.

2. پاسخ به سؤال (Question Answering – QA):

   در این وظیفه، مدل باید به سؤالات مبتنی بر واقعیت (Factoid) با استفاده از مجموعه‌ای از اسناد علمی پاسخ دهد. برای مثال، «کدام ژن‌ها با بیماری آلزایمر مرتبط هستند؟».

   عملکرد مدل در چالش معتبر BioASQ (نسخه ۷) سنجیده شد. ELECTRAMed توانست در ۲ مورد از ۵ اجرای این چالش، بهترین نتیجه را در میان تمام مدل‌های شرکت‌کننده کسب کند. این موفقیت، توانایی مدل در بازیابی و ترکیب اطلاعات از منابع متنی مختلف برای ارائه پاسخ‌های دقیق را نشان می‌دهد.

موفقیت ELECTRAMed فراتر از یک دستاورد آکادمیک است و کاربردهای عملی گسترده‌ای در دنیای واقعی پزشکی و تحقیقات زیستی دارد:

• تسریع تحقیقات علمی: پژوهشگران می‌توانند با استفاده از ابزارهای مبتنی بر ELECTRAMed، به سرعت ارتباطات بین ژن‌ها، بیماری‌ها و داروها را در میان میلیون‌ها مقاله علمی کشف کنند و فرضیه‌های جدیدی را برای آزمایش مطرح نمایند.
• پشتیبانی از تصمیم‌گیری بالینی: این مدل می‌تواند به پزشکان کمک کند تا با استخراج خودکار اطلاعات کلیدی از پرونده‌های الکترونیک سلامت بیماران (مانند علائم، تاریخچه بیماری و داروهای مصرفی)، تصمیمات درمانی بهتری اتخاذ کنند.
• فارماکوویژیلانس (نظارت بر ایمنی داروها): سیستم‌های مبتنی بر ELECTRAMed می‌توانند به طور خودکار گزارش‌های عوارض جانبی داروها را از متون علمی، انجمن‌های آنلاین بیماران و گزارش‌های بالینی شناسایی و تحلیل کنند.
• کشف دارو: با تحلیل انبوهی از داده‌های متنی، این مدل می‌تواند به شناسایی اهداف دارویی جدید و پیش‌بینی تعاملات بالقوه بین ترکیبات شیمیایی کمک کرده و فرآیند پرهزینه کشف دارو را بهینه‌سازی کند.

از منظر علمی، این مقاله دو دستاورد مهم دارد: اول، اثبات کارایی برتر معماری ELECTRA در یک دامنه تخصصی و پیچیده. دوم، ارائه شواهد محکم برای این نظریه که آموزش یک مدل از ابتدا بر روی داده‌های درون‌دامنه، می‌تواند به عملکردی بهتر از روش‌های متداول مبتنی بر تنظیم دقیق (fine-tuning) منجر شود.

مقاله “ELECTRAMed” یک گام مهم در تکامل مدل‌های زبانی برای حوزه زیست‌پزشکی به شمار می‌رود. این پژوهش با معرفی یک مدل جدید به نام ELECTRAMed، نشان داد که ترکیب یک معماری محاسباتی بهینه (ELECTRA) با استراتژی آموزش از ابتدا بر روی داده‌های تخصصی، می‌تواند به نتایجی پیشرو و رکوردشکن در وظایف کلیدی NLP منجر شود.

ELECTRAMed نه تنها در معیارهای استاندارد مانند تشخیص موجودیت‌های نام‌دار و پاسخ به سؤال عملکرد فوق‌العاده‌ای از خود نشان داد، بلکه راه را برای توسعه نسل جدیدی از ابزارهای هوشمند در حوزه پزشکی هموار کرد. این مدل‌ها به عنوان موتورهای قدرتمند تحلیل متن، پتانسیل آن را دارند که قفل دانش پنهان در اقیانوس متون زیست‌پزشکی را بگشایند و به طور مستقیم به پیشرفت‌های ملموس در سلامت انسان و تحقیقات علمی کمک کنند.