در سال‌های اخیر، حوزه پردازش زبان طبیعی (NLP) با ظهور مدل‌های زبانی بزرگ مبتنی بر معماری ترانسفورمر، مانند BERT، انقلابی شگرف را تجربه کرده است. این مدل‌ها توانایی درک عمیق و استخراج اطلاعات پیچیده از متون را دارند. در حوزه تخصصی زیست‌پزشکی، که با حجم عظیمی از مقالات علمی، گزارش‌های بالینی و داده‌های ژنتیکی سروکار دارد، مدل‌های آموزش‌دیده بر روی این داده‌ها، مانند BioBERT، به نتایج چشمگیری در وظایفی چون تشخیص موجودیت‌های نام‌دار (Named Entity Recognition)، تحلیل احساسات و پاسخ به پرسش دست یافته‌اند.

با این حال، این پیشرفت با یک چالش بزرگ همراه بوده است: مدل‌های زبانی بزرگ از نظر محاسباتی بسیار سنگین هستند. اندازه بزرگ، تعداد پارامترهای میلیونی (و حتی میلیاردی)، و نیاز به سخت‌افزارهای گران‌قیمت مانند پردازنده‌های گرافیکی (GPU) قدرتمند، استفاده عملی از آن‌ها را در بسیاری از کاربردهای واقعی، به‌ویژه در محیط‌های بالینی با منابع محدود، دشوار می‌سازد. این مقاله با عنوان «On the Effectiveness of Compact Biomedical Transformers» دقیقاً به همین چالش می‌پردازد و اهمیت آن در ارائه راهکارهایی برای ساخت مدل‌های زیست‌پزشکی کارآمد، سریع و سبک نهفته است که بدون افت قابل‌توجه در عملکرد، قابل استفاده بر روی سخت‌افزارهای معمولی باشند.

این مقاله حاصل همکاری تیمی از پژوهشگران برجسته در حوزه یادگیری ماشین و پردازش زبان طبیعی است:

• امید روحانیان (Omid Rohanian)
• محمدمهدی نوری برجی (Mohammadmahdi Nouriborji)
• سمانه کوچکی (Samaneh Kouchaki)
• دیوید کلیفتون (David A. Clifton)

این تحقیق در تقاطع دو حوزه کلیدی «محاسبات و زبان» (Computation and Language) و «یادگیری ماشین» (Machine Learning) قرار می‌گیرد. تمرکز نویسندگان بر انطباق تکنیک‌های پیشرفته فشرده‌سازی مدل، که در جامعه عمومی NLP توسعه یافته‌اند، برای دامنه تخصصی و حیاتی زیست‌پزشکی است. این رویکرد نشان‌دهنده تلاشی برای کاربردی‌سازی هوش مصنوعی پیشرفته در دنیای واقعی پزشکی و علوم زیستی است.

محور اصلی این مقاله، معرفی و ارزیابی شش مدل ترانسفورمر سبک‌وزن و فشرده است که به طور خاص برای حوزه زیست‌پزشکی طراحی شده‌اند. نویسندگان استدلال می‌کنند که با وجود عملکرد بالای مدل‌هایی مانند BioBERT، هزینه محاسباتی آن‌ها مانعی جدی برای پذیرش گسترده است. برای غلبه بر این مشکل، آن‌ها از تکنیک‌های فشرده‌سازی مدل مانند تقطیر دانش (Knowledge Distillation) و یادگیری مداوم (Continual Learning) بهره برده‌اند.

مدل‌های معرفی‌شده در این مقاله عبارتند از:

• BioDistilBERT
• BioTinyBERT
• BioMobileBERT
• DistilBioBERT
• TinyBioBERT
• CompactBioBERT

این مدل‌ها یا از طریق تقطیر دانش از یک مدل «معلم» زیست‌پزشکی (مانند BioBERT) به یک مدل «دانش‌آموز» کوچک‌تر ایجاد شده‌اند، یا با ادامه آموزش یک مدل فشرده عمومی بر روی مجموعه داده‌های عظیم زیست‌پزشکی مانند PubMed با هدف مدل‌سازی زبان ماسک‌شده (MLM) به دست آمده‌اند. هدف نهایی، ساخت مدل‌هایی است که به طور قابل‌توجهی کوچک‌تر و سریع‌تر از BioBERT باشند، اما عملکردی نزدیک و قابل رقابت با آن در وظایف下游 (downstream tasks) زیست‌پزشکی ارائه دهند. نویسندگان با ارزیابی این شش مدل در سه تسک استاندارد، کارایی و اثربخشی رویکرد خود را به نمایش می‌گذارند.

پژوهشگران در این مقاله از دو استراتژی اصلی برای ساخت مدل‌های فشرده خود استفاده کرده‌اند:

الف) تقطیر دانش (Knowledge Distillation)

تقطیر دانش یک تکنیک قدرتمند در فشرده‌سازی مدل است که در آن یک مدل بزرگ و پیچیده (معلم) دانش خود را به یک مدل کوچک‌تر و سریع‌تر (دانش‌آموز) منتقل می‌کند. این فرآیند فراتر از یادگیری برچسب‌های صحیح است. مدل دانش‌آموز یاد می‌گیرد که توزیع احتمال خروجی‌های نرم (soft labels) و همچنین بازنمایی‌های داخلی مدل معلم را تقلید کند. این کار به دانش‌آموز اجازه می‌دهد تا «منطق» و الگوهای ظریفی را که معلم در طول آموزش خود فراگرفته است، به ارث ببرد.

در این مقاله، دو رویکرد مبتنی بر تقطیر دانش به کار گرفته شده است:

• تقطیر از معلم زیست‌پزشکی: در این روش، مدل‌های از پیش فشرده‌شده عمومی (مانند DistilBERT یا TinyBERT) به عنوان دانش‌آموز انتخاب شده و BioBERT نقش معلم را ایفا می‌کند. فرآیند تقطیر بر روی داده‌های زیست‌پزشکی انجام می‌شود تا دانش تخصصی این حوزه به مدل کوچک‌تر منتقل شود. مدل‌های BioDistilBERT، BioTinyBERT و BioMobileBERT با این روش ساخته شده‌اند.
• یادگیری مداوم پس از تقطیر: در این سناریو، یک مدل فشرده عمومی (که قبلاً از یک معلم عمومی مانند BERT تقطیر شده) انتخاب شده و سپس بر روی مجموعه داده‌های زیست‌پزشکی (مانند PubMed) با هدف مدل‌سازی زبان ماسک‌شده (MLM) به طور مداوم آموزش داده می‌شود. این روش به مدل اجازه می‌دهد تا خود را با واژگان و ساختارهای زبانی حوزه جدید تطبیق دهد. مدل‌های DistilBioBERT و TinyBioBERT نمونه‌هایی از این رویکرد هستند.

ب) یادگیری مداوم و مدل‌سازی زبان ماسک‌شده (MLM)

هدف مدل‌سازی زبان ماسک‌شده (Masked Language Modeling) یکی از اهداف اصلی پیش‌آموزشی مدل‌های ترانسفورمر مانند BERT است. در این فرآیند، بخشی از کلمات یک جمله به صورت تصادفی ماسک‌گذاری (پنهان) می‌شوند و مدل باید بتواند کلمات اصلی را از روی کلمات اطراف (بافت) پیش‌بینی کند. با انجام این کار بر روی میلیاردها کلمه از متون زیست‌پزشکی، مدل درک عمیقی از اصطلاحات، روابط معنایی و ساختارهای نحوی این حوزه تخصصی پیدا می‌کند. این روش به خصوص برای تطبیق مدل‌های عمومی با یک دامنه خاص بسیار مؤثر است.

ج) ارزیابی عملکرد

برای سنجش اثربخشی مدل‌های فشرده، نویسندگان آن‌ها را بر روی سه وظیفه استاندارد در حوزه NLP زیست‌پزشکی ارزیابی کرده و نتایج را با مدل پایه قدرتمند، یعنی BioBERT-v1.1، مقایسه نموده‌اند. این ارزیابی جامع نشان می‌دهد که مدل‌های سبک‌وزن تا چه حد توانسته‌اند تعادل مطلوبی بین کارایی (سرعت و اندازه) و دقت (عملکرد) برقرار کنند.

مهم‌ترین یافته این پژوهش این است که می‌توان مدل‌های زبانی زیست‌پزشکی را به طور قابل‌توجهی فشرده کرد بدون آنکه عملکرد آن‌ها به شدت کاهش یابد. نتایج تجربی نشان داد که مدل‌های سبک‌وزن معرفی‌شده در این مقاله، عملکردی هم‌تراز (on par) با همتای بزرگ‌تر خود، BioBERT، دارند.

• حفظ عملکرد بالا: مدل‌های فشرده توانستند در وظایف ارزیابی‌شده، درصدی بسیار نزدیک (مثلاً ۹۵٪ تا ۹۸٪) به دقت BioBERT را کسب کنند. این امر ثابت می‌کند که دانش حیاتی موجود در مدل‌های بزرگ را می‌توان با موفقیت به معماری‌های کوچک‌تر منتقل کرد.
• کاهش چشمگیر حجم و افزایش سرعت: این مدل‌ها به طور متوسط چندین برابر کوچک‌تر از BioBERT هستند. برای مثال، یک مدل فشرده ممکن است تنها ۳۰٪ تا ۵۰٪ از پارامترهای مدل اصلی را داشته باشد. این کاهش حجم منجر به افزایش چشمگیر سرعت استنتاج (inference) می‌شود که برای کاربردهای آنی و تعاملی حیاتی است.
• برتری روش‌های مختلف فشرده‌سازی: مقاله نشان می‌دهد که هر دو رویکرد (تقطیر مستقیم از معلم زیست‌پزشکی و یادگیری مداوم مدل‌های عمومی) نتایج امیدوارکننده‌ای به همراه دارند، که این امر به محققان و توسعه‌دهندگان انعطاف‌پذیری بیشتری برای انتخاب روش مناسب بر اساس منابع و نیازهایشان می‌دهد.

دستاورد این مقاله فراتر از یک پیشرفت آکادمیک است و پیامدهای عملی گسترده‌ای برای حوزه بهداشت و درمان دیجیتال دارد:

• دموکراتیزه کردن هوش مصنوعی در پزشکی: با ارائه مدل‌های سبک، امکان اجرای سیستم‌های پیشرفته NLP بر روی دستگاه‌های با منابع محدود مانند کامپیوترهای شخصی استاندارد، لپ‌تاپ‌ها یا حتی دستگاه‌های تلفن همراه فراهم می‌شود. این امر استفاده از این فناوری‌ها را در کلینیک‌ها، بیمارستان‌ها و آزمایشگاه‌هایی که به زیرساخت‌های محاسباتی گران‌قیمت دسترسی ندارند، ممکن می‌سازد.
• کاربردهای آنی و بالینی: سرعت بالای استنتاج این مدل‌ها راه را برای توسعه ابزارهای پشتیبانی تصمیم‌گیری بالینی آنی (real-time clinical decision support)، تحلیل سریع گزارش‌های پزشکی برای استخراج اطلاعات کلیدی، و ساخت چت‌بات‌های هوشمند برای پاسخگویی به بیماران هموار می‌کند.
• کاهش هزینه‌ها: نیاز کمتر به منابع محاسباتی به معنای کاهش هزینه‌های انرژی و سرور است. این موضوع برای سازمان‌هایی که قصد دارند از این مدل‌ها در مقیاس بزرگ استفاده کنند، یک مزیت اقتصادی قابل‌توجه محسوب می‌شود.
• ترویج علم باز (Open Science): یکی از بزرگترین دستاوردهای این تحقیق، در دسترس قرار دادن تمامی مدل‌های آموزش‌دیده و کدهای مربوط به آزمایش‌ها برای عموم است. نویسندگان مدل‌های خود را بر روی پلتفرم محبوب Hugging Face و کدها را در GitHub منتشر کرده‌اند. این اقدام به شفافیت، بازتولیدپذیری نتایج و تسریع تحقیقات آینده در این زمینه کمک شایانی می‌کند.

مقاله «On the Effectiveness of Compact Biomedical Transformers» با موفقیت نشان می‌دهد که شکاف میان عملکرد بالای مدل‌های زبانی بزرگ و نیاز عملی به راه‌حل‌های کارآمد و مقرون‌به‌صرفه قابل پر کردن است. این پژوهش ثابت می‌کند که تکنیک‌های فشرده‌سازی مدل، به‌ویژه تقطیر دانش، در حوزه تخصصی و پیچیده زیست‌پزشکی بسیار مؤثر هستند.

با معرفی شش مدل فشرده که عملکردی قابل رقابت با BioBERT دارند، این مقاله گامی مهم در جهت کاربردی‌سازی ابزارهای پیشرفته هوش مصنوعی در علوم زیستی و پزشکی برداشته است. این مدل‌های سبک‌وزن نه تنها راه را برای نوآوری‌های جدید در تشخیص، درمان و تحقیقات پزشکی هموار می‌کنند، بلکه دسترسی به این فناوری‌های قدرتمند را برای طیف وسیع‌تری از محققان و متخصصان در سراسر جهان ممکن می‌سازند.