در سال‌های اخیر، مدل‌های زبانی بزرگ (LLMs) مانند خانواده GPT، انقلابی در حوزه هوش مصنوعی و پردازش زبان طبیعی (NLP) ایجاد کرده‌اند. این مدل‌ها با توانایی بی‌نظیر در درک و تولید متن شبه‌انسانی، کاربردهای گسترده‌ای یافته‌اند. با این حال، کارایی این مدل‌های همه‌منظوره در حوزه‌های تخصصی مانند زیست‌پزشکی با چالش‌های جدی روبرو است. زبان علمی و پزشکی سرشار از اصطلاحات پیچیده، روابط معنایی ظریف و نیازمند دقت و صحت بسیار بالاست. یک اشتباه کوچک در تفسیر یک گزارش پزشکی یا یک مقاله تحقیقاتی می‌تواند عواقب وخیمی به همراه داشته باشد.

مقاله «BioInstruct: Instruction Tuning of Large Language Models for Biomedical Natural Language Processing» به طور مستقیم به این چالش می‌پردازد. این تحقیق به جای آموزش مجدد یک مدل از ابتدا یا تغذیه آن با حجم عظیمی از داده‌های خام، رویکردی هوشمندانه‌تر و کارآمدتر به نام تنظیم دستوری (Instruction Tuning) را در حوزه زیست‌پزشکی معرفی می‌کند. اهمیت این مقاله در ارائه یک مجموعه داده تخصصی و عمومی به نام BioInstruct و اثبات این است که با آموزش مدل برای «انجام وظایف» به جای «حفظ اطلاعات»، می‌توان عملکرد آن را در کاربردهای زیست‌پزشکی به طور چشمگیری بهبود بخشید. این رویکرد، راه را برای توسعه ابزارهای هوش مصنوعی دقیق‌تر، قابل اعتمادتر و کارآمدتر در پزشکی و تحقیقات علوم زیستی هموار می‌کند.

این مقاله توسط تیمی از محققان برجسته در زمینه هوش مصنوعی و زبان‌شناسی محاسباتی به رشته تحریر درآمده است:

• Hieu Tran
• Zhichao Yang
• Zonghai Yao
• Hong Yu

زمینه تخصصی این پژوهش در تقاطع دو حوزه بسیار مهم قرار دارد: هوش مصنوعی (Artificial Intelligence) و پردازش زبان و محاسبات (Computation and Language). این تحقیق نمونه‌ای برجسته از کاربرد پیشرفته‌ترین تکنیک‌های هوش مصنوعی برای حل مسائل واقعی در دنیای زیست‌پزشکی است و نشان‌دهنده حرکت جامعه علمی به سمت ساخت مدل‌های هوشمند تخصصی (Domain-Specific) است.

هدف اصلی این مقاله، افزایش کارایی مدل‌های زبانی بزرگ در وظایف پردازش زبان طبیعی زیست‌پزشکی (BioNLP) است. برای دستیابی به این هدف، محققان یک مجموعه داده جدید و تخصصی به نام BioInstruct را ایجاد کردند که شامل ۲۵٬۰۰۵ دستورالعمل منحصربه‌فرد است. این دستورالعمل‌ها به مدل یاد می‌دهند که چگونه وظایف مختلفی مانند پاسخ به سؤالات پزشکی، استخراج اطلاعات از مقالات علمی یا خلاصه‌سازی سوابق بیمار را انجام دهد.

محققان با استفاده از این مجموعه داده، مدل‌های زبانی متن‌باز محبوب LLaMA 1 و LLaMA 2 (در نسخه‌های ۷ و ۱۳ میلیارد پارامتری) را با روشی کارآمد به نام LoRA تنظیم دقیق کردند. سپس عملکرد این مدل‌های تنظیم‌شده را در سه دسته اصلی از وظایف BioNLP ارزیابی کردند: پرسش و پاسخ (QA)، استخراج اطلاعات (IE) و تولید متن (GEN). نتایج نشان داد که تنظیم دستوری باعث بهبود چشمگیر عملکرد مدل‌ها در مقایسه با نسخه‌های پایه شده است. علاوه بر این، پژوهشگران دریافتند که هم‌افزایی بین وظایف مشابه، تأثیر قابل توجهی بر عملکرد دارد؛ یعنی آموزش مدل با دستورالعمل‌های یک دسته خاص (مثلاً QA)، عملکرد آن را در همان دسته به مراتب بیشتر بهبود می‌بخشد. این یافته‌ها اهمیت ایجاد مجموعه داده‌های دستوری تخصصی را برای حوزه‌های علمی برجسته می‌کند.

روش‌شناسی این تحقیق بر سه ستون اصلی استوار است: ایجاد یک مجموعه داده دستوری با کیفیت بالا، استفاده از تکنیک‌های تنظیم دقیق پارامتر-بهینه، و یک چارچوب ارزیابی جامع.

الف) ساخت مجموعه داده BioInstruct

قلب این پژوهش، مجموعه داده BioInstruct است. فرایند ساخت آن به شرح زیر بود:

• ایجاد هسته اولیه: در ابتدا، ۸۰ دستورالعمل زیست‌پزشکی با کیفیت بالا توسط متخصصان انسانی طراحی شد. این دستورالعمل‌ها به عنوان نمونه‌های اولیه یا “بذر” (Seed Samples) عمل کردند.
• تولید خودکار با GPT-4: سپس، محققان از یک تکنیک هوشمندانه استفاده کردند. آنها در هر مرحله، سه نمونه از دستورالعمل‌های اولیه را به صورت تصادفی انتخاب کرده و به عنوان ورودی به مدل قدرتمند GPT-4 می‌دادند. GPT-4 با الهام از این نمونه‌ها، دستورالعمل‌های جدید، متنوع و پیچیده‌تری در همان سبک و سیاق تولید می‌کرد.
• نتیجه نهایی: این فرایند منجر به تولید مجموعه داده‌ای غنی با ۲۵٬۰۰۵ دستورالعمل شد که طیف وسیعی از وظایف رایج در حوزه BioNLP را پوشش می‌دهد. هر دستورالعمل شامل یک ورودی (مثلاً یک پاراگراف از یک مقاله)، یک وظیفه مشخص (مثلاً “عوارض جانبی دارو را استخراج کن”) و یک خروجی مطلوب است.

ب) انتخاب مدل‌ها و تکنیک تنظیم دقیق

محققان مدل‌های پایه LLaMA 1 & 2 (7B & 13B) را برای تنظیم دقیق انتخاب کردند. به جای بازآموزی کامل این مدل‌های عظیم که نیازمند منابع محاسباتی فوق‌العاده‌ای است، آنها از تکنیک LoRA (Low-Rank Adaptation) استفاده کردند. LoRA یک روش تنظیم دقیق پارامتر-بهینه است که به جای تغییر تمام میلیاردها پارامتر مدل، فقط تعداد بسیار کمی پارامتر جدید و قابل آموزش را به لایه‌های کلیدی مدل اضافه می‌کند. این رویکرد به طور چشمگیری هزینه‌های محاسباتی و حافظه مورد نیاز را کاهش می‌دهد و در عین حال به نتایج بسیار خوبی دست می‌یابد.

ج) چارچوب ارزیابی

برای سنجش میزان بهبود، مدل‌های تنظیم‌شده بر روی مجموعه‌ای از وظایف استاندارد BioNLP آزمایش شدند که در سه گروه اصلی طبقه‌بندی می‌شوند:

• پرسش و پاسخ (Question Answering – QA): توانایی مدل در پاسخ به سؤالات بر اساس یک متن مرجع. برای مثال، “بر اساس این چکیده، مکانیسم اثر داروی ایبوپروفن چیست؟”
• استخراج اطلاعات (Information Extraction – IE): شناسایی و استخراج اطلاعات ساختاریافته از متن بدون ساختار. برای مثال، “در این گزارش بالینی، تمامی اسامی داروها و دوز مصرفی آنها را استخراج کن.”
• تولید متن (Text Generation – GEN): وظایفی مانند خلاصه‌سازی، بازنویسی یا ساده‌سازی متون پیچیده پزشکی. برای مثال، “این پاراگراف از مقاله علمی را به زبانی ساده برای یک بیمار توضیح بده.”

نتایج این تحقیق، موفقیت رویکرد تنظیم دستوری را به وضوح نشان می‌دهد و حاوی چند یافته کلیدی است:

الف) بهبود چشمگیر عملکرد

مدل‌های تنظیم‌شده با BioInstruct در مقایسه با مدل‌های پایه LLaMA، پیشرفت قابل توجهی در تمام دسته‌های وظایف از خود نشان دادند:

• در وظایف پرسش و پاسخ (QA)، به طور میانگین ۱۷.۳٪ بهبود عملکرد مشاهده شد.
• در وظایف استخراج اطلاعات (IE)، بهبود ۵.۷٪ ثبت گردید.
• و در وظایف تولید متن (GEN)، یک جهش فوق‌العاده ۹۶٪ در عملکرد به دست آمد. این رشد خیره‌کننده نشان می‌دهد که تنظیم دستوری، توانایی مدل را برای تولید متون مرتبط، دقیق و ساختاریافته در حوزه زیست‌پزشکی به شدت افزایش می‌دهد.

ب) رقابت‌پذیری با مدل‌های بزرگ‌تر و پیچیده‌تر

یکی از شگفت‌انگیزترین نتایج این بود که مدل ۷ میلیارد پارامتری LLaMA 1 که با BioInstruct تنظیم شده بود، عملکردی رقابتی و در برخی موارد حتی بهتر از سایر مدل‌های زیست‌پزشکی داشت که آنها نیز بر پایه LLaMA 1 ساخته شده بودند اما با حجم داده‌های بسیار بیشتر یا طیف وسیع‌تری از وظایف آموزش دیده بودند. این یافته نشان می‌دهد که کیفیت و تنوع دستورالعمل‌ها می‌تواند از کمیت صرف داده‌های خام مهم‌تر باشد.

ج) هم‌افزایی وظایف (Task Synergy)

این تحقیق یک اصل مهم از یادگیری چندوظیفه‌ای (Multi-task Learning) را تأیید کرد. زمانی که مدل برای یک دسته خاص از وظایف (مثلاً QA) با دستورالعمل‌های همان دسته تنظیم دقیق می‌شد، عملکرد آن در آزمون‌های مربوط به همان دسته به طور معناداری بهتر از زمانی بود که با ترکیبی از دستورالعمل‌های متنوع (از هر سه دسته) آموزش می‌دید. این پدیده که هم‌افزایی وظایف نامیده می‌شود، نشان می‌دهد که وظایف مرتبط از دانش و مهارت‌های مشترکی بهره می‌برند و تمرکز آموزش بر روی آنها می‌تواند به تسلط عمیق‌تر مدل منجر شود.

این مقاله فراتر از یک پژوهش نظری، دستاوردهای عملی و کاربردی مهمی را به ارمغان می‌آورد:

• منابع آزاد برای جامعه علمی: مجموعه داده BioInstruct به عنوان یک منبع ارزشمند و عمومی در اختیار سایر محققان قرار گرفته است. این امر به تسریع تحقیقات و توسعه ابزارهای جدید در حوزه BioNLP کمک شایانی می‌کند.
• ایجاد ابزارهای هوشمند پزشکی: مدل‌های توسعه‌یافته در این تحقیق می‌توانند هسته اصلی نسل جدیدی از برنامه‌های کاربردی در حوزه سلامت و پزشکی باشند. برخی از این کاربردها عبارتند از:
  • سیستم‌های پشتیبان تصمیم‌گیری بالینی: کمک به پزشکان برای تحلیل سریع سوابق بیمار و یافتن آخرین تحقیقات مرتبط.
  • اتوماسیون تحقیقات دارویی: تحلیل هزاران مقاله علمی برای شناسایی ارتباطات بین ژن‌ها، بیماری‌ها و داروها.
  • ارتباط بهتر با بیمار: ساده‌سازی اطلاعات پیچیده پزشکی برای درک بهتر توسط بیماران.
  • خودکارسازی مستندسازی پزشکی: تولید پیش‌نویس گزارش‌های پزشکی، خلاصه‌های ترخیص و نامه‌های ارجاع.
• دموکراتیزه کردن هوش مصنوعی تخصصی: با اثبات کارایی روش LoRA، این مقاله نشان می‌دهد که برای ساخت مدل‌های تخصصی قدرتمند، لزوماً نیازی به منابع محاسباتی در سطح شرکت‌های بزرگ فناوری نیست. این امر به آزمایشگاه‌ها و مراکز تحقیقاتی کوچک‌تر نیز اجازه می‌دهد تا مدل‌های هوش مصنوعی متناسب با نیازهای خود را توسعه دهند.

مقاله BioInstruct یک گام مهم رو به جلو در تطبیق مدل‌های زبانی بزرگ برای حوزه‌های تخصصی است. این تحقیق به طور قانع‌کننده‌ای نشان می‌دهد که تنظیم دستوری هدفمند و باکیفیت، یک استراتژی بسیار مؤثر و کارآمد برای غلبه بر چالش‌های زبان تخصصی زیست‌پزشکی است. مجموعه داده BioInstruct به عنوان یک میراث ارزشمند، بستری برای نوآوری‌های آینده فراهم می‌کند و یافته‌های مربوط به هم‌افزایی وظایف، بینش‌های جدیدی را برای طراحی روش‌های آموزشی بهتر ارائه می‌دهد. در نهایت، این پژوهش مسیر را برای توسعه نسل بعدی ابزارهای هوش مصنوعی که می‌توانند به عنوان دستیاران هوشمند و قابل اعتماد در کنار پزشکان، محققان و بیماران قرار گیرند، روشن‌تر می‌سازد.