فرآیند تأیید و عرضه تجهیزات پزشکی به بازار، یکی از حساس‌ترین و پیچیده‌ترین مراحل در حوزه سلامت است. سازمان غذا و داروی ایالات متحده (FDA) مسئولیت دارد تا اطمینان حاصل کند که هر دستگاه پزشکی جدید، پیش از رسیدن به دست مصرف‌کنندگان، ایمن و مؤثر است. یکی از چالش‌های اصلی در این فرآیند، طبقه‌بندی دقیق دستگاه‌های جدید بر اساس توضیحات فنی آن‌ها و تطبیقشان با دسته‌بندی‌های موجود در مقررات فدرال است. این کار به صورت سنتی نیازمند جستجوی دستی توسط کارشناسان در میان هزاران نوع دستگاه تعریف‌شده است که فرآیندی زمان‌بر، پرهزینه و مستعد خطای انسانی است.

مقاله حاضر با عنوان «استفاده از مدل‌های زبانی بزرگ از پیش‌آموزش‌دیده برای کمک به FDA در ارزیابی پیش از عرضه تجهیزات پزشکی» که توسط Zongzhe Xu ارائه شده، راهکاری نوآورانه مبتنی بر هوش مصنوعی و پردازش زبان طبیعی (NLP) برای حل این چالش پیشنهاد می‌کند. اهمیت این تحقیق در پتانسیل آن برای تسریع فرآیند تأیید تجهیزات پزشکی، افزایش دقت و ثبات در طبقه‌بندی و کاهش بار کاری کارشناسان FDA نهفته است. در نهایت، این پیشرفت می‌تواند به دسترسی سریع‌تر بیماران به فناوری‌های نوین پزشکی منجر شود.

این مقاله توسط Zongzhe Xu به نگارش درآمده و در حوزه تلاقی دو رشته کلیدی علوم کامپیوتر منتشر شده است: هوش مصنوعی (Artificial Intelligence) و محاسبات و زبان (Computation and Language). این پژوهش نمونه‌ای برجسته از کاربرد عملی مدل‌های زبانی پیشرفته در یک حوزه تخصصی و قانون‌گذاری‌شده مانند علوم پزشکی و رگولاتوری است. نویسنده با بهره‌گیری از آخرین دستاوردهای حوزه پردازش زبان طبیعی، به دنبال حل یک مشکل واقعی در دنیای رگولاتوری سلامت است و نشان می‌دهد که چگونه هوش مصنوعی می‌تواند به عنوان یک ابزار کمکی قدرتمند در کنار متخصصان انسانی قرار گیرد.

هدف اصلی این پژوهش، ارزیابی کارایی مدل‌های مختلف پردازش زبان طبیعی در خودکارسازی فرآیند طبقه‌بندی تجهیزات پزشکی است. در این تحقیق، توضیحات واقعی دستگاه‌های پزشکی به عنوان ورودی به مدل‌ها داده می‌شود و مدل‌ها وظیفه دارند تا از میان ۲۵۸۵ نوع دستگاه تعریف‌شده در بخش ۲۱ از مقررات فدرال FDA، نزدیک‌ترین و صحیح‌ترین دسته‌بندی را پیدا کنند.

این مقاله به مقایسه عملکرد چندین نسل از مدل‌های NLP می‌پردازد:

• مدل‌های تعبیه‌سازی کلمه (Word Embeddings): مانند FastText که کلمات را به بردارهای عددی تبدیل می‌کنند.
• مدل‌های تعبیه‌سازی جمله (Sentence Embeddings): مانند ترنسفورمرهای جمله (T5 و MPNet) که معنای کل جمله یا پاراگراف را درک می‌کنند.
• مدل‌های زبانی بزرگ (LLMs): مانند جستجوی معنایی مبتنی بر GPT-3 که از پیشرفته‌ترین تکنیک‌ها برای درک شباهت معنایی بهره می‌برند.

علاوه بر این، یک آزمایش جانبی برای سنجش توانایی این مدل‌ها در شناسایی دستگاه‌هایی که در پایگاه داده FDA به اشتباه طبقه‌بندی شده‌اند نیز انجام شده است. نتایج نشان می‌دهد که مدل‌های پیشرفته‌تر، موفقیت چشمگیری در کاهش فضای جستجو برای کارشناسان دارند، اما در تشخیص خطاهای طبقه‌بندی بسیار ظریف با چالش مواجه هستند.

روش تحقیق این مقاله بر پایه یک چارچوب آزمایشی دقیق برای ارزیابی مدل‌های مختلف NLP بنا شده است. این فرآیند شامل چند مرحله کلیدی است:

۱. آماده‌سازی داده‌ها: داده‌های اصلی از دو منبع تأمین شده‌اند. اول، توضیحات واقعی و فنی دستگاه‌های پزشکی که برای تأیید به FDA ارسال شده‌اند. دوم، پایگاه داده رسمی FDA (Title 21 of CFR) که شامل توضیحات استاندارد برای ۲۵۸۵ نوع دستگاه پزشکی است. چالش اصلی، تطبیق معنایی یک توصیف جدید و منحصر به فرد با یکی از این ۲۵۸۵ کلاس از پیش‌تعریف‌شده است.

۲. مدل‌های ارزیابی‌شده:

• FastText: این مدل، یک روش کلاسیک برای تعبیه‌سازی کلمات است. در این روش، بردار میانگین کلمات موجود در توضیحات دستگاه محاسبه شده و با بردار میانگین توضیحات هر کلاس در پایگاه داده مقایسه می‌شود. این روش سریع است اما قادر به درک ساختار و مفهوم پیچیده جملات نیست.
• ترنسفورمرهای جمله (T5 و MPNet): این مدل‌ها نماینده نسل جدیدتری از NLP هستند. آن‌ها به جای تمرکز بر کلمات منفرد، کل متن توصیف دستگاه را به یک بردار عددی واحد (تعبیه‌سازی جمله) تبدیل می‌کنند که حاوی اطلاعات زمینه‌ای و معنایی غنی‌تری است. این ویژگی باعث می‌شود مقایسه شباهت بسیار دقیق‌تر انجام شود.
• جستجوی معنایی GPT-3: این روش از یکی از قدرتمندترین مدل‌های زبانی بزرگ موجود استفاده می‌کند. GPT-3 توضیحات ورودی و هر یک از کلاس‌های FDA را به بردارهایی در یک فضای معنایی بسیار پیچیده نگاشت می‌کند. سپس با محاسبه فاصله کسینوسی بین این بردارها، نزدیک‌ترین کلاس‌ها را به عنوان محتمل‌ترین گزینه‌ها معرفی می‌کند.

۳. طراحی آزمایش: دو آزمایش اصلی طراحی و اجرا شد:

• آزمایش اول (دقت طبقه‌بندی): در این آزمایش، به هر مدل، توضیحات یک دستگاه جدید داده شد و از آن خواسته شد تا لیستی از محتمل‌ترین کلاس‌ها را برگرداند. معیار موفقیت این بود که آیا کلاس صحیح در میان نتایج برتر (مثلاً ۱۵ نتیجه اول) قرار می‌گیرد یا خیر.
• آزمایش دوم (شناسایی خطا): در این بخش، دستگاه‌هایی که عمداً یا سهواً در پایگاه داده FDA برچسب اشتباه خورده بودند، به مدل‌ها ارائه شد. این آزمایش خود به دو بخش تقسیم شد: شناسایی خطاهای فاحش (مثلاً طبقه‌بندی یک دستگاه جراحی به عنوان یک دستگاه تصویربرداری) و شناسایی خطاهای ظریف (مثلاً طبقه‌بندی یک نوع کاتتر به عنوان نوع دیگری از کاتتر که بسیار شبیه است).

نتایج این پژوهش، هم امیدوارکننده و هم روشنگر محدودیت‌های فعلی هوش مصنوعی است:

• موفقیت چشمگیر در محدود کردن فضای جستجو: مدل‌های پیشرفته‌تر، به ویژه ترنسفورمرهای جمله (T5 و MPNet) و GPT-3، عملکرد فوق‌العاده‌ای داشتند. اگرچه این مدل‌ها همیشه کلاس صحیح را به عنوان اولین گزینه معرفی نمی‌کردند، اما با دقت بسیار بالایی موفق شدند برچسب صحیح را در میان ۱۵ نتیجه محتمل اول قرار دهند. این یک دستاورد بزرگ است، زیرا حجم کار یک کارشناس انسانی را از بررسی ۲۵۸۵ گزینه به تنها ۱۵ گزینه کاهش می‌دهد که به معنای صرفه‌جویی عظیم در زمان و انرژی است.
• توانایی بالا در شناسایی خطاهای فاحش: تمامی مدل‌های آزمایش‌شده، از FastText تا GPT-3، توانستند با دقت بالایی دستگاه‌هایی را که به شکلی کاملاً اشتباه طبقه‌بندی شده بودند، شناسایی کنند. این قابلیت می‌تواند برای ممیزی و پاک‌سازی پایگاه‌های داده موجود بسیار مفید باشد.
• ناتوانی در تشخیص خطاهای ظریف: این مهم‌ترین نقطه ضعف شناسایی‌شده در تحقیق بود. هیچ‌کدام از مدل‌ها نتوانستند طبقه‌بندی‌های اشتباهی را که در آن‌ها برچسب نادرست به یک دستگاه بسیار مشابه با برچسب صحیح اختصاص داده شده بود، تشخیص دهند. برای مثال، اگر یک نوع خاص از استنت قلبی به اشتباه به عنوان نوع دیگری از استنت قلبی طبقه‌بندی شده بود، مدل‌ها به دلیل شباهت معنایی بسیار زیاد، قادر به تشخیص این خطا نبودند. این یافته نشان می‌دهد که درک تفاوت‌های بسیار جزئی و تخصصی همچنان یک چالش برای مدل‌های زبانی عمومی است.

این تحقیق پیامدهای عملی مهمی برای آینده فرآیندهای رگولاتوری دارد:

۱. ابزار کمک به تصمیم‌گیری برای کارشناسان FDA: اصلی‌ترین کاربرد این سیستم، ایجاد یک ابزار هوشمند برای کمک به بازبینان FDA است. این ابزار می‌تواند به سرعت لیستی کوتاه و اولویت‌بندی‌شده از محتمل‌ترین دسته‌بندی‌ها را برای یک دستگاه جدید ارائه دهد و فرآیند تصمیم‌گیری را به شدت تسریع کند.

۲. افزایش ثبات و یکپارچگی: با استفاده از یک سیستم خودکار، می‌توان از اعمال سلیقه‌های فردی کاست و اطمینان حاصل کرد که دستگاه‌های مشابه در زمان‌های مختلف و توسط بازبینان متفاوت، به صورت یکسان طبقه‌بندی می‌شوند.

۳. پتانسیل برای ممیزی خودکار: قابلیت شناسایی خطاهای فاحش می‌تواند به عنوان یک ابزار اولیه برای بررسی و اصلاح پایگاه داده عظیم FDA به کار گرفته شود و به بهبود کیفیت داده‌های موجود کمک کند.

۴. گامی به سوی رگولاتوری هوشمند: این پژوهش راه را برای توسعه سیستم‌های هوش مصنوعی پیچیده‌تر در حوزه رگولاتوری هموار می‌کند، جایی که دقت، سرعت و شفافیت از اهمیت بالایی برخوردار است.

این مقاله به طور مؤثری نشان می‌دهد که مدل‌های زبانی بزرگ و مدرن، پتانسیل بالایی برای تحول در فرآیندهای پیچیده و مبتنی بر متن، مانند طبقه‌بندی تجهیزات پزشکی در FDA، دارند. دستاورد اصلی این تحقیق، اثبات امکان کاهش چشمگیر فضای جستجو برای کارشناسان از هزاران گزینه به تنها چند ده گزینه است که یک بهبود کارایی قابل توجه محسوب می‌شود.

با این حال، این پژوهش با شفافیت به محدودیت‌های فعلی نیز اشاره می‌کند: ناتوانی در تشخیص تفاوت‌های بسیار ظریف و تخصصی میان دسته‌های نزدیک به هم. این محدودیت نشان می‌دهد که در حال حاضر، این سیستم‌ها باید به عنوان ابزارهای کمکی قدرتمند در کنار تخصص انسانی دیده شوند، نه جایگزین کامل آن. برای آینده، تحقیقات می‌تواند بر روی «تنظیم دقیق» (Fine-tuning) این مدل‌های زبانی بر روی داده‌های تخصصی پزشکی و رگولاتوری متمرکز شود تا توانایی آن‌ها در درک تفاوت‌های جزئی افزایش یابد و گامی دیگر به سوی خودکارسازی هوشمند و ایمن برداشته شود.