مقاله حاضر به بررسی و اعتبارسنجی یک مدل نوین هوش مصنوعی به نام GAN-BioBERT می‌پردازد. این مدل به منظور ارزیابی و شناسایی روندهای گزارش‌دهی مغرضانه در کارآزمایی‌های بالینی طراحی شده است. اهمیت این تحقیق در توانایی آن برای بهبود شفافیت و قابلیت اعتماد نتایج کارآزمایی‌های بالینی نهفته است، که به طور مستقیم بر تصمیم‌گیری‌های بالینی و سلامت عمومی تاثیر می‌گذارد.

این پژوهش توسط تیمی از محققان به رهبری Joshua J Myszewski، Emily Klossowski، Patrick Meyer، Kristin Bevil، Lisa Klesius و Kristopher M Schroeder انجام شده است. این محققان در زمینه‌های محاسبات و زبان‌شناسی، یادگیری ماشین و پزشکی بالینی تخصص دارند. هدف آن‌ها ارائه یک ابزار خودکار و دقیق برای شناسایی سوگیری‌های احتمالی در گزارش‌دهی کارآزمایی‌های بالینی بوده است.

مسئله گزارش‌دهی مغرضانه در تحقیقات بالینی، موضوعی است که در دهه گذشته به طور گسترده مورد بحث قرار گرفته است. با این حال، ابزارهای کمی برای ارزیابی سیستماتیک اظهارات کیفی در این تحقیقات توسعه یافته‌اند. مطالعات پیشین اغلب به ارزیابان متخصص متکی بوده‌اند که محدودیت‌هایی از نظر مقیاس و سرعت به همراه داشته است. تلاش‌های قبلی برای توسعه ابزارهای بزرگتر با استفاده از پردازش زبان طبیعی (NLP) نیز با محدودیت‌هایی در دقت و تعداد دسته‌های مورد استفاده برای طبقه‌بندی یافته‌ها مواجه بوده‌اند.

مقاله حاضر، الگوریتم طبقه‌بندی GAN-BioBERT را معرفی می‌کند که هدف آن غلبه بر محدودیت‌های پیشین است. این الگوریتم با دقت بالا و جزئیات کافی طراحی شده تا بتواند به‌طور گسترده برای ارزیابی احساسات کیفی بیان شده در چکیده‌های کارآزمایی‌های بالینی مورد استفاده قرار گیرد. این مطالعه همچنین عملکرد GAN-BioBERT را با نتایج مطالعات قبلی و ارزیابی‌های دستی متخصصان مقایسه می‌کند.

GAN-BioBERT یک الگوریتم طبقه‌بندی احساسات سه کلاسه برای چکیده‌های کارآزمایی‌های بالینی است که از یک مدل پردازش زبان طبیعی نیمه‌نظارتی مبتنی بر مدل Bidirectional Encoder Representation from Transformers (BERT) استفاده می‌کند. این مدل با استفاده از مجموعه داده‌ای از چکیده‌های کارآزمایی‌های بالینی که توسط گروهی از متخصصان در پزشکی دانشگاهی حاشیه‌نویسی شده‌اند، آموزش داده شده است.

روش‌شناسی این تحقیق شامل مراحل زیر است:

• جمع‌آوری داده‌ها: جمع‌آوری مجموعه داده‌ای از چکیده‌های کارآزمایی‌های بالینی.
• حاشیه‌نویسی داده‌ها: حاشیه‌نویسی چکیده‌ها توسط متخصصان پزشکی برای تعیین احساسات (مثبت، منفی، خنثی) بیان شده در آنها. این مرحله شامل ارزیابی دقیق و دستی توسط متخصصان بوده و به عنوان مرجع طلایی برای آموزش و ارزیابی مدل استفاده شده است.
• توسعه مدل GAN-BioBERT: طراحی و پیاده‌سازی مدل GAN-BioBERT بر اساس معماری BERT، به منظور بهره‌گیری از دانش زبان‌شناختی موجود و ارتقاء دقت طبقه‌بندی. GAN (Generative Adversarial Network) در اینجا به بهبود عملکرد مدل کمک می کند.
• آموزش و اعتبارسنجی مدل: آموزش مدل با استفاده از داده‌های حاشیه‌نویسی شده و اعتبارسنجی آن با استفاده از داده‌های جدید برای ارزیابی عملکرد و تعمیم‌پذیری. از روش‌های ارزیابی مختلفی مانند دقت (Accuracy) و امتیاز F1 کلان (Macro F1-Score) برای سنجش عملکرد مدل استفاده شده است.
• مقایسه با روش‌های قبلی: مقایسه عملکرد GAN-BioBERT با نتایج مطالعات پیشین و ارزیابی‌های دستی متخصصان.

مدل BERT یک مدل زبان‌شناختی قدرتمند است که می‌تواند روابط پیچیده بین کلمات را درک کند. استفاده از BERT به GAN-BioBERT اجازه می‌دهد تا احساسات ظریف و پنهان در چکیده‌های کارآزمایی‌های بالینی را به طور دقیق تشخیص دهد. به عنوان مثال، یک جمله ممکن است از نظر لغوی مثبت به نظر برسد، اما در واقعیت بیانگر تردید یا عدم اطمینان باشد. BERT به مدل کمک می‌کند تا این تفاوت‌ها را درک کند.

نتایج این تحقیق نشان می‌دهد که الگوریتم GAN-BioBERT دارای دقت طبقه‌بندی 91.3% و امتیاز F1 کلان 0.92 است. این نتایج نشان‌دهنده بهبود قابل توجهی در دقت نسبت به روش‌های قبلی و ارزیابی‌های متخصصان است. همچنین، طبقه‌بندی احساسات در این مطالعه جزئی‌تر از مطالعات قبلی انجام شده است.

به طور خلاصه، یافته‌های کلیدی عبارتند از:

• دقت بالا: دقت 91.3% نشان‌دهنده توانایی بالای مدل در شناسایی صحیح احساسات موجود در چکیده‌ها است.
• بهبود نسبت به روش‌های قبلی: GAN-BioBERT عملکرد بهتری نسبت به روش‌های سنتی و ارزیابی‌های دستی ارائه می‌دهد.
• طبقه‌بندی جزئی‌تر: مدل قادر به ارائه طبقه‌بندی دقیق‌تری از احساسات در مقایسه با روش‌های قبلی است.

مثال: تصور کنید یک چکیده کارآزمایی بالینی حاوی جمله “نتایج امیدوارکننده به نظر می‌رسند، اما نیاز به تحقیقات بیشتری است” باشد. یک مدل ساده ممکن است این جمله را به عنوان مثبت طبقه‌بندی کند. اما GAN-BioBERT به دلیل درک عبارت “نیاز به تحقیقات بیشتر”، می‌تواند حس تردید و احتیاط را تشخیص داده و طبقه‌بندی دقیق‌تری ارائه دهد.

الگوریتم GAN-BioBERT می‌تواند به عنوان یک مدل طبقه‌بندی مناسب برای ارزیابی گسترده اظهارات کیفی در متون کارآزمایی‌های بالینی مورد استفاده قرار گیرد. این ابزار دقیق و قابل تکرار، امکان مطالعه گسترده روندهای انتشار بالینی را فراهم می‌کند.

کاربردهای بالقوه این تحقیق عبارتند از:

• شناسایی گزارش‌دهی مغرضانه: کمک به شناسایی الگوهای گزارش‌دهی که ممکن است نتایج کارآزمایی‌های بالینی را به نفع یک درمان خاص منحرف کنند.
• بهبود شفافیت تحقیقات بالینی: افزایش شفافیت و قابلیت اعتماد نتایج کارآزمایی‌های بالینی با ارائه یک ارزیابی مستقل و خودکار از احساسات بیان شده در چکیده‌ها.
• تسریع فرآیند بررسی مقالات: کمک به ویراستاران و داوران مجلات علمی برای ارزیابی سریع‌تر و کارآمدتر کیفیت مقالات.
• بهبود تصمیم‌گیری‌های بالینی: ارائه اطلاعات دقیق‌تر و قابل اعتمادتر به پزشکان و بیماران برای اتخاذ تصمیمات آگاهانه در مورد درمان‌ها.

به عنوان مثال، با استفاده از GAN-BioBERT، می‌توان به سرعت حجم زیادی از چکیده‌های کارآزمایی‌های بالینی را اسکن کرده و کارآزمایی‌هایی که دارای پتانسیل گزارش‌دهی مغرضانه هستند را شناسایی کرد. این امر می‌تواند به سازمان‌های نظارتی و نهادهای علمی کمک کند تا منابع خود را به طور موثرتری تخصیص دهند و از سلامت عمومی محافظت کنند.

این مطالعه نشان می‌دهد که GAN-BioBERT یک ابزار قدرتمند و موثر برای ارزیابی روندهای گزارش‌دهی در کارآزمایی‌های بالینی است. دقت بالا و قابلیت تعمیم‌پذیری این مدل، آن را به یک دارایی ارزشمند برای محققان، پزشکان و سازمان‌های نظارتی تبدیل می‌کند. با استفاده از GAN-BioBERT، می‌توان به طور قابل توجهی شفافیت و قابلیت اعتماد تحقیقات بالینی را بهبود بخشید و به تصمیم‌گیری‌های آگاهانه در زمینه سلامت کمک کرد.

در نهایت، این پژوهش گامی مهم در جهت توسعه ابزارهای خودکار و دقیق برای ارزیابی کیفیت تحقیقات بالینی است و می‌تواند به عنوان پایه‌ای برای تحقیقات بیشتر در این زمینه عمل کند.