در عصر حاضر، حجم عظیمی از اطلاعات متنی در دسترس است که شامل روابط علت و معلولی پیچیده‌ای می‌شود. درک این روابط برای بسیاری از حوزه‌ها، از جمله مراقبت‌های بهداشتی، مدیریت ریسک کسب‌وکار، و امور مالی، حیاتی است. مقاله حاضر به بررسی چگونگی استفاده از مدل‌های زبانی پیشرفته، به ویژه برت (BERT)، برای تشخیص و استخراج روابط علّی میان رویدادهای بیان‌شده در متن می‌پردازد. این مقاله با عنوان “برتِ علّی: مدل‌های زبانی برای تشخیص علیت میان رویدادهای بیان‌شده در متن” (Causal BERT: Language models for causality detection between events expressed in text) به چالش‌های موجود در این زمینه پرداخته و راهکارهای جدیدی را ارائه می‌دهد.

این پژوهش توسط Vivek Khetan، Roshni Ramnani، Mayuresh Anand، Shubhashis Sengupta و Andrew E. Fano انجام شده است. نویسندگان از متخصصان حوزه‌های پردازش زبان طبیعی (NLP) و هوش مصنوعی (AI) هستند. زمینه تحقیقاتی آن‌ها تمرکز بر توسعه روش‌هایی برای درک و استخراج اطلاعات از متون غیرساخت‌یافته، با تاکید ویژه بر روابط علّی است. این تحقیقات در تقاطع حوزه‌های محاسبات زبانی و هوش مصنوعی قرار می‌گیرد.

چکیده مقاله به این صورت است: درک علیت بین رویدادها یک وظیفه مهم در پردازش زبان طبیعی است که در بسیاری از زمینه‌ها از جمله مراقبت‌های بهداشتی، مدیریت ریسک کسب و کار و امور مالی مفید است. با بررسی دقیق، می‌توان حجم زیادی از محتوای متنی را به شکل اسناد رسمی یا محتوای ناشی از رسانه‌های اجتماعی مانند توییتر یافت که به برقراری ارتباط و بررسی انواع مختلف علیت در دنیای واقعی اختصاص دارد. تشخیص این روابط “علت-معلولی” بین رویدادهای زبان طبیعی همچنان یک چالش است، زیرا اغلب به طور ضمنی بیان می‌شود. تشخیص علیت ضمنی از طریق بیشتر تکنیک‌های به‌کاررفته در ادبیات دشوار است و همچنین، گاهی اوقات می‌تواند مبهم یا نامشخص تلقی شود. همچنین، اگرچه مجموعه‌داده‌های شناخته‌شده‌ای برای این مسئله وجود دارد، اما مثال‌های موجود در آن‌ها از نظر دامنه و پیچیدگی روابط علّی که به تصویر می‌کشند، به‌ویژه در رابطه با روابط ضمنی، محدود هستند. بیشتر روش‌های معاصر مبتنی بر تطبیق الگوی واژگانی-معنایی هستند یا روش‌های نظارت‌شده مبتنی بر ویژگی. بنابراین، همانطور که انتظار می‌رود، این روش‌ها بیشتر به سمت رسیدگی به روابط علّی صریح گرایش دارند و منجر به پوشش محدود برای روابط ضمنی می‌شوند و تعمیم آن‌ها دشوار است. در این مقاله، قابلیت‌های مدل زبانی را برای ارتباط علّی بین رویدادهای بیان‌شده در متن زبان طبیعی با استفاده از زمینه جمله همراه با اطلاعات رویداد و با استفاده از زمینه رویداد پوشانده‌شده با توزیع داده‌های درون‌حوزه و خارج از حوزه بررسی می‌کنیم. روش‌های پیشنهادی ما به عملکرد پیشرفته‌ای در سه توزیع مختلف داده می‌رسند و می‌توانند برای استخراج نمودار علّی و/یا ساخت زنجیره‌ای از رویدادها از متن ساختار نیافته مورد استفاده قرار گیرند.

به طور خلاصه، این مقاله به بررسی چگونگی استفاده از مدل زبانی برت برای تشخیص روابط علّی ضمنی در متن می‌پردازد. این روش از متن پیرامون رویدادها و همچنین اطلاعات مربوط به خود رویدادها برای تعیین روابط علّی استفاده می‌کند. نویسندگان نشان می‌دهند که روش پیشنهادی آن‌ها در مقایسه با روش‌های موجود، عملکرد بهتری در تشخیص روابط علّی ضمنی دارد.

روش‌شناسی این تحقیق شامل مراحل زیر است:

• جمع‌آوری داده‌ها: نویسندگان از مجموعه‌داده‌های موجود برای روابط علّی استفاده کردند. این مجموعه‌داده‌ها شامل متونی هستند که روابط علّی در آن‌ها به صورت صریح یا ضمنی بیان شده‌اند.
• پیش‌پردازش داده‌ها: داده‌ها برای استفاده در مدل برت آماده شدند. این مرحله شامل توکنایز کردن متن، تبدیل متن به فرمت قابل فهم برای مدل و ایجاد ماسک‌هایی برای پنهان کردن رویدادهای خاص بود.
• آموزش مدل: مدل برت بر روی داده‌های پیش‌پردازش‌شده آموزش داده شد. در طول آموزش، مدل یاد گرفت که روابط علّی بین رویدادها را بر اساس متن پیرامون آن‌ها تشخیص دهد.
• ارزیابی مدل: عملکرد مدل بر روی مجموعه‌داده‌های آزمایشی ارزیابی شد. نویسندگان از معیارهای مختلفی برای سنجش دقت مدل در تشخیص روابط علّی استفاده کردند.
• تحلیل نتایج: نتایج ارزیابی تحلیل شدند تا نقاط قوت و ضعف مدل مشخص شود. نویسندگان همچنین به بررسی چگونگی عملکرد مدل در تشخیص روابط علّی ضمنی پرداختند.

یکی از جنبه‌های مهم این روش‌شناسی، استفاده از تکنیک “ماسک کردن رویداد” است. در این تکنیک، بخشی از متن (به عنوان مثال، رویداد علت یا معلول) به صورت تصادفی پنهان می‌شود، و مدل برت باید با استفاده از اطلاعات باقی‌مانده در متن، آن را پیش‌بینی کند. این روش به مدل کمک می‌کند تا روابط علّی را به طور عمیق‌تری درک کند.

به عنوان مثال، فرض کنید جمله زیر در نظر گرفته شود: “باران شدیدی بارید، بنابراین سیل جاری شد.” در این جمله، کلمه “بنابراین” یک نشانگر صریح برای رابطه علّی است. اما اگر جمله به این صورت باشد: “باران شدیدی بارید. سیل جاری شد.” رابطه علّی ضمنی است و تشخیص آن دشوارتر است. مدل برت با استفاده از تکنیک ماسک کردن رویداد و آموزش بر روی داده‌های متنوع، می‌تواند این روابط ضمنی را نیز تشخیص دهد.

یافته‌های کلیدی این تحقیق عبارتند از:

• مدل برت می‌تواند به طور موثری برای تشخیص روابط علّی در متن استفاده شود.
• روش پیشنهادی نویسندگان، که از تکنیک ماسک کردن رویداد استفاده می‌کند، عملکرد بهتری در مقایسه با روش‌های موجود در تشخیص روابط علّی ضمنی دارد.
• مدل برت می‌تواند برای استخراج نمودارهای علّی از متن‌های غیرساخت‌یافته استفاده شود.
• مدل برت در توزیع‌های مختلف داده (درون‌حوزه‌ای و برون‌حوزه‌ای) عملکرد خوبی از خود نشان می‌دهد.

به طور خاص، نویسندگان نشان دادند که مدل آن‌ها در سه مجموعه‌داده مختلف، به نتایج state-of-the-art (بهترین عملکرد در زمان انتشار مقاله) دست یافته است. این نشان می‌دهد که روش آن‌ها از قابلیت تعمیم بالایی برخوردار است و می‌تواند در حوزه‌های مختلف مورد استفاده قرار گیرد.

این تحقیق دارای کاربردهای متعددی است، از جمله:

• مراقبت‌های بهداشتی: تشخیص روابط علّی بین عوامل خطر و بیماری‌ها، که می‌تواند به توسعه استراتژی‌های پیشگیری و درمان کمک کند.
• مدیریت ریسک کسب‌وکار: شناسایی علل ریشه‌ای مشکلات و پیش‌بینی پیامدهای احتمالی تصمیمات مختلف.
• امور مالی: تحلیل روابط علّی بین عوامل اقتصادی و پیش‌بینی روندهای بازار.
• استخراج اطلاعات: استخراج خودکار دانش از متون غیرساخت‌یافته، مانند مقالات علمی و گزارش‌های خبری.

یکی از دستاوردهای مهم این تحقیق، ارائه یک روش جدید برای استخراج نمودارهای علّی از متن است. نمودارهای علّی، نمایش‌های گرافیکی از روابط علت و معلولی هستند که می‌توانند برای درک بهتر یک موضوع پیچیده مورد استفاده قرار گیرند. با استفاده از مدل برت، می‌توان این نمودارها را به طور خودکار از حجم زیادی از متن استخراج کرد.

به عنوان مثال، در حوزه مراقبت‌های بهداشتی، می‌توان از این روش برای استخراج روابط علّی بین عوامل خطر و بیماری‌های مختلف استفاده کرد. این اطلاعات می‌تواند به پزشکان و محققان کمک کند تا استراتژی‌های بهتری برای پیشگیری و درمان بیماری‌ها توسعه دهند.

مقاله “برتِ علّی: مدل‌های زبانی برای تشخیص علیت میان رویدادهای بیان‌شده در متن” یک گام مهم در جهت توسعه روش‌های خودکار برای درک و استخراج روابط علّی از متن است. نویسندگان نشان دادند که مدل برت، با استفاده از تکنیک‌های مناسب، می‌تواند به طور موثری برای این منظور مورد استفاده قرار گیرد. یافته‌های این تحقیق دارای کاربردهای گسترده‌ای در حوزه‌های مختلف است و می‌تواند به توسعه سیستم‌های هوشمندتر و کارآمدتر برای پردازش اطلاعات متنی کمک کند. در آینده، می‌توان این روش را با مدل‌های زبانی دیگر ترکیب کرد و یا آن را برای تشخیص انواع دیگری از روابط معنایی در متن بهینه ساخت.

به طور کلی، این مقاله یک منبع ارزشمند برای محققان و متخصصان حوزه‌های پردازش زبان طبیعی، هوش مصنوعی و علم داده است که به دنبال توسعه روش‌هایی برای درک و استخراج اطلاعات از متون غیرساخت‌یافته هستند.