در سال‌های اخیر، تقاطع هوش مصنوعی و حقوق، حوزه‌ای نوین و پرشتاب به نام «فناوری حقوقی» (LegalTech) را پدید آورده است. یکی از جذاب‌ترین و در عین حال چالش‌برانگیزترین وظایف در این حوزه، «پیش‌بینی رأی قضایی» (Legal Judgment Prediction – LJP) است. این وظیفه به معنای استفاده از الگوریتم‌های یادگیری ماشین برای تحلیل اسناد حقوقی و پیش‌بینی نتیجه یک پرونده است. با این حال، پیشرفت در این زمینه با یک مانع بزرگ روبرو بوده است: کمبود مجموعه داده‌های (Datasets) واقع‌گرایانه، جامع و در دسترس عموم.

مقاله «ClassActionPrediction: معیاری دشوار برای پیش‌بینی رأی حقوقی دعاوی گروهی در ایالات متحده» به طور مستقیم به این چالش پاسخ می‌دهد. اهمیت این مقاله در چند جنبه کلیدی نهفته است:

• تمرکز بر نظام حقوقی کامن لا (Common Law): اغلب مجموعه داده‌های موجود در زمینه LJP، از کشورهایی با نظام حقوقی «رومی-ژرمنی» (Civil Law) استخراج شده‌اند. این مقاله برای اولین بار یک مجموعه داده بزرگ از نظام حقوقی کامن لا (خاصه ایالات متحده) ارائه می‌دهد که به دلیل تکیه بر رویه قضایی، پیچیدگی‌های منحصربه‌فردی دارد.
• واقع‌گرایی و دشواری: به جای استفاده از خلاصه‌ پرونده‌های نوشته‌شده توسط قضات (که ساده‌سازی شده‌اند)، این تحقیق از «شکواییه» (Complaint) اولیه به عنوان ورودی مدل استفاده می‌کند. شکواییه‌ها اسنادی طولانی، پیچیده و مملو از زبان تخصصی حقوقی هستند که تحلیل آن‌ها چالشی بسیار نزدیک‌تر به کار واقعی یک وکیل است.
• ارائه معیار انسانی: پژوهشگران با سنجش عملکرد کارشناسان حقوقی در پیش‌بینی نتایج، یک «خط پایه انسانی» (Human Baseline) ایجاد کرده‌اند. این معیار به ما اجازه می‌دهد تا عملکرد مدل‌های هوش مصنوعی را نه در خلاء، بلکه در مقایسه با توانایی‌های یک متخصص انسانی بسنجیم.

این مقاله صرفاً یک پیشرفت فنی نیست، بلکه یک گام اساسی در جهت ساخت ابزارهای هوش مصنوعی است که می‌توانند به طور معناداری به متخصصان حقوقی در دنیای واقعی کمک کنند.

این مقاله توسط تیمی از پژوهشگران برجسته شامل گیل سمو، دور برنسون، بن حگاگ، گیلا حیات و جوئل نیکلاوس به رشته تحریر درآمده است. تخصص این تیم در حوزه‌های پردازش زبان طبیعی (NLP)، هوش مصنوعی و یادگیری ماشین، بستر لازم برای انجام چنین تحقیق میان‌رشته‌ای پیچیده‌ای را فراهم کرده است.

زمینه این تحقیق، شاخه «پردازش زبان طبیعی حقوقی» (Legal NLP) است. با ظهور مدل‌های زبانی بزرگ و معماری‌های پیشرفته‌ای مانند «ترنسفورمر» (Transformer)، توانایی ماشین‌ها برای درک و تحلیل متون پیچیده به شکل چشمگیری افزایش یافته است. با این حال، حوزه حقوق به دلیل ویژگی‌های منحصربه‌فرد خود همچنان یک چالش بزرگ محسوب می‌شود:

• حجم بالای اسناد: اسناد حقوقی مانند شکواییه‌ها، قراردادها و آراء دادگاه‌ها می‌توانند ده‌ها یا صدها صفحه باشند.
• زبان تخصصی: این متون سرشار از اصطلاحات فنی، ارجاعات قانونی و ساختارهای زبانی پیچیده‌ای هستند که درک آن‌ها نیازمند دانش تخصصی است.
• اهمیت دقت: کوچکترین اشتباه در تفسیر یک متن حقوقی می‌تواند پیامدهای جدی مالی و قانونی داشته باشد.

این مقاله به طور خاص بر «دعاوی گروهی» (Class Action Lawsuits) تمرکز دارد. در این نوع دعاوی، گروه بزرگی از افراد که آسیب مشابهی از یک متهم (معمولاً یک شرکت بزرگ) دیده‌اند، به صورت مشترک شکایت می‌کنند. این پرونده‌ها به دلیل پیچیدگی بالا، حجم زیاد اسناد و تأثیرات گسترده مالی، بستر آزمایشی ایده‌آلی برای مدل‌های پیشرفته هوش مصنوعی فراهم می‌کنند.

این مقاله، مجموعه داده‌ای جدید و چالش‌برانگیز به نام ClassActionPrediction را معرفی می‌کند که برای اولین بار وظیفه پیش‌بینی رأی قضایی را در حوزه دعاوی گروهی ایالات متحده هدف قرار داده است. برخلاف کارهای پیشین که عمدتاً بر نظام‌های حقوقی Civil Law متمرکز بودند و از خلاصه‌های قضایی به عنوان ورودی استفاده می‌کردند، این مجموعه داده بر نظام Common Law تکیه دارد و از متن کامل و اصلی شکواییه‌ها به عنوان ورودی بهره می‌برد. این رویکرد، وظیفه پیش‌بینی را به مراتب دشوارتر و به واقعیت نزدیک‌تر می‌کند.

برای ارزیابی میزان دشواری این وظیفه، محققان عملکرد گروهی از کارشناسان حقوقی را نیز سنجیده‌اند و نشان داده‌اند که حتی انسان‌های متخصص نیز تنها به دقت ۵۳٪ در پیش‌بینی نتایج دست می‌یابند. در مقابل، مدل پیشنهادی آن‌ها که مبتنی بر معماری «لانگ‌فورمر» (Longformer) است، با تحلیل ۲,۰۴۸ توکن ابتدایی هر شکواییه، توانسته به دقت ۶۳٪ برسد و به وضوح از معیار انسانی پیشی بگیرد. علاوه بر این، تحلیل خطاها نشان می‌دهد که مدل لانگ‌فورمر در «کالیبراسیون» (Calibration) یا ارزیابی اطمینان از پیش‌بینی‌های خود، عملکرد بهتری نسبت به انسان‌ها دارد. در نهایت، نویسندگان مجموعه داده و کدهای مورد استفاده را به صورت عمومی منتشر کرده‌اند تا زمینه را برای تحقیقات آتی در این حوزه هموار سازند.

روش‌شناسی این پژوهش بر سه ستون اصلی استوار است: ایجاد مجموعه داده، تعیین خط پایه انسانی و توسعه مدل محاسباتی.

• ایجاد مجموعه داده (Dataset Creation): محققان مجموعه‌ای از پرونده‌های دعاوی گروهی در دادگاه‌های فدرال ایالات متحده را جمع‌آوری کردند. برای هر پرونده، دو عنصر کلیدی استخراج شد:
  1. ورودی (Input): متن کامل شکواییه اولیه که توسط وکلای شاکیان تنظیم شده است.
  2. خروجی (Output): نتیجه تصمیم دادگاه در مورد درخواست خوانده برای رد دعوی (Motion to Dismiss). این تصمیم یک نقطه عطف حیاتی در هر پرونده است و پیش‌بینی آن ارزش بالایی دارد.
• تعیین خط پایه انسانی (Human Baseline): برای اینکه مشخص شود این وظیفه چقدر دشوار است، از گروهی از کارشناسان حقوقی (وکلا و دانشجویان حقوق) خواسته شد تا با خواندن شکواییه‌ها، نتیجه درخواست رد دعوی را پیش‌بینی کنند. کسب میانگین دقت ۵۳٪ توسط این گروه نشان داد که پیچیدگی‌های پرونده‌ها و عدم قطعیت‌های ذاتی در فرآیند قضایی، پیش‌بینی را حتی برای متخصصان نیز به امری بسیار دشوار تبدیل می‌کند.
• رویکرد مدل‌سازی (Modeling Approach): نویسندگان از مدل Longformer استفاده کردند. این مدل یکی از انواع معماری ترنسفورمر است که به طور خاص برای پردازش اسناد طولانی طراحی شده است. برخلاف مدل‌های استاندارد مانند BERT که محدودیت طول ورودی دارند، لانگ‌فورمر می‌تواند هزاران توکن را به طور همزمان پردازش کند. با این حال، به دلیل محدودیت‌های محاسباتی، مدل تنها بر روی ۲,۰۴۸ توکن اول هر شکواییه آموزش داده شد. این محدودیت خود یک چالش دیگر است، زیرا اطلاعات کلیدی ممکن است در بخش‌های بعدی سند قرار داشته باشند. با این وجود، عملکرد مدل نشان‌دهنده توانایی بالای آن در استخراج سیگنال‌های مهم از بخش‌های اولیه اسناد حقوقی است.

نتایج این تحقیق، دستاوردهای مهم و قابل تأملی را به همراه داشت که در ادامه به مهم‌ترین آن‌ها اشاره می‌شود:

• برتری معنادار هوش مصنوعی بر انسان: یافته اصلی مقاله این است که مدل لانگ‌فورمر با دستیابی به دقت ۶۳٪، عملکردی به مراتب بهتر از کارشناسان حقوقی با دقت ۵۳٪ از خود نشان داد. این اختلاف ۱۰ درصدی نشان می‌دهد که مدل‌های هوش مصنوعی قادرند الگوهایی را در متون حقوقی شناسایی کنند که ممکن است از دید انسان پنهان بماند یا تفسیر آن‌ها برای انسان دشوار باشد.
• تایید دشواری ذاتی وظیفه: عملکرد پایین متخصصان انسانی، ادعای نویسندگان مبنی بر «دشوار» بودن این معیار (Benchmark) را اثبات می‌کند. این یک وظیفه ساده طبقه‌بندی متن نیست، بلکه نیازمند استدلال حقوقی پیچیده بر اساس اطلاعات ناقص و یک‌طرفه (شکواییه) است.
• کالیبراسیون بهتر مدل: یکی از یافته‌های جالب، کالیبراسیون بهتر مدل نسبت به انسان است. کالیبراسیون به این معناست که سطح اطمینان یک مدل از پیش‌بینی‌اش با دقت واقعی آن همخوانی دارد. برای مثال، اگر مدل در ۱۰۰ پیش‌بینی، ۸۰٪ اطمینان داشته باشد، انتظار می‌رود حدود ۸۰ مورد از آن‌ها درست باشد. تحلیل‌ها نشان داد که مدل لانگ‌فورمر در این زمینه بسیار قابل‌اتکاتر از انسان‌ها عمل می‌کند؛ انسان‌ها تمایل به «اطمینان بیش از حد» (Overconfidence) در قضاوت‌های نادرست خود داشتند.
• تحلیل خطاها و مسیرهای آینده: محققان با تحلیل عمیق خطاهای مدل، دریافتند که مدل در برخی انواع خاص از پرونده‌ها (مثلاً پرونده‌های مربوط به اوراق بهادار) عملکرد بهتری دارد. این تحلیل‌ها نه تنها نقاط ضعف مدل فعلی را آشکار می‌کند، بلکه راه را برای بهبودهای آینده، مانند استفاده از اطلاعات فرامتنی یا توسعه مدل‌هایی با توانایی پردازش کل سند، هموار می‌سازد.

این مقاله فراتر از یک پژوهش آکادمیک، دستاوردهای عملی و کاربردی مهمی را برای آینده فناوری حقوقی به ارمغان می‌آورد:

• ایجاد یک معیار استاندارد جدید: انتشار عمومی مجموعه داده ClassActionPrediction یک ابزار ارزشمند در اختیار جامعه پژوهشی قرار می‌دهد. از این پس، محققان دیگر می‌توانند مدل‌های جدید خود را بر روی این معیار دشوار و واقع‌گرایانه آزمایش کرده و پیشرفت حوزه LJP را به طور ملموس‌تری اندازه‌گیری کنند.
• کاهش شکاف میان تئوری و عمل: با تمرکز بر اسناد واقعی (شکواییه‌ها) و یک حوزه حقوقی مهم (دعاوی گروهی)، این تحقیق گامی بلند در جهت نزدیک کردن پژوهش‌های هوش مصنوعی به نیازهای واقعی وکلا و متخصصان حقوقی برمی‌دارد.
• زمینه‌سازی برای ابزارهای دستیار وکیل: اگرچه این مدل یک ابزار تصمیم‌گیری نهایی نیست، اما نتایج آن پتانسیل ساخت ابزارهای هوشمند «دستیار وکیل» را نشان می‌دهد. چنین ابزاری می‌تواند در مراحل اولیه یک پرونده، با تحلیل شکواییه، یک ارزیابی اولیه از نقاط قوت و ضعف آن ارائه دهد و به وکلا در تصمیم‌گیری‌های استراتژیک، تخصیص منابع و مذاکرات برای مصالحه کمک کند.
• ترویج علم باز (Open Science): با انتشار آزاد مجموعه داده و کدها، نویسندگان به ترویج شفافیت، تکرارپذیری و همکاری در این حوزه کمک شایانی کرده‌اند. این رویکرد به تسریع روند نوآوری در جامعه علمی منجر خواهد شد.

مقاله «ClassActionPrediction» یک نقطه عطف در حوزه پیش‌بینی رأی قضایی به شمار می‌رود. این پژوهش با معرفی یک مجموعه داده چالش‌برانگیز و واقع‌گرایانه مبتنی بر دعاوی گروهی در نظام حقوقی کامن لا ایالات متحده، مرزهای این حوزه را جابجا می‌کند. یافته‌های کلیدی آن، به ویژه برتری عملکرد مدل هوش مصنوعی بر کارشناسان انسانی، نه تنها توانایی‌های رو به رشد مدل‌های زبانی پیشرفته را به نمایش می‌گذارد، بلکه تاییدی بر پیچیدگی و ظرافت‌های ذاتی استدلال حقوقی است.

این تحقیق نشان می‌دهد که آینده هوش مصنوعی در حقوق، نه جایگزینی کامل انسان، بلکه ایجاد ابزارهای قدرتمندی است که می‌توانند به عنوان دستیارهای هوشمند، توانایی‌های متخصصان حقوقی را تقویت کنند. با ارائه این معیار جدید به جامعه علمی، اکنون راه برای توسعه نسل بعدی مدل‌های حقوقی که قادر به درک عمیق‌تر، پردازش اسناد کامل‌تر و ارائه تحلیل‌های دقیق‌تر هستند، باز شده است. ClassActionPrediction تنها یک شروع است و بی‌تردید الهام‌بخش نوآوری‌های بسیاری در سال‌های آینده خواهد بود.