۱. معرفی مقاله و اهمیت آن

پیشرفت‌های شگرف اخیر در حوزه پردازش زبان طبیعی (NLP)، فرصت‌های بی‌سابقه‌ای را برای کاربرد در بخش‌های تخصصی مانند حقوق فراهم کرده است. با این حال، انتقال این فناوری‌ها به حوزه حقوق با چالش‌های منحصر به فردی روبرو است. طولانی بودن بیش از حد متون حقوقی، واژگان تخصصی که تنها توسط حقوقدانان قابل درک است، و عدم تعادل شدید داده‌ها، از جمله این موانع هستند. مقاله حاضر با عنوان “مدل‌های زبانی بزرگ قانونی هستند اما کافی نیستند: استدلالی برای یک مدل زبان بزرگ حقوقی قدرتمند” (Large Language Models are legal but they are not: Making the case for a powerful LegalLLM)، به بررسی پتانسیل مدل‌های زبانی بزرگ (LLMs) در غلبه بر این چالش‌ها و ارائه راهکاری برای ارتقاء کاربرد NLP در حقوق می‌پردازد. اهمیت این تحقیق در تلاش برای درک بهتر توانایی‌های LLMهای عمومی در وظایف حقوقی و نشان دادن نیاز مبرم به مدل‌های تخصصی برای این حوزه است.

۲. نویسندگان و زمینه تحقیق

این مقاله توسط Thanmay Jayakumar، Fauzan Farooqui و Luqman Farooqui نوشته شده است. این پژوهش در دسته “محاسبات و زبان” (Computation and Language) قرار می‌گیرد و بر تلاقی هوش مصنوعی، به ویژه مدل‌های زبانی، و علم حقوق تمرکز دارد. نویسندگان با در نظر گرفتن توانایی‌های روزافزون LLMها در درک و تولید زبان، به بررسی کاربرد آن‌ها در یکی از پیچیده‌ترین و داده‌محورترین حوزه‌های دانش انسانی پرداخته‌اند. تحقیق آن‌ها نه تنها به قابلیت‌های فنی LLMها می‌پردازد، بلکه ضرورت انطباق این ابزارهای قدرتمند با نیازمندی‌های خاص دامنه حقوقی را نیز برجسته می‌سازد.

۳. چکیده و خلاصه محتوا

چکیده مقاله به روشنی اهداف و یافته‌های کلیدی پژوهش را بیان می‌کند. نویسندگان اذعان دارند که LLMهای عمومی، با توانایی پردازش دنباله‌های طولانی و پیچیده، فرصت‌های جدیدی را برای کاربرد NLP در حوزه حقوق ایجاد کرده‌اند. ظهور LLMهای حوزه خاص نیز نتایج بسیار امیدوارکننده‌ای را در وظایف مختلف به ارمغان آورده است. هدف اصلی این مطالعه، کمی‌سازی عملکرد LLMهای عمومی در مقایسه با مدل‌های تخصصی حقوقی است. در این تحقیق، عملکرد مدل‌های عمومی ChatGPT-20b، LLaMA-2-70b و Falcon-180b در وظیفه طبقه‌بندی بندهای قرارداد در زیرمجموعه LEDGAR از معیار LexGLUE، به صورت zero-shot مورد مقایسه قرار گرفته است.

یافته کلیدی این پژوهش این است که اگرچه LLMهای عمومی، حتی بدون آموزش صریح بر داده‌های حقوقی، قادر به طبقه‌بندی صحیح موضوعات در اکثر موارد هستند، اما عملکرد آن‌ها (mic-F1/mac-F1) تا ۱۹.۲٪/۲۶.۸٪ از مدل‌های کوچک‌تر که بر حوزه حقوقی fine-tune شده‌اند، پایین‌تر است. این شکاف عملکردی، ضرورت توسعه و استفاده از LLMهای قدرتمند و تخصصی برای حوزه حقوق را پررنگ می‌سازد.

۴. روش‌شناسی تحقیق

روش‌شناسی این تحقیق بر پایه ارزیابی عملکرد مدل‌های زبانی بزرگ در یک وظیفه مشخص حقوقی استوار است. نویسندگان از رویکرد zero-shot learning استفاده کرده‌اند. در این روش، مدل‌ها بدون هیچ‌گونه آموزش قبلی بر روی داده‌های خاص وظیفه مورد نظر، مستقیماً برای انجام آن وظیفه به کار گرفته می‌شوند. این رویکرد به خوبی توانایی تعمیم‌پذیری و درک اولیه مدل‌ها را بدون نیاز به داده‌های برچسب‌گذاری شده فراوان برای هر وظیفه جدید می‌سنجد.

برای انجام این ارزیابی، دو گروه از مدل‌ها مورد استفاده قرار گرفتند:

• مدل‌های زبانی بزرگ عمومی (General-purpose LLMs): شامل سه مدل مطرح و بزرگ:
  • ChatGPT-20b
  • LLaMA-2-70b
  • Falcon-180b
• مدل‌های تخصصی حقوقی (Legal-domain Models): که شامل مدل‌های کوچک‌تر اما fine-tune شده بر روی داده‌های حقوقی بودند. این مدل‌ها به عنوان معیار مقایسه برای سنجش برتری مدل‌های عمومی یا نیاز به مدل‌های تخصصی به کار رفتند.

وظیفه مورد بررسی، طبقه‌بندی بندهای قرارداد (Contract Provision Classification) بود. این وظیفه شامل دسته‌بندی بخش‌های مختلف یک قرارداد حقوقی به دسته‌های مشخص (مانند بند مربوط به محرمانگی، فسخ، مسئولیت و غیره) است. مجموعه داده مورد استفاده، زیرمجموعه LEDGAR از معیار LexGLUE بود. LexGLUE یک مجموعه معیار استاندارد برای ارزیابی مدل‌های NLP در وظایف حقوقی است و LEDGAR نیز زیرمجموعه‌ای از این معیار است که به طور خاص بر طبقه‌بندی اسناد حقوقی تمرکز دارد.

معیارهای ارزیابی عملکرد شامل mic-F1 (micro-averaged F1-score) و mac-F1 (macro-averaged F1-score) بودند. این معیارها برای ارزیابی کیفیت طبقه‌بندی در سناریوهای چندکلاسه (multi-class) بسیار مناسب هستند و دقت و جامعیت مدل را در تشخیص کلاس‌های مختلف نشان می‌دهند.

۵. یافته‌های کلیدی

نتایج این تحقیق، تصویری روشن و در عین حال تأمل‌برانگیز از وضعیت فعلی LLMها در حوزه حقوق ارائه می‌دهد. یافته‌های کلیدی عبارتند از:

• توانایی ذاتی LLMهای عمومی: حتی بدون آموزش تخصصی بر روی متون حقوقی، LLMهای عمومی مورد آزمایش (ChatGPT-20b، LLaMA-2-70b، Falcon-180b) توانستند در اکثر موارد، بندهای قرارداد را به درستی طبقه‌بندی کنند. این نشان‌دهنده قدرت بالای این مدل‌ها در درک زبان و استنتاج مفاهیم، حتی از دامنه‌های ناآشنا است. قابلیت درک ساختار پیچیده جملات و شناسایی واژگان کلیدی، حتی اگر معنای دقیق حقوقی آن‌ها را ندانند، به آن‌ها در انجام این وظیفه کمک کرده است.
• شکاف عملکردی قابل توجه: با وجود توانایی کلی، عملکرد LLMهای عمومی در معیارهای دقیق‌تر (mic-F1/mac-F1) به طور قابل ملاحظه‌ای پایین‌تر از مدل‌های کوچک‌تر و تخصصی بود که بر روی داده‌های حقوقی fine-tune شده بودند. این شکاف عملکردی، که تا ۱۹.۲٪ در mic-F1 و ۲۶.۸٪ در mac-F1 گزارش شده است، نشان می‌دهد که دانش دامنه-خاص (domain-specific knowledge) در موفقیت کامل در وظایف حقوقی حیاتی است.
• نیاز به دانش حقوقی تخصصی: واژگان حقوقی، ساختارهای استدلالی خاص، و ظرافت‌های معنایی موجود در متون حقوقی، عواملی هستند که LLMهای عمومی، با وجود حجم عظیم داده‌های آموزشی عمومی خود، در درک کامل آن‌ها با چالش مواجه هستند. مدل‌های fine-tune شده، با قرار گرفتن در معرض مقادیر زیادی از داده‌های حقوقی، این دانش تخصصی را کسب کرده و قادر به عملکرد بهتری شده‌اند.
• عدم کفایت صرفاً “عمومی” بودن: نتایج به صراحت نشان می‌دهند که “قانونی بودن” LLMها (یعنی توانایی پردازش زبان حقوقی) به معنای “کافی بودن” آن‌ها برای کاربردهای حرفه‌ای نیست. صرف قابلیت پردازش زبان، بدون درک عمیق از مفاهیم و مقررات حقوقی، منجر به خطاهای قابل توجه در وظایف حساس مانند طبقه‌بندی اسناد حقوقی می‌شود.

۶. کاربردها و دستاوردها

یافته‌های این تحقیق پیامدهای مهمی برای توسعه و کاربرد هوش مصنوعی در صنعت حقوقی دارد:

• توسعه LegalLLMهای تخصصی: مهمترین دستاورد و پیامد این تحقیق، تأکید بر نیاز به توسعه و ساخت مدل‌های زبان بزرگ حقوقی (LegalLLMs) است. این مدل‌ها باید با استفاده از داده‌های حقوقی وسیع و تخصصی آموزش داده شوند تا بتوانند با دقت و کارایی بالایی وظایف حقوقی را انجام دهند. این امر شامل درک عمیق‌تر اصطلاحات حقوقی، ساختارهای متنی خاص، و حتی استدلال‌های حقوقی است.
• افزایش کارایی وکلا و حقوقدانان: با توسعه LegalLLMهای کارآمد، می‌توان ابزارهای قدرتمندی برای کمک به حقوقدانان ایجاد کرد. این ابزارها می‌توانند در وظایفی مانند:
  • بررسی قراردادها: شناسایی خودکار بندهای کلیدی، ریسک‌ها، و مغایرت‌ها.
  • جستجوی اسناد: یافتن سریع‌تر سوابق حقوقی مرتبط و پرونده‌های مشابه.
  • نوشتن پیش‌نویس اسناد: کمک به تهیه پیش‌نویس اولیه قراردادها، لوایح، و سایر اسناد حقوقی.
  • تحلیل قوانین و مقررات: استخراج اطلاعات کلیدی و تفسیر قوانین.
• کاهش هزینه‌ها و زمان: اتوماسیون وظایف تکراری و زمان‌بر با استفاده از LegalLLMها می‌تواند به طور قابل توجهی هزینه‌های ارائه خدمات حقوقی را کاهش داده و زمان لازم برای انجام پروژه‌ها را به حداقل برساند.
• دموکراتیزه کردن دسترسی به خدمات حقوقی: با افزایش کارایی و کاهش هزینه‌ها، خدمات حقوقی می‌توانند برای طیف گسترده‌تری از افراد و کسب‌وکارها، از جمله کسانی که پیش از این توانایی مالی دسترسی به مشاوره حقوقی را نداشتند، قابل دسترس‌تر شوند.
• پیشبرد تحقیقات حقوقی: LegalLLMها می‌توانند ابزاری قدرتمند برای محققان حقوقی باشند تا الگوهای پیچیده در قانون، روندها، و تأثیرات سیاست‌گذاری‌ها را تحلیل کنند.

به طور خلاصه، این تحقیق یک گام مهم در جهت درک چگونگی استفاده مؤثر از فناوری‌های نوین هوش مصنوعی در صنعت حقوقی محسوب می‌شود و مسیری را برای نوآوری‌های آینده ترسیم می‌کند.

۷. نتیجه‌گیری

مقاله “مدل‌های زبانی بزرگ قانونی هستند اما کافی نیستند: استدلالی برای یک مدل زبان بزرگ حقوقی قدرتمند” به روشنی نشان می‌دهد که در حالی که مدل‌های زبانی بزرگ عمومی (LLMs) قابلیت‌های قابل توجهی در پردازش و درک زبان حقوقی از خود بروز می‌دهند، اما دانش تخصصی دامنه حقوقی، کلید موفقیت کامل در این حوزه است. شکاف عملکردی مشاهده شده بین LLMهای عمومی و مدل‌های کوچک‌تر اما تخصصی، دلیلی قاطع بر این مدعاست.

این تحقیق صرفاً به سنجش توانایی‌های موجود نمی‌پردازد، بلکه یک فراخوان برای اقدام است. این مقاله استدلال می‌کند که برای دستیابی به پتانسیل کامل هوش مصنوعی در صنعت حقوقی، نیازمند سرمایه‌گذاری و تمرکز بر توسعه مدل‌های زبان بزرگ حقوقی (LegalLLMs) هستیم. این مدل‌ها باید با دقت و توجه به ظرافت‌های زبان حقوقی، مقررات، و رویه‌های قضایی، طراحی و آموزش داده شوند.

آینده حقوق با هوش مصنوعی گره خورده است و این مقاله به ما یادآوری می‌کند که مسیر دستیابی به این آینده، از طریق نوآوری‌های تخصصی و متناسب با نیازهای هر دامنه می‌گذرد. LegalLLMها نه تنها ابزاری برای بهبود کارایی هستند، بلکه پتانسیل تحول‌آفرینی در ارائه خدمات حقوقی و دسترسی عادلانه‌تر به عدالت را نیز دارند. این پژوهش، سنگ بنایی برای تحقیقات و توسعه‌های آینده در این حوزه حیاتی فراهم می‌آورد.