در دهه‌های اخیر، هوش مصنوعی و پردازش زبان طبیعی (NLP) به ابزارهایی حیاتی برای تحول در صنایع مختلف تبدیل شده‌اند. حوزه حقوق، با حجم عظیم اسناد، متون پیچیده و زبان تخصصی، یکی از مستعدترین زمینه‌ها برای بهره‌برداری از این فناوری‌هاست. خودکارسازی وظایفی مانند بررسی قراردادها، تحقیق حقوقی و خلاصه‌سازی پرونده‌ها می‌تواند به طور چشمگیری کارایی و دقت را در خدمات حقوقی افزایش دهد. با این حال، مدل‌های زبان عمومی مانند BERT و RoBERTa، علی‌رغم توانمندی‌های گسترده، در مواجهه با چالش‌های منحصربه‌فرد متون حقوقی با محدودیت‌هایی روبرو هستند.

متون حقوقی نه تنها شامل واژگان و ساختارهای نحوی تخصصی هستند، بلکه اغلب بسیار طولانی بوده و درک آن‌ها نیازمند فهم وابستگی‌های معنایی در فواصل طولانی است. علاوه بر این، بسیاری از پرونده‌های حقوقی، مانند دعاوی آسیب‌های شخصی یا مالکیت فکری، ماهیتی چنددامنه‌ای (mixed-domain) دارند و واژگان تخصصی از حوزه‌های دیگر مانند پزشکی یا مهندسی را در خود جای داده‌اند. مقاله “LegalRelectra” با ارائه یک مدل زبان نوآورانه، به طور مستقیم این چالش‌های سه‌گانه – یعنی تخصصی بودن، طولانی بودن و چنددامنه‌ای بودن – را هدف قرار می‌دهد و راهکاری کارآمد برای فهم عمیق متون حقوقی مدرن ارائه می‌کند.

این مقاله توسط تیمی از پژوهشگران برجسته شامل ونیو هوا (Wenyue Hua)، یوچن ژانگ (Yuchen Zhang)، ژه چن (Zhe Chen)، جوزی لی (Josie Li) و ملانی وبر (Melanie Weber) به رشته تحریر درآمده است. این پژوهش در تقاطع دو حوزه کلیدی «محاسبات و زبان» (Computation and Language) و «رایانه و جامعه» (Computers and Society) قرار می‌گیرد. این تخصص ترکیبی نشان‌دهنده عمق نگاه نویسندگان به مسئله است؛ آن‌ها نه تنها بر جنبه‌های فنی و محاسباتی مدل‌سازی زبان تمرکز کرده‌اند، بلکه به کاربردهای عملی و تأثیرات اجتماعی این فناوری در حوزه حساس و مهمی مانند حقوق نیز توجه داشته‌اند. این رویکرد بین‌رشته‌ای به مقاله اعتباری دوچندان می‌بخشد.

مقاله، مدل زبانی جدیدی به نام LegalRelectra (لگال‌ریلکترا) را معرفی می‌کند که به طور خاص برای درک متون حقوقی طراحی شده است. برخلاف مدل‌های عمومی، لگال‌ریلکترا بر روی مجموعه‌ای از متون تخصصی حقوقی و پزشکی آموزش دیده است تا بتواند به خوبی از پس تحلیل متون چنددامنه‌ای مانند پرونده‌های قصور پزشکی یا آسیب‌های ناشی از حوادث برآید. این مدل از معماری نوآورانه ELECTRA بهره می‌برد اما با یک تفاوت کلیدی: به جای استفاده از BERT به عنوان ستون فقرات، از معماری Reformer (ریفرمر) برای هر دو بخش «مولد» و «متمایزکننده» خود استفاده می‌کند. این انتخاب هوشمندانه به مدل اجازه می‌دهد تا اسناد بسیار طولانی را با کارایی محاسباتی بالا پردازش کند و وابستگی‌های معنایی دوربرد را که در قراردادها و سوابق دادگاه‌ها رایج است، به خوبی درک نماید. نتایج آزمایش‌ها نشان می‌دهد که لگال‌ریلکترا در پردازش متون حقوقی چنددامنه‌ای، عملکردی بهتر از مدل‌های زبان عمومی و همچنین مدل‌های تک‌دامنه‌ای (صرفاً حقوقی یا صرفاً پزشکی) دارد.

معماری لگال‌ریلکترا بر سه ستون اصلی بنا شده است که هر یک برای حل یکی از چالش‌های کلیدی متون حقوقی طراحی شده‌اند:

• چارچوب آموزشی ELECTRA: برخلاف مدل‌هایی مانند BERT که درصدی از کلمات ورودی را با توکن [MASK] جایگزین کرده و سعی در پیش‌بینی آن‌ها دارند، ELECTRA از یک رویکرد کارآمدتر به نام «تشخیص توکن جایگزین‌شده» (Replaced Token Detection) استفاده می‌کند. در این چارچوب، یک مدل «مولد» (Generator) کوچک، برخی از کلمات ورودی را با کلماتی محتمل اما نادرست جایگزین می‌کند. سپس یک مدل «متمایزکننده» (Discriminator) بسیار بزرگ‌تر و قوی‌تر، وظیفه دارد تشخیص دهد که کدام کلمات در متن اصلی بوده‌اند و کدام‌ها توسط مولد جایگزین شده‌اند. این وظیفه یادگیری را از پیش‌بینی چند کلمه به یک طبقه‌بندی باینری برای تمام کلمات متن تبدیل می‌کند که از نظر محاسباتی بسیار بهینه‌تر است و به یادگیری بازنمایی‌های غنی‌تر منجر می‌شود.
• معماری Reformer برای پردازش متون بلند: بزرگ‌ترین مانع در پردازش اسناد طولانی توسط مدل‌های ترنسفورمر، مکانیزم «توجه» (Attention) است که پیچیدگی محاسباتی آن با توان دوم طول متن افزایش می‌یابد. این یعنی دو برابر کردن طول متن، هزینه محاسبات را چهار برابر می‌کند. معماری Reformer با دو نوآوری کلیدی این مشکل را حل می‌کند:
  1. توجه مبتنی بر درهم‌سازی حساس به محلی (LSH Attention): به جای مقایسه هر کلمه با تمام کلمات دیگر، این روش کلمات مشابه را در گروه‌هایی (buckets) دسته‌بندی کرده و محاسبات توجه را تنها درون این گروه‌ها انجام می‌دهد. این کار پیچیدگی را از حالت نمایی به حالت تقریباً خطی کاهش می‌دهد.
  2. توجه برگشت‌پذیر (Reversible Attention): این تکنیک به مدل اجازه می‌دهد تا فعال‌سازی‌های لایه‌های میانی را در حین پس‌انتشار (backpropagation) بازسازی کند، به جای آنکه همه آن‌ها را در حافظه ذخیره نماید. این امر مصرف حافظه را به شدت کاهش می‌دهد.

  لگال‌ریلکترا با به‌کارگیری ریفرمر، قادر است اسنادی با ده‌ها هزار کلمه را به صورت یکپارچه تحلیل کند.

• آموزش بر روی داده‌های چنددامنه‌ای: نویسندگان به درستی تشخیص دادند که دانش حقوقی به تنهایی کافی نیست. آن‌ها مدل خود را بر روی ترکیبی از پیکره‌های متنی بزرگ آموزش دادند: یک مجموعه عظیم از اسناد حقوقی (شامل قوانین، رویه‌های قضایی و مقالات) و یک مجموعه جامع از متون پزشکی. این رویکرد ترکیبی به مدل امکان می‌دهد تا ارتباط میان مفاهیم حقوقی مانند «سهل‌انگاری» و اصطلاحات پزشکی مانند «آسیب نخاعی» را در یک پرونده آسیب شخصی درک کند؛ کاری که مدل‌های تک‌دامنه‌ای از انجام آن عاجزند.

ارزیابی‌های انجام شده در این مقاله، برتری لگال‌ریلکترا را در سناریوهای مختلف به وضوح نشان می‌دهد:

• برتری بر مدل‌های عمومی: لگال‌ریلکترا در وظایف پردازش زبان طبیعی روی متون حقوقی، به طور قابل توجهی از مدل‌های معروفی مانند BERT و RoBERTa که بر روی داده‌های عمومی وب آموزش دیده‌اند، بهتر عمل می‌کند. این امر نشان‌دهنده اهمیت آموزش تخصصی (domain-specific training) است.
• برتری بر مدل‌های تک‌دامنه‌ای: جالب‌تر آنکه، این مدل حتی از مدل‌های تخصصی حقوقی (مانند Legal-BERT) و پزشکی (مانند BioBERT) نیز در پردازش متون ترکیبی حقوقی-پزشکی عملکرد بهتری دارد. این یافته، ارزش استراتژی آموزش چنددامنه‌ای را برای مسائل دنیای واقعی تأیید می‌کند.
• توانایی درک متون بلند: در آزمایش‌هایی که به طور خاص برای سنجش فهم وابستگی‌های دوربرد طراحی شده بودند، معماری مبتنی بر ریفرمر در لگال‌ریلکترا توانایی برتر خود را در مقایسه با معماری‌های مبتنی بر BERT به اثبات رساند. این مدل توانست ارتباطات معنایی میان بخش‌های ابتدایی و انتهایی یک سند طولانی را به درستی تشخیص دهد.

موفقیت لگال‌ریلکترا راه را برای توسعه ابزارهای هوشمند قدرتمند در حوزه حقوق هموار می‌کند. برخی از کاربردهای بالقوه این مدل عبارتند از:

• کشف الکترونیکی (E-Discovery): تحلیل سریع میلیون‌ها سند برای یافتن شواهد مرتبط در دعاوی حقوقی، که می‌تواند فرآیند دادرسی را ماه‌ها کوتاه‌تر کند.
• تحلیل و بررسی قرارداد: شناسایی خودکار بندهای پرخطر، تناقضات یا بخش‌های ناموجود در قراردادهای تجاری طولانی و پیچیده.
• سیستم‌های پرسش و پاسخ حقوقی: ایجاد دستیارهای هوشمندی که می‌توانند به سؤالات حقوقی وکلا با استناد به قوانین و رویه‌های قضایی مرتبط پاسخ دهند.
• خلاصه‌سازی اسناد: تهیه خلاصه‌های دقیق و جامع از پرونده‌های طولانی، سوابق دادگاه‌ها و نظرات قضایی برای صرفه‌جویی در وقت متخصصان حقوقی.
• پیش‌بینی نتایج پرونده: تحلیل داده‌های پرونده‌های گذشته برای پیش‌بینی احتمال موفقیت در پرونده‌های جدید، که به وکلا در تصمیم‌گیری‌های استراتژیک کمک می‌کند.

دستاورد اصلی این مقاله، ارائه یک نقشه راه برای ساخت مدل‌های زبانی کارآمد برای سایر حوزه‌های تخصصی است که با متون طولانی و چنددامنه‌ای سر و کار دارند، مانند امور مالی، مهندسی و تحقیقات علمی.

مقاله “LegalRelectra” یک گام مهم رو به جلو در زمینه کاربرد هوش مصنوعی در حقوق است. این پژوهش نشان می‌دهد که با ترکیب هوشمندانه چارچوب‌های آموزشی کارآمد (ELECTRA)، معماری‌های بهینه برای پردازش دنباله‌های طولانی (Reformer) و استراتژی آموزش بر روی داده‌های چنددامنه‌ای، می‌توان بر پیچیدگی‌های منحصربه‌فرد زبان تخصصی غلبه کرد. لگال‌ریلکترا صرفاً یک مدل بهبودیافته نیست، بلکه نمونه‌ای موفق از نسل بعدی مدل‌های زبانی است که برای حل مسائل واقعی در دنیای حرفه‌ای طراحی شده‌اند. این مدل پتانسیل آن را دارد که به ابزاری ضروری برای وکلا، قضات و پژوهشگران حقوقی تبدیل شود و آینده تعامل انسان و ماشین در حوزه عدالت را شکل دهد.

در دهه‌های اخیر، هوش مصنوعی و پردازش زبان طبیعی (NLP) به ابزارهایی حیاتی برای تحول در صنایع مختلف تبدیل شده‌اند. حوزه حقوق، با حجم عظیم اسناد، متون پیچیده و زبان تخصصی، یکی از مستعدترین زمینه‌ها برای بهره‌برداری از این فناوری‌هاست. خودکارسازی وظایفی مانند بررسی قراردادها، تحقیق حقوقی و خلاصه‌سازی پرونده‌ها می‌تواند به طور چشمگیری کارایی و دقت را در خدمات حقوقی افزایش دهد. با این حال، مدل‌های زبان عمومی مانند BERT و RoBERTa، علی‌رغم توانمندی‌های گسترده، در مواجهه با چالش‌های منحصربه‌فرد متون حقوقی با محدودیت‌هایی روبرو هستند.

متون حقوقی نه تنها شامل واژگان و ساختارهای نحوی تخصصی هستند، بلکه اغلب بسیار طولانی بوده و درک آن‌ها نیازمند فهم وابستگی‌های معنایی در فواصل طولانی است. علاوه بر این، بسیاری از پرونده‌های حقوقی، مانند دعاوی آسیب‌های شخصی یا مالکیت فکری، ماهیتی چنددامنه‌ای (mixed-domain) دارند و واژگان تخصصی از حوزه‌های دیگر مانند پزشکی یا مهندسی را در خود جای داده‌اند. مقاله “LegalRelectra” با ارائه یک مدل زبان نوآورانه، به طور مستقیم این چالش‌های سه‌گانه – یعنی تخصصی بودن، طولانی بودن و چنددامنه‌ای بودن – را هدف قرار می‌دهد و راهکاری کارآمد برای فهم عمیق متون حقوقی مدرن ارائه می‌کند.

این مقاله توسط تیمی از پژوهشگران برجسته شامل ونیو هوا (Wenyue Hua)، یوچن ژانگ (Yuchen Zhang)، ژه چن (Zhe Chen)، جوزی لی (Josie Li) و ملانی وبر (Melanie Weber) به رشته تحریر درآمده است. این پژوهش در تقاطع دو حوزه کلیدی «محاسبات و زبان» (Computation and Language) و «رایانه و جامعه» (Computers and Society) قرار می‌گیرد. این تخصص ترکیبی نشان‌دهنده عمق نگاه نویسندگان به مسئله است؛ آن‌ها نه تنها بر جنبه‌های فنی و محاسباتی مدل‌سازی زبان تمرکز کرده‌اند، بلکه به کاربردهای عملی و تأثیرات اجتماعی این فناوری در حوزه حساس و مهمی مانند حقوق نیز توجه داشته‌اند. این رویکرد بین‌رشته‌ای به مقاله اعتباری دوچندان می‌بخشد.

مقاله، مدل زبانی جدیدی به نام LegalRelectra (لگال‌ریلکترا) را معرفی می‌کند که به طور خاص برای درک متون حقوقی طراحی شده است. برخلاف مدل‌های عمومی، لگال‌ریلکترا بر روی مجموعه‌ای از متون تخصصی حقوقی و پزشکی آموزش دیده است تا بتواند به خوبی از پس تحلیل متون چنددامنه‌ای مانند پرونده‌های قصور پزشکی یا آسیب‌های ناشی از حوادث برآید. این مدل از معماری نوآورانه ELECTRA بهره می‌برد اما با یک تفاوت کلیدی: به جای استفاده از BERT به عنوان ستون فقرات، از معماری Reformer (ریفرمر) برای هر دو بخش «مولد» و «متمایزکننده» خود استفاده می‌کند. این انتخاب هوشمندانه به مدل اجازه می‌دهد تا اسناد بسیار طولانی را با کارایی محاسباتی بالا پردازش کند و وابستگی‌های معنایی دوربرد را که در قراردادها و سوابق دادگاه‌ها رایج است، به خوبی درک نماید. نتایج آزمایش‌ها نشان می‌دهد که لگال‌ریلکترا در پردازش متون حقوقی چنددامنه‌ای، عملکردی بهتر از مدل‌های زبان عمومی و همچنین مدل‌های تک‌دامنه‌ای (صرفاً حقوقی یا صرفاً پزشکی) دارد.

معماری لگال‌ریلکترا بر سه ستون اصلی بنا شده است که هر یک برای حل یکی از چالش‌های کلیدی متون حقوقی طراحی شده‌اند:

• چارچوب آموزشی ELECTRA: برخلاف مدل‌هایی مانند BERT که درصدی از کلمات ورودی را با توکن [MASK] جایگزین کرده و سعی در پیش‌بینی آن‌ها دارند، ELECTRA از یک رویکرد کارآمدتر به نام «تشخیص توکن جایگزین‌شده» (Replaced Token Detection) استفاده می‌کند. در این چارچوب، یک مدل «مولد» (Generator) کوچک، برخی از کلمات ورودی را با کلماتی محتمل اما نادرست جایگزین می‌کند. سپس یک مدل «متمایزکننده» (Discriminator) بسیار بزرگ‌تر و قوی‌تر، وظیفه دارد تشخیص دهد که کدام کلمات در متن اصلی بوده‌اند و کدام‌ها توسط مولد جایگزین شده‌اند. این وظیفه یادگیری را از پیش‌بینی چند کلمه به یک طبقه‌بندی باینری برای تمام کلمات متن تبدیل می‌کند که از نظر محاسباتی بسیار بهینه‌تر است و به یادگیری بازنمایی‌های غنی‌تر منجر می‌شود.
• معماری Reformer برای پردازش متون بلند: بزرگ‌ترین مانع در پردازش اسناد طولانی توسط مدل‌های ترنسفورمر، مکانیزم «توجه» (Attention) است که پیچیدگی محاسباتی آن با توان دوم طول متن افزایش می‌یابد. این یعنی دو برابر کردن طول متن، هزینه محاسبات را چهار برابر می‌کند. معماری Reformer با دو نوآوری کلیدی این مشکل را حل می‌کند:
  1. توجه مبتنی بر درهم‌سازی حساس به محلی (LSH Attention): به جای مقایسه هر کلمه با تمام کلمات دیگر، این روش کلمات مشابه را در گروه‌هایی (buckets) دسته‌بندی کرده و محاسبات توجه را تنها درون این گروه‌ها انجام می‌دهد. این کار پیچیدگی را از حالت نمایی به حالت تقریباً خطی کاهش می‌دهد.
  2. توجه برگشت‌پذیر (Reversible Attention): این تکنیک به مدل اجازه می‌دهد تا فعال‌سازی‌های لایه‌های میانی را در حین پس‌انتشار (backpropagation) بازسازی کند، به جای آنکه همه آن‌ها را در حافظه ذخیره نماید. این امر مصرف حافظه را به شدت کاهش می‌دهد.

  لگال‌ریلکترا با به‌کارگیری ریفرمر، قادر است اسنادی با ده‌ها هزار کلمه را به صورت یکپارچه تحلیل کند.

• آموزش بر روی داده‌های چنددامنه‌ای: نویسندگان به درستی تشخیص دادند که دانش حقوقی به تنهایی کافی نیست. آن‌ها مدل خود را بر روی ترکیبی از پیکره‌های متنی بزرگ آموزش دادند: یک مجموعه عظیم از اسناد حقوقی (شامل قوانین، رویه‌های قضایی و مقالات) و یک مجموعه جامع از متون پزشکی. این رویکرد ترکیبی به مدل امکان می‌دهد تا ارتباط میان مفاهیم حقوقی مانند «سهل‌انگاری» و اصطلاحات پزشکی مانند «آسیب نخاعی» را در یک پرونده آسیب شخصی درک کند؛ کاری که مدل‌های تک‌دامنه‌ای از انجام آن عاجزند.

ارزیابی‌های انجام شده در این مقاله، برتری لگال‌ریلکترا را در سناریوهای مختلف به وضوح نشان می‌دهد:

• برتری بر مدل‌های عمومی: لگال‌ریلکترا در وظایف پردازش زبان طبیعی روی متون حقوقی، به طور قابل توجهی از مدل‌های معروفی مانند BERT و RoBERTa که بر روی داده‌های عمومی وب آموزش دیده‌اند، بهتر عمل می‌کند. این امر نشان‌دهنده اهمیت آموزش تخصصی (domain-specific training) است.
• برتری بر مدل‌های تک‌دامنه‌ای: جالب‌تر آنکه، این مدل حتی از مدل‌های تخصصی حقوقی (مانند Legal-BERT) و پزشکی (مانند BioBERT) نیز در پردازش متون ترکیبی حقوقی-پزشکی عملکرد بهتری دارد. این یافته، ارزش استراتژی آموزش چنددامنه‌ای را برای مسائل دنیای واقعی تأیید می‌کند.
• توانایی درک متون بلند: در آزمایش‌هایی که به طور خاص برای سنجش فهم وابستگی‌های دوربرد طراحی شده بودند، معماری مبتنی بر ریفرمر در لگال‌ریلکترا توانایی برتر خود را در مقایسه با معماری‌های مبتنی بر BERT به اثبات رساند. این مدل توانست ارتباطات معنایی میان بخش‌های ابتدایی و انتهایی یک سند طولانی را به درستی تشخیص دهد.

موفقیت لگال‌ریلکترا راه را برای توسعه ابزارهای هوشمند قدرتمند در حوزه حقوق هموار می‌کند. برخی از کاربردهای بالقوه این مدل عبارتند از:

• کشف الکترونیکی (E-Discovery): تحلیل سریع میلیون‌ها سند برای یافتن شواهد مرتبط در دعاوی حقوقی، که می‌تواند فرآیند دادرسی را ماه‌ها کوتاه‌تر کند.
• تحلیل و بررسی قرارداد: شناسایی خودکار بندهای پرخطر، تناقضات یا بخش‌های ناموجود در قراردادهای تجاری طولانی و پیچیده.
• سیستم‌های پرسش و پاسخ حقوقی: ایجاد دستیارهای هوشمندی که می‌توانند به سؤالات حقوقی وکلا با استناد به قوانین و رویه‌های قضایی مرتبط پاسخ دهند.
• خلاصه‌سازی اسناد: تهیه خلاصه‌های دقیق و جامع از پرونده‌های طولانی، سوابق دادگاه‌ها و نظرات قضایی برای صرفه‌جویی در وقت متخصصان حقوقی.
• پیش‌بینی نتایج پرونده: تحلیل داده‌های پرونده‌های گذشته برای پیش‌بینی احتمال موفقیت در پرونده‌های جدید، که به وکلا در تصمیم‌گیری‌های استراتژیک کمک می‌کند.

دستاورد اصلی این مقاله، ارائه یک نقشه راه برای ساخت مدل‌های زبانی کارآمد برای سایر حوزه‌های تخصصی است که با متون طولانی و چنددامنه‌ای سر و کار دارند، مانند امور مالی، مهندسی و تحقیقات علمی.

مقاله “LegalRelectra” یک گام مهم رو به جلو در زمینه کاربرد هوش مصنوعی در حقوق است. این پژوهش نشان می‌دهد که با ترکیب هوشمندانه چارچوب‌های آموزشی کارآمد (ELECTRA)، معماری‌های بهینه برای پردازش دنباله‌های طولانی (Reformer) و استراتژی آموزش بر روی داده‌های چنددامنه‌ای، می‌توان بر پیچیدگی‌های منحصربه‌فرد زبان تخصصی غلبه کرد. لگال‌ریلکترا صرفاً یک مدل بهبودیافته نیست، بلکه نمونه‌ای موفق از نسل بعدی مدل‌های زبانی است که برای حل مسائل واقعی در دنیای حرفه‌ای طراحی شده‌اند. این مدل پتانسیل آن را دارد که به ابزاری ضروری برای وکلا، قضات و پژوهشگران حقوقی تبدیل شود و آینده تعامل انسان و ماشین در حوزه عدالت را شکل دهد.