در دنیای پردازش زبان طبیعی (NLP)، یادگیری خود-نظارتی (Self-Supervised Learning) انقلابی به پا کرده و امکان آموزش مدل‌های قدرتمند را بدون نیاز به حجم عظیمی از داده‌های برچسب‌دار فراهم آورده است. با این حال، سوال مهمی که همواره مطرح بوده این است که چه زمانی سرمایه‌گذاری هنگفت بر روی پیش‌آموزش (Pretraining) تخصصی یک دامنه خاص، ارزش خود را نشان می‌دهد؟ به ویژه در حوزه‌ی زبان حقوقی که به نظر می‌رسد زبانی منحصر به فرد و تخصصی دارد، دستیابی به دستاوردهای قابل توجه از پیش‌آموزش تخصصی، تا کنون کمتر مستند شده است. این مقاله علمی به این پرسش بنیادین پاسخ می‌دهد و راهنمایی عملی برای محققان در تصمیم‌گیری جهت استفاده از روش‌های پیش‌آموزش پرهزینه ارائه می‌دهد.

این پژوهش توسط لوچیا ژنگ، نیل گوها، براندون آر. اندرسون، پیتر هندرسون و دانیل ای. هو نگاشته شده است. این تیم تحقیقاتی در تقاطع حوزه علوم کامپیوتر (به ویژه پردازش زبان طبیعی) و مطالعات حقوقی فعالیت می‌کند. زمینه تحقیق اصلی آن‌ها، ارزیابی اثربخشی تکنیک‌های یادگیری ماشین، به‌ویژه یادگیری خود-نظارتی و پیش‌آموزش تخصصی دامنه، بر روی وظایف مرتبط با حوزه حقوق است. هدف آن‌ها درک عمیق‌تر چگونگی تعامل مدل‌های زبان با زبان حقوقی پیچیده و تعیین معیارهایی برای موفقیت پیش‌آموزش‌های پرهزینه است.

چکیده مقاله بیان می‌کند که با وجود پیشرفت‌های چشمگیر یادگیری خود-نظارتی در پردازش زبان طبیعی، مشخص نیست که محققان چه زمانی باید به سراغ پیش‌آموزش پرهزینه و تخصصی دامنه بروند. حوزه حقوق، با وجود اینکه زبان آن به طور گسترده‌ای منحصر به فرد تلقی می‌شود، موارد کمی از دستاوردهای قابل توجه ناشی از پیش‌آموزش تخصصی را گزارش کرده است. نویسندگان حدس می‌زنند که این نتایج موجود، ناشی از سادگی بیش از حد وظایف فعلی NLP در حوزه حقوق است که شرایط لازم برای اثربخشی پیش‌آموزش تخصصی را برآورده نمی‌کنند.

برای رفع این مشکل، مقاله دو نوآوری اصلی دارد:

• معرفی مجموعه داده CaseHOLD: این مجموعه داده جدید که از بیش از ۵۳,۰۰۰ سوال چهارگزینه‌ای برای شناسایی بخش اصلی (holding) یک پرونده استناد شده تشکیل شده است. این وظیفه، یک کار اساسی برای حقوقدانان محسوب می‌شود و از نظر معنایی حقوقی مهم و از منظر پردازش زبان طبیعی دشوار است (با یک مدل پایه BiLSTM، دقت F1 حدود ۰.۴ حاصل می‌شود).
• ارزیابی عملکرد: پژوهشگران، میزان پیشرفت عملکرد را در مجموعه داده CaseHOLD و سایر مجموعه داده‌های موجود در حوزه حقوق مورد بررسی قرار می‌دهند.

یافته‌های اولیه نشان می‌دهند که یک معماری ترنسفورمر (مانند BERT) که بر روی مجموعه‌ای از داده‌های عمومی (مانند Google Books و Wikipedia) پیش‌آموزش دیده است، عملکرد را بهبود می‌بخشد. با این حال، پیش‌آموزش تخصصی دامنه (با استفاده از مجموعه‌ای شامل حدود ۳.۵ میلیون تصمیم از تمام دادگاه‌های ایالات متحده که بزرگتر از مجموعه داده BERT است) و با واژگان حقوقی سفارشی، بیشترین پیشرفت چشمگیر عملکرد را در CaseHOLD (افزایش ۷.۲٪ در F1، معادل ۱۲٪ بهبود نسبت به BERT) و بهبود عملکرد مداوم در دو وظیفه حقوقی دیگر نشان می‌دهد.

در نهایت، نویسندگان نشان می‌دهند که پیش‌آموزش دامنه زمانی ممکن است موجه باشد که وظیفه مورد نظر، شباهت کافی به مجموعه داده پیش‌آموزش را از خود نشان دهد. میزان افزایش عملکرد در سه وظیفه حقوقی، مستقیماً با میزان خاص بودن دامنه وظیفه مرتبط بود. یافته‌های این پژوهش به محققان کمک می‌کند تا در زمان مناسب به سراغ پیش‌آموزش پرهزینه بروند و همچنین نشان می‌دهد که معماری‌های مبتنی بر ترنسفورمر نیز، نمایشگر زبان منحصر به فرد حقوقی هستند.

روش‌شناسی تحقیق در این مقاله بر پایه‌های محکمی استوار است که امکان ارزیابی دقیق و معنادار را فراهم می‌کند:

• ایجاد مجموعه داده CaseHOLD: هسته اصلی این پژوهش، معرفی و استفاده از مجموعه داده CaseHOLD است. این مجموعه داده با هدف ایجاد یک وظیفه چالش‌برانگیز اما مرتبط برای حوزه حقوق طراحی شده است. این مجموعه داده شامل بیش از ۵۳,۰۰۰ سوال چهارگزینه‌ای است که در آن از مدل خواسته می‌شود بخش اصلی (holding) یک پرونده حقوقی که به آن ارجاع داده شده است را شناسایی کند. این وظیفه، پیچیدگی‌های زبانی و منطقی قابل توجهی دارد و برای سیستم‌های NLP به سادگی قابل حل نیست.
• مقایسه مدل‌های پیش‌آموزش‌دیده: برای ارزیابی اثربخشی پیش‌آموزش تخصصی، نویسندگان چندین سناریو را مقایسه می‌کنند:
  • مدل پایه (Baseline): استفاده از یک معماری استاندارد مانند BiLSTM بدون هیچ‌گونه پیش‌آموزش تخصصی، به عنوان نقطه مرجع.
  • پیش‌آموزش عمومی: استفاده از مدل‌های قدرتمند مانند BERT که بر روی مجموعه‌های داده عظیم و عمومی (مانند Google Books و Wikipedia) پیش‌آموزش دیده‌اند.
  • پیش‌آموزش تخصصی دامنه: آموزش یک مدل مشابه BERT (یا معماری ترنسفورمر دیگر) بر روی یک مجموعه عظیم از متون حقوقی (شامل ۳.۵ میلیون تصمیم دادگاه) با استفاده از واژگان تخصصی حقوقی.
• ارزیابی در وظایف مختلف: عملکرد مدل‌ها نه تنها بر روی مجموعه داده جدید CaseHOLD، بلکه بر روی مجموعه داده‌های موجود دیگر در حوزه NLP حقوقی نیز ارزیابی می‌شود. این کار به محققان اجازه می‌دهد تا تعمیم‌پذیری یافته‌ها و اثربخشی رویکردهای مختلف را در سناریوهای گوناگون بسنجند.
• تحلیل ارتباط با خاص بودن دامنه: یک بخش مهم از روش‌شناسی، بررسی این موضوع است که آیا میزان بهبود عملکرد مدل‌ها با میزان خاص بودن دامنه وظیفه مرتبط است یا خیر. این امر با مقایسه میزان افزایش عملکرد در وظایف با سطوح مختلف وابستگی به اصطلاحات حقوقی انجام می‌شود.

استفاده از معیار F1 برای ارزیابی دقت، یک استاندارد در وظایف طبقه‌بندی و بازیابی اطلاعات است و به خصوص در مواردی که تعادل بین دقت (Precision) و بازیابی (Recall) مهم است، کاربرد فراوانی دارد.

این پژوهش به مجموعه‌ای از یافته‌های مهم دست یافته است که درک ما را از پیش‌آموزش در حوزه حقوق دگرگون می‌کند:

• چالش‌برانگیز بودن زبان حقوقی: نتایج حاصل از مدل پایه BiLSTM بر روی CaseHOLD، که به دقت F1 حدود ۰.۴ دست یافت، نشان‌دهنده دشواری ذاتی این وظیفه و زبان حقوقی است. این امر فرضیه نویسندگان مبنی بر اینکه وظایف قبلی ممکن است بیش از حد آسان بوده‌اند را تایید می‌کند.
• اثربخشی پیش‌آموزش عمومی: پیش‌آموزش بر روی مجموعه‌های داده عمومی (مانند BERT) نتایج قابل قبولی را در وظایف حقوقی به همراه دارد، که نشان‌دهنده توانایی این مدل‌ها در یادگیری الگوهای زبانی کلی است.
• برتری قاطع پیش‌آموزش تخصصی دامنه: مهمترین یافته این مقاله، برتری چشمگیر پیش‌آموزش مدل‌ها بر روی مجموعه داده‌های عظیم و تخصصی حقوقی است. در مجموعه داده CaseHOLD، این رویکرد توانست دقت F1 را ۷.۲٪ افزایش دهد، که معادل بهبود ۱۲٪ نسبت به مدل BERT پیش‌آموزش‌دیده عمومی بود. این نشان می‌دهد که درک عمیق‌تر اصطلاحات، ساختارها و مفاهیم حقوقی، به طور قابل توجهی عملکرد را بهبود می‌بخشد.
• ارتباط بین خاص بودن دامنه و بهبود عملکرد: پژوهش به وضوح نشان می‌دهد که میزان پیشرفت عملکرد مدل‌ها، رابطه مستقیمی با میزان خاص بودن دامنه وظیفه دارد. وظایفی که به شدت به زبان و مفاهیم حقوقی خاص متکی هستند، بیشترین بهره را از پیش‌آموزش تخصصی می‌برند. این یافته، یک راهنمای کلیدی برای تصمیم‌گیری در مورد سرمایه‌گذاری بر روی پیش‌آموزش است.
• یادگیری نمایش‌های زبانی منحصر به فرد: حتی معماری‌های ترنسفورمر نیز، پس از پیش‌آموزش بر روی داده‌های حقوقی، نمایش‌هایی (embeddings) را یاد می‌گیرند که نشان‌دهنده ماهیت متمایز زبان حقوقی است. این به معنای آن است که مدل‌ها قادر به تمایز و درک ظرایف زبانی این حوزه هستند.

این پژوهش دارای پیامدهای عملی و دستاوردهای مهمی برای جامعه علمی و حرفه‌ای حقوقی است:

• راهنمایی برای محققان NLP: مهمترین دستاورد این مقاله، ارائه یک چارچوب روشن برای تعیین زمان و چگونگی استفاده از پیش‌آموزش تخصصی دامنه است. این امر به محققان کمک می‌کند تا منابع محاسباتی و زمانی خود را به طور مؤثرتری تخصیص دهند و از سرمایه‌گذاری‌های بی‌ثمر جلوگیری کنند.
• توسعه ابزارهای پیشرفته حقوقی: با نشان دادن اثربخشی پیش‌آموزش تخصصی، این تحقیق راه را برای توسعه ابزارهای NLP قدرتمندتر در حوزه حقوق هموار می‌سازد. این ابزارها می‌توانند در زمینه‌هایی مانند:
  • جستجوی پیشرفته اسناد حقوقی: یافتن سریع‌تر و دقیق‌تر پرونده‌ها و قوانین مرتبط.
  • تحلیل قراردادها: شناسایی بندهای کلیدی، ریسک‌ها و موارد ابهام.
  • کمک به وکلا در تحقیقات: خلاصه‌سازی پرونده‌ها، استخراج اطلاعات حیاتی و پیش‌بینی نتایج احتمالی.
  • آموزش حقوقی: ایجاد ابزارهای تعاملی برای دانشجویان حقوق.
• درک بهتر زبان حقوقی: این پژوهش به ما کمک می‌کند تا درک عمیق‌تری از چگونگی پردازش و نمایش زبان حقوقی پیچیده توسط مدل‌های یادگیری ماشین پیدا کنیم. این موضوع می‌تواند به نوآوری در طراحی مدل‌ها و الگوریتم‌های NLP نیز منجر شود.
• استانداردسازی وظایف و مجموعه داده‌ها: معرفی مجموعه داده CaseHOLD، گامی مهم در جهت استانداردسازی ارزیابی مدل‌های NLP در حوزه حقوق است. وجود معیارهای مشترک، امکان مقایسه عادلانه تحقیقات مختلف را فراهم می‌آورد.

به طور کلی، این مقاله نشان می‌دهد که با وجود چالش‌ها، زبان حقوقی قابل مدل‌سازی است و پیش‌آموزش تخصصی، کلید دستیابی به نتایج درخشان است.

مقاله “پیش‌آموزش چه زمانی کمک می‌کند؟ ارزیابی یادگیری خود-نظارتی برای حقوق و مجموعه داده CaseHOLD” به پرسشی حیاتی در حوزه پردازش زبان طبیعی پاسخ می‌دهد و نتایج بسیار روشنگری ارائه می‌دهد. یافته‌های کلیدی این پژوهش بر اهمیت پیش‌آموزش تخصصی دامنه، به ویژه در حوزه‌هایی مانند حقوق که زبان آن‌ها منحصر به فرد و پیچیده است، تأکید می‌کند.

با معرفی مجموعه داده CaseHOLD، محققان یک ابزار ارزشمند برای ارزیابی مدل‌های NLP در یک وظیفه واقع‌گرایانه و چالش‌برانگیز حقوقی در اختیار دارند. این مجموعه داده، همراه با روش‌شناسی دقیق مقایسه مدل‌های پیش‌آموزش‌دیده عمومی و تخصصی، به وضوح نشان می‌دهد که سرمایه‌گذاری بر روی پیش‌آموزش با استفاده از حجم انبوهی از متون حقوقی، منجر به بهبود چشمگیری در عملکرد می‌شود. این بهبود، به طور خاص زمانی مشهود است که وظیفه مورد نظر، میزان بالایی از وابستگی به اصطلاحات و ساختارهای خاص دامنه حقوقی را نشان دهد.

این تحقیق نه تنها راهنمایی عملی برای محققان در مورد زمان و چرایی استفاده از تکنیک‌های پرهزینه پیش‌آموزش ارائه می‌دهد، بلکه نشان می‌دهد که مدل‌های پیشرفته یادگیری ماشین قادر به درک و نمایش ظرافت‌های زبان حقوقی هستند. این دستاوردها راه را برای توسعه نسل جدیدی از ابزارهای هوشمند و کارآمد در حوزه حقوق باز می‌کند که می‌تواند به طور قابل توجهی بهره‌وری حقوقدانان، پژوهشگران و حتی دانشجویان حقوق را افزایش دهد.

در نهایت، این مقاله یک گام مهم به سوی پر کردن شکاف بین هوش مصنوعی و علوم انسانی، به ویژه در حوزه حقوق، برمی‌دارد و نشان می‌دهد که چگونه دانش تخصصی دامنه، زمانی که با تکنیک‌های قدرتمند یادگیری ماشین ترکیب شود، می‌تواند به نتایج فوق‌العاده‌ای منجر گردد.