معرفی مقاله و اهمیت آن

در عصر اطلاعات کنونی، حجم عظیمی از داده‌ها در قالب اسناد متنی تولید می‌شوند که استخراج دقیق و کارآمد اطلاعات از آن‌ها برای سازمان‌ها و پژوهشگران حیاتی است. استخراج اطلاعات کلیدی (Key Information Extraction – KIE) یکی از چالش‌برانگیزترین و در عین حال مهم‌ترین وظایف در حوزه پردازش زبان طبیعی (NLP) است. این فرآیند شامل شناسایی و استخراج قطعات خاصی از اطلاعات (مانند نام، تاریخ، مبالغ، شرایط و ضوابط) از اسناد متنی می‌شود. با این حال، یکی از موانع اصلی در پیشرفت این حوزه، کمبود مجموعه‌داده‌های (datasets) استاندارد و جامع است که بتوانند پیچیدگی‌های اسناد دنیای واقعی را به خوبی منعکس کنند.

مقاله “Kleister: Key Information Extraction Datasets Involving Long Documents with Complex Layouts” (کلاستر: مجموعه‌داده‌های استخراج اطلاعات کلیدی از اسناد بلند با ساختارهای پیچیده) به تالیف توماش استانیسلاوک و همکارانش، تلاشی چشمگیر برای پر کردن این شکاف است. این پژوهش دو مجموعه‌داده جدید و چالش‌برانگیز را معرفی می‌کند که به طور خاص برای ارزیابی و توسعه سیستم‌های KIE طراحی شده‌اند. اهمیت این مقاله از آنجا ناشی می‌شود که با ارائه این مجموعه‌داده‌ها، بستری برای توسعه مدل‌های پیشرفته‌تر فراهم می‌آورد که قادر به مقابله با اسناد بلند، دارای ساختارهای پیچیده و ترکیبی از اسناد اسکن‌شده و دیجیتال بومی هستند. این امر می‌تواند به پیشرفت‌های قابل توجهی در اتوماسیون فرآیندهای تجاری، حقوقی و مالی منجر شود.

نویسندگان و زمینه تحقیق

این مقاله توسط تیمی از محققان شامل Tomasz Stanisławek, Filip Graliński, Anna Wróblewska, Dawid Lipiński, Agnieszka Kaliska, Paulina Rosalska, Bartosz Topolski و Przemysław Biecek به رشته تحریر درآمده است. تخصص این نویسندگان در زمینه‌هایی نظیر پردازش زبان طبیعی، یادگیری ماشین و هوش مصنوعی، به اعتبار و عمق علمی این کار می‌افزاید. کار آن‌ها در چارچوب محاسبات و زبان (Computation and Language) قرار می‌گیرد که زیرمجموعه‌ای از علوم کامپیوتر است و به بررسی چگونگی تعامل کامپیوترها با زبان‌های انسانی می‌پردازد.

زمینه اصلی این تحقیق، پردازش زبان طبیعی (NLP) و به طور خاص، استخراج اطلاعات از اسناد است. در سال‌های اخیر، NLP با پیشرفت‌های چشمگیری مواجه بوده است، اما چالش‌های مربوط به استخراج اطلاعات از اسناد با فرمت‌های پیچیده همچنان باقی است. سیستم‌های KIE نه تنها باید معنای متن را درک کنند، بلکه باید از ویژگی‌های ساختاری و بصری (مانند چیدمان، فونت، جداول و تصاویر) نیز برای شناسایی اطلاعات کلیدی بهره ببرند. این پژوهش، با تمرکز بر اسناد حقوقی (قراردادهای عدم افشا) و مالی (گزارش‌های سالانه خیریه‌ها)، اهمیت استخراج دقیق اطلاعات در محیط‌های با ریسک بالا را برجسته می‌کند، جایی که حتی خطاهای کوچک می‌توانند پیامدهای جدی داشته باشند.

چکیده و خلاصه محتوا

چکیده مقاله به وضوح بیان می‌کند که با وجود اهمیت فزاینده وظیفه استخراج اطلاعات کلیدی (KIE) در مسائل پردازش زبان طبیعی، هنوز تعداد کمی مسائل خوب تعریف شده وجود دارند که به عنوان معیار و بنچمارک برای راه حل‌های این حوزه عمل کنند. برای رفع این کمبود، محققان دو مجموعه‌داده جدید را با نام‌های Kleister NDA و Kleister Charity معرفی کرده‌اند.

• ویژگی‌های مشترک مجموعه‌داده‌ها: این مجموعه‌داده‌ها شامل ترکیبی از اسناد بلند، رسمی و انگلیسی‌زبان هستند که هم به صورت اسکن‌شده و هم به صورت دیجیتال بومی (born-digital) موجود می‌باشند. از یک سیستم NLP انتظار می‌رود که با استفاده از ویژگی‌های متنی و ساختاری چیدمان (layout)، انواع مختلفی از موجودیت‌ها را پیدا یا استنتاج کند.

• مجموعه‌داده Kleister Charity: این مجموعه شامل 2,788 گزارش مالی سالانه سازمان‌های خیریه است. این اسناد روی هم رفته 61,643 صفحه منحصر به فرد و 21,612 موجودیت برای استخراج دارند. این موجودیت‌ها می‌توانند شامل ارقام مالی کلیدی، تاریخ‌ها، نام نهادها و سایر اطلاعات مهم باشند.

• مجموعه‌داده Kleister NDA: این مجموعه دارای 540 قرارداد عدم افشا (Non-disclosure Agreements) است. این اسناد نیز در مجموع 3,229 صفحه منحصر به فرد و 2,160 موجودیت برای استخراج دارند. موجودیت‌های مورد نظر در این مجموعه عمدتاً شامل نام طرفین قرارداد، تاریخ‌ها، موضوع قرارداد و بندهای کلیدی حقوقی هستند.

محققان برای ارزیابی سطح چالش این مجموعه‌داده‌ها، چندین سیستم پیشرفته پایه (baseline) از حوزه KIE نظیر Flair، BERT، RoBERTa، LayoutLM و LAMBERT را مورد استفاده قرار داده‌اند. نتایج نشان می‌دهد که این مجموعه‌داده‌ها یک چالش قوی برای مدل‌های موجود ایجاد می‌کنند. بهترین مدل به ترتیب امتیاز F1 81.77% و 83.57% را در مجموعه‌داده‌های Kleister NDA و Kleister Charity به دست آورده است. هدف نهایی از به اشتراک‌گذاری این مجموعه‌داده‌ها، تشویق پیشرفت در وظایف استخراج اطلاعات عمیق‌تر و پیچیده‌تر است.

روش‌شناسی تحقیق

روش‌شناسی به کار رفته در این تحقیق شامل مراحل دقیق جمع‌آوری، آماده‌سازی و اعتبارسنجی مجموعه‌داده‌ها، و همچنین ارزیابی مدل‌های پایه است. این رویکرد ساختاریافته تضمین می‌کند که مجموعه‌داده‌های ایجاد شده از کیفیت بالا و قابلیت اطمینان لازم برای تحقیقات آتی برخوردار باشند.

1. جمع‌آوری و انتخاب اسناد:

• Kleister Charity: اسناد از گزارش‌های مالی سالانه سازمان‌های خیریه انگلیسی زبان جمع‌آوری شده‌اند. این اسناد اغلب بسیار بلند هستند (چندین ده صفحه) و شامل اطلاعات مالی مفصل، جداول، نمودارها و توضیحات متنی می‌باشند. تنوع در فرمت و چیدمان این گزارش‌ها بسیار زیاد است، زیرا هر سازمان ممکن است از قالب خاص خود استفاده کند.

• Kleister NDA: قراردادهای عدم افشا (NDA) از منابع مختلف جمع‌آوری شده‌اند. این اسناد عمدتاً دارای ساختاری حقوقی هستند که شامل بندها، مفاد و اصطلاحات خاص حقوقی است. با وجود ساختار نسبتاً مشابه، جزئیات و چیدمان می‌تواند بین اسناد متفاوت باشد.

• توجه ویژه به ترکیب اسناد اسکن‌شده و دیجیتال بومی شده است. اسناد اسکن‌شده چالش‌های اضافی نظیر خطاهای OCR (Optical Character Recognition) و افت کیفیت تصویر را به همراه دارند، در حالی که اسناد دیجیتال بومی ممکن است دارای چیدمان‌های پیچیده‌تر با عناصر تعاملی باشند.

2. فرآیند حاشیه‌نویسی (Annotation):

• استخراج اطلاعات کلیدی نیازمند حاشیه‌نویسی دقیق موجودیت‌ها در هر سند است. این فرآیند با استفاده از ترکیبی از روش‌های دستی و نیمه‌خودکار انجام شده تا دقت بالایی حاصل شود. حاشیه‌نویسان باید نه تنها متن موجودیت‌ها را شناسایی کنند، بلکه گاهی اوقات مجبور به استنتاج اطلاعات از زمینه و ساختار کلی سند نیز بوده‌اند.

• به عنوان مثال، در گزارش‌های مالی، یک عدد ممکن است در چندین مکان ظاهر شود، اما حاشیه‌نویس باید مقدار صحیح مربوط به یک موجودیت خاص (مانند “کل درآمد سال جاری”) را تشخیص دهد. در NDAs نیز، شناسایی “طرف افشا کننده” یا “طرف دریافت کننده” ممکن است نیاز به درک روابط بین بندها داشته باشد.

3. انتخاب و ارزیابی مدل‌های پایه (Baselines):

• برای نشان دادن سطح چالش مجموعه‌داده‌ها، نویسندگان از مجموعه‌ای از مدل‌های پیشرفته KIE استفاده کرده‌اند. این مدل‌ها شامل Flair (مدلی مبتنی بر جاسازی‌های متنی)، BERT و RoBERTa (مدل‌های ترانسفورمر که بر فهم زبان تمرکز دارند)، و LayoutLM و LAMBERT (مدل‌هایی که علاوه بر متن، از اطلاعات چیدمان بصری نیز بهره می‌برند) می‌باشند.

• این مدل‌ها بر روی مجموعه‌داده‌ها آموزش داده شده و با استفاده از امتیاز F1 (یک معیار متداول برای ارزیابی دقت مدل در شناسایی موجودیت‌ها) مورد ارزیابی قرار گرفته‌اند. انتخاب این مدل‌ها تنوعی از رویکردهای موجود در حوزه KIE را پوشش می‌دهد و امکان مقایسه عملکرد را فراهم می‌سازد.

یافته‌های کلیدی

نتایج حاصل از ارزیابی مدل‌های پایه بر روی مجموعه‌داده‌های Kleister NDA و Kleister Charity به وضوح نشان می‌دهد که این مجموعه‌داده‌ها یک چالش جدی برای سیستم‌های KIE کنونی ایجاد می‌کنند. این یافته‌ها نه تنها بر کمبودهای موجود در مدل‌های فعلی تأکید می‌کنند، بلکه مسیرهایی را برای تحقیقات آتی نیز مشخص می‌سازند.

• عملکرد مدل‌های پایه:

  • بهترین مدل توانست امتیاز F1 81.77% را بر روی مجموعه‌داده Kleister NDA و 83.57% را بر روی مجموعه‌داده Kleister Charity کسب کند. این اعداد در نگاه اول ممکن است بالا به نظر برسند، اما برای یک وظیفه حیاتی مانند استخراج اطلاعات کلیدی از اسناد رسمی که نیاز به دقت بسیار بالا دارد (نزدیک به 99% یا بیشتر)، این مقادیر نشان‌دهنده وجود فضای قابل توجه برای بهبود هستند.

  • مقایسه عملکرد بین مدل‌های مختلف نشان داد که مدل‌هایی که اطلاعات چیدمان (layout information) را در نظر می‌گیرند (مانند LayoutLM و LAMBERT) معمولاً عملکرد بهتری نسبت به مدل‌های صرفاً متنی (مانند BERT و RoBERTa) از خود نشان دادند. این امر بر اهمیت ادغام ویژگی‌های بصری و ساختاری سند در کنار متن تأکید می‌کند.

• دلایل چالش‌برانگیز بودن مجموعه‌داده‌ها:

  • اسناد بلند: برخلاف بسیاری از مجموعه‌داده‌های KIE موجود که بر روی اسناد کوتاه مانند فاکتورها یا رسیدها تمرکز دارند، اسناد Kleister بلند و چندصفحه‌ای هستند. این ویژگی، مدل‌ها را مجبور می‌کند تا وابستگی‌های طولانی‌مدت (long-range dependencies) را درک کنند، به این معنی که اطلاعات لازم برای استخراج یک موجودیت ممکن است در صفحه‌ای بسیار دورتر از مکان واقعی آن موجودیت قرار گرفته باشد.

  • ساختارهای پیچیده: اسناد مورد استفاده دارای چیدمان‌های بصری بسیار متنوعی هستند، شامل جداول، لیست‌ها، پاراگراف‌های چندستونی، سرصفحه‌ها و پاصفحه‌ها، و همچنین تغییرات در فونت و اندازه متن. این پیچیدگی‌ها، استخراج اطلاعات را دشوار می‌سازد، زیرا سیستم باید بتواند مرزهای موجودیت‌ها را به درستی در میان این عناصر بصری تشخیص دهد.

  • ترکیب اسناد اسکن‌شده و دیجیتال بومی: حضور اسناد اسکن‌شده به معنای وجود خطاهای OCR است که می‌تواند کیفیت متن ورودی را کاهش داده و بازیابی اطلاعات را با مشکل مواجه کند. مدل‌ها باید نسبت به این نویز مقاوم باشند.

  • استنتاج (Inference): در برخی موارد، اطلاعات کلیدی به صورت صریح در متن بیان نشده و مدل باید با استفاده از زمینه کلی سند یا روابط بین موجودیت‌ها، آن را استنتاج کند. این نیاز به درک عمیق‌تری از محتوا و ساختار دارد.

این یافته‌ها به روشنی نشان می‌دهند که با وجود پیشرفت‌های اخیر در NLP، هنوز هم فضای زیادی برای توسعه مدل‌های قدرتمندتر و با دقت بالاتر برای وظیفه KIE در اسناد دنیای واقعی وجود دارد.

کاربردها و دستاوردها

معرفی مجموعه‌داده‌های Kleister NDA و Kleister Charity گام بزرگی در جهت پیشبرد تحقیقات در حوزه استخراج اطلاعات کلیدی است و دستاوردهای متعددی را به همراه دارد:

• پر کردن شکاف در مجموعه‌داده‌ها: اصلی‌ترین دستاورد این تحقیق، ارائه دو مجموعه‌داده با کیفیت بالا و چالش‌برانگیز است که کمبود منابع برای اسناد بلند و پیچیده را برطرف می‌کند. این مجموعه‌داده‌ها به عنوان بنچمارک‌های جدید عمل کرده و به محققان این امکان را می‌دهند تا مدل‌های خود را در شرایط واقعی‌تر و دشوارتری ارزیابی کنند.

• تشویق به نوآوری در مدل‌سازی: چالش‌هایی که این مجموعه‌داده‌ها مطرح می‌کنند، محققان را به سمت توسعه مدل‌های چندوجهی (multimodal) ترغیب می‌کند که نه تنها متن، بلکه ویژگی‌های بصری و ساختاری اسناد را نیز به طور مؤثرتری پردازش کنند. این امر می‌تواند به نسل جدیدی از الگوریتم‌ها منجر شود که درک جامع‌تری از اسناد دارند.

• کاربردهای عملی گسترده:

  • صنعت مالی: در حوزه مالی، استخراج خودکار ارقام کلیدی مانند درآمد، سود، هزینه‌ها و دارایی‌ها از گزارش‌های سالانه، می‌تواند به تحلیلگران مالی کمک کند تا تصمیمات سرمایه‌گذاری را سریع‌تر و دقیق‌تر اتخاذ کنند. Kleister Charity مستقیماً به این نیاز پاسخ می‌دهد.

  • حوزه حقوقی: در بخش حقوقی، اتوماسیون استخراج اطلاعات از قراردادهای عدم افشا (NDAs)، قراردادهای اجاره، توافق‌نامه‌ها و سایر اسناد حقوقی، زمان و هزینه بررسی‌های دستی را به شدت کاهش می‌دهد. این امر به وکلا و مشاوران حقوقی اجازه می‌دهد تا بر روی مسائل پیچیده‌تر تمرکز کنند. Kleister NDA یک ابزار ایده‌آل برای توسعه چنین سیستم‌هایی است.

  • مدیریت اسناد: در سازمان‌هایی که با حجم زیادی از اسناد سر و کار دارند، سیستم‌های KIE می‌توانند فرآیندهای ورود داده، طبقه‌بندی اسناد و جستجوی اطلاعات را به طور چشمگیری بهبود بخشند و کارایی عملیاتی را افزایش دهند.

  • تحقیقات و هوش کسب‌وکار: استخراج خودکار اطلاعات از گزارش‌ها و متون بلند، می‌تواند برای تحلیل روندها، انجام پژوهش‌های بازار و استخراج هوش کسب‌وکار ارزشمند مورد استفاده قرار گیرد.

• پیشرفت در درک سند: این کار به پیشرفت در حوزه گسترده‌تر درک سند هوشمند (Intelligent Document Understanding – IDU) کمک می‌کند، که هدف آن قادر ساختن ماشین‌ها به درک کامل اسناد مانند انسان‌ها است.

به طور خلاصه، این مجموعه‌داده‌ها نه تنها یک ابزار پژوهشی ارزشمند هستند، بلکه پتانسیل بالایی برای ایجاد تحول در نحوه تعامل ما با اطلاعات در دنیای دیجیتال و بهبود کارایی در صنایع مختلف را دارند.

نتیجه‌گیری

مقاله “Kleister: مجموعه‌داده‌های استخراج اطلاعات کلیدی از اسناد بلند با ساختارهای پیچیده” یک مشارکت علمی مهم و ارزشمند در حوزه پردازش زبان طبیعی و استخراج اطلاعات محسوب می‌شود. این پژوهش به طور موفقیت‌آمیزی به یکی از نقاط ضعف اصلی در پیشرفت KIE، یعنی کمبود مجموعه‌داده‌های جامع و چالش‌برانگیز برای اسناد پیچیده، پاسخ داده است.

با معرفی مجموعه‌داده‌های Kleister NDA و Kleister Charity، نویسندگان نه تنها منابع جدیدی برای آموزش و ارزیابی مدل‌های KIE فراهم آورده‌اند، بلکه با نشان دادن عملکرد نسبی مدل‌های پیشرفته موجود، بر لزوم توسعه رویکردهای نوآورانه نیز تأکید کرده‌اند. این مجموعه‌داده‌ها به دلیل ماهیت خود که ترکیبی از اسناد اسکن‌شده و دیجیتال، بلند و با ساختارهای چیدمانی پیچیده هستند، یک بستر آزمایش قدرتمند برای مدل‌هایی فراهم می‌کنند که باید قادر به درک عمیق‌تر هم اطلاعات متنی و هم اطلاعات بصری و ساختاری اسناد باشند.

کاربردهای بالقوه این تحقیق بسیار گسترده است، از اتوماسیون فرآیندهای مالی و حقوقی گرفته تا بهبود مدیریت اسناد و هوش کسب‌وکار. انتشار عمومی این مجموعه‌داده‌ها، جامعه تحقیقاتی را تشویق می‌کند تا به سمت توسعه راه حل‌های قوی‌تر و مقیاس‌پذیرتر حرکت کند که می‌توانند با پیچیدگی‌های اسناد دنیای واقعی مقابله نمایند. در نهایت، این مقاله راه را برای پیشرفت‌های آینده در زمینه هوش مصنوعی سندمحور هموار می‌سازد و به ما یک گام به سوی سیستم‌های KIE کاملاً خودکار و قابل اعتماد نزدیک‌تر می‌کند.