۱. مقدمه: ضرورت درک اسناد در دنیای دیجیتال

در عصر حاضر، حجم عظیمی از اطلاعات به صورت اسناد دیجیتال، شامل فایل‌های اسکن شده از مدارک کاغذی و فایل‌های PDF، در دسترس قرار دارد. پردازش مؤثر و استخراج اطلاعات از این اسناد، کلید ارتقاء قابل توجه بهره‌وری در فرآیندهای تجاری، اداری و تحقیقاتی است. از تشخیص فاکتورها و قراردادها گرفته تا سازماندهی بایگانی‌های دیجیتال، توانایی “خواندن” و “فهمیدن” محتوای بصری و متنی اسناد، امری حیاتی محسوب می‌شود. روش‌های سنتی پردازش زبان طبیعی (NLP) عمدتاً بر متن خالص تمرکز داشتند و ساختار بصری و چیدمان سند را نادیده می‌گرفتند. این رویکرد، زمانی که با اسناد پیچیده مانند فرم‌ها، مقالات علمی با جداول و نمودارها، یا رسیدهای خرید مواجه می‌شویم، ناکارآمد است. درک این چالش، منجر به توسعه مدل‌هایی شده است که علاوه بر درک زبان، به “آگاهی از چیدمان” (Layout-Awareness) نیز مجهز هستند.

این مقاله به معرفی دستاوردهای پژوهشی نوین در زمینه بهبود مدل‌های درک سند آگاه به چیدمان می‌پردازد. به طور خاص، تمرکز بر معرفی یک وظیفه پیش‌آموزشی (Pre-training task) جدید به نام “پنهان‌سازی موقعیت” (Position Masking) است که توانایی مدل‌های مبتنی بر تعبیه‌های دوبعدی موقعیت (2D Position Embeddings) را به طور چشمگیری افزایش می‌دهد.

۲. نویسندگان و زمینه تحقیق

این مقاله حاصل تلاش پژوهشگران برجسته، Anik Saha، Catherine Finegan-Dollak و Ashish Verma است. زمینه کلی تحقیق آن‌ها در حوزه محاسبات و زبان (Computation and Language) و یادگیری ماشین (Machine Learning) قرار می‌گیرد. تمرکز اصلی این تیم تحقیقاتی بر ادغام دانش بصری (از طریق چیدمان سند) با دانش زبانی برای دستیابی به درک عمیق‌تر از محتوای اسناد است. مدل‌هایی مانند LayoutLM که از ترکیب تعبیه‌های متنی و تعبیه‌های موقعیت مکانی بهره می‌برند، پیشگامان این حوزه بوده‌اند. پژوهش حاضر با معرفی و ارزیابی “پنهان‌سازی موقعیت” به عنوان یک تکنیک پیش‌آموزشی، گامی مهم در جهت ارتقاء قابلیت‌های این خانواده از مدل‌ها برداشته است.

۳. چکیده و خلاصه محتوا

چکیده مقاله به طور مختصر به هدف اصلی و دستاوردهای کلیدی اشاره دارد:

چکیده: پردازش زبان طبیعی برای اسناد اسکن شده و PDF پتانسیل بهبود چشمگیر کارایی فرآیندهای تجاری را دارد. تعبیه‌های کلمه آگاه به چیدمان مانند LayoutLM نویدبخش طبقه‌بندی و استخراج اطلاعات از چنین اسنادی بوده‌اند. این مقاله یک وظیفه پیش‌آموزشی جدید به نام “پنهان‌سازی موقعیت” را پیشنهاد می‌کند که می‌تواند عملکرد تعبیه‌های کلمه آگاه به چیدمان را که تعبیه‌های موقعیت دوبعدی را در بر می‌گیرند، بهبود بخشد. ما مدل‌هایی را که تنها با پنهان‌سازی زبان پیش‌آموزش دیده‌اند با مدل‌هایی که هم با پنهان‌سازی زبان و هم با پنهان‌سازی موقعیت پیش‌آموزش دیده‌اند، مقایسه می‌کنیم و متوجه می‌شویم که پنهان‌سازی موقعیت عملکرد را در یک وظیفه درک فرم بیش از ۵٪ بهبود می‌بخشد.

به زبان ساده‌تر، این پژوهش نشان می‌دهد که اگر در هنگام آموزش مدل‌های زبانی برای درک اسناد، علاوه بر پنهان کردن کلمات (مانند کاری که مدل‌های استاندارد NLP انجام می‌دهند)، موقعیت مکانی برخی از کلمات یا بخش‌ها را نیز از مدل پنهان کنیم و از آن بخواهیم که آن را حدس بزند، مدل در درک ساختار و چیدمان سند بسیار ماهرتر خواهد شد. این رویکرد به ویژه برای وظایفی مانند پر کردن فرم‌ها یا استخراج اطلاعات از فاکتورها که موقعیت عناصر بسیار حائز اهمیت است، نتایج قابل توجهی به همراه دارد.

۴. روش‌شناسی تحقیق: پنهان‌سازی موقعیت در عمل

اساس این تحقیق بر توسعه و ارزیابی یک تکنیک پیش‌آموزشی جدید برای مدل‌های زبان آگاه به چیدمان استوار است. مدل‌های پیشین مانند LayoutLM با استفاده از تعبیه‌های متنی (Word Embeddings) و تعبیه‌های موقعیت دوبعدی (2D Position Embeddings) اطلاعات بصری چیدمان را وارد فرآیند یادگیری می‌کنند. این تعبیه‌ها نشان می‌دهند که هر کلمه در کجای صفحه قرار دارد (مثلاً مختصات x و y).

روش‌شناسی اصلی مقاله به شرح زیر است:

• مدل پایه: پژوهشگران از یک مدل پایه آگاه به چیدمان استفاده کرده‌اند که قابلیت درک همزمان متن و موقعیت مکانی کلمات را دارد.
• وظیفه پیش‌آموزشی استاندارد (Language Masking): در این روش، برخی از کلمات در متن سند به صورت تصادفی “پنهان” (Mask) می‌شوند و وظیفه مدل این است که با توجه به کلمات اطراف و زمینه کلی، کلمه پنهان شده را بازسازی کند. این روش برای مدل‌های زبانی مانند BERT بسیار رایج است.
• وظیفه پیش‌آموزشی پیشنهادی (Position Masking): در این نوآوری، علاوه بر پنهان کردن کلمات، موقعیت مکانی (مثلاً مختصات x, y) و همچنین ابعاد (عرض و ارتفاع) جعبه مرزی (Bounding Box) برخی از کلمات یا توکن‌ها نیز از مدل پنهان می‌شود. وظیفه جدید مدل، حدس زدن این اطلاعات موقعیتی از دست رفته با توجه به متن و موقعیت سایر کلمات است.
• آموزش ترکیبی: مدل‌ها با استفاده از ترکیبی از هر دو وظیفه پیش‌آموزشی (Language Masking و Position Masking) آموزش داده می‌شوند. این امر به مدل کمک می‌کند تا هم درک عمیقی از زبان داشته باشد و هم نسبت به ساختار بصری و چیدمان سند حساس باشد.
• ارزیابی: مدل‌های آموزش دیده با تکنیک‌های مختلف (فقط Language Masking در مقابل Language Masking + Position Masking) بر روی مجموعه‌های داده‌ای برای وظایف خاص درک اسناد، مانند “درک فرم” (Form Understanding)، ارزیابی می‌شوند.

به عنوان یک مثال ساده، تصور کنید فرمی داریم که در آن “نام” و “نام خانوادگی” جلوی یکدیگر قرار دارند. مدلی که فقط Language Masking را یاد گرفته، ممکن است بتواند “نام” و “نام خانوادگی” را در جمله حدس بزند. اما مدلی که Position Masking را نیز تجربه کرده، یاد می‌گیرد که این دو فیلد معمولاً در کنار هم و در یک راستا قرار می‌گیرند و “نام” معمولاً قبل از “نام خانوادگی” می‌آید. این درک چیدمانی، توانایی مدل را در تشخیص دقیق این فیلدها در فرم‌های واقعی، حتی با ظاهرهای کمی متفاوت، افزایش می‌دهد.

۵. یافته‌های کلیدی: مزیت غیرقابل انکار پنهان‌سازی موقعیت

مهم‌ترین دستاورد این پژوهش، اثبات عملی و کمیِ برتری رویکرد “پنهان‌سازی موقعیت” در بهبود عملکرد مدل‌های درک سند آگاه به چیدمان است. یافته‌های کلیدی به شرح زیر است:

• بهبود بیش از ۵٪ در درک فرم: نتایج نشان داد که مدل‌هایی که با هر دو مکانیزم Language Masking و Position Masking پیش‌آموزش دیده‌اند، عملکردی بیش از ۵ درصد بهتر از مدل‌هایی که تنها با Language Masking آموزش دیده‌اند، در وظیفه پیچیده “درک فرم” از خود نشان داده‌اند. این بهبود قابل توجه، گواه اهمیت بالای درک چیدمان برای این دسته از وظایف است.
• تقویت قابلیت‌های استخراج اطلاعات: پنهان‌سازی موقعیت به مدل کمک می‌کند تا روابط فضایی بین عناصر مختلف سند را بهتر درک کند. این امر مستقیماً به بهبود دقت در استخراج اطلاعات کلیدی مانند نام فیلدها، مقادیر مربوطه، یا بخش‌های مختلف یک قرارداد منجر می‌شود.
• انعطاف‌پذیری بیشتر مدل: مدل‌های آموزش دیده با پنهان‌سازی موقعیت، نسبت به تغییرات جزئی در چیدمان یا فونت سند، مقاوم‌تر هستند. این بدان معناست که مدل با ظاهری متفاوت از داده‌های آموزشی، بهتر عمل خواهد کرد.
• تأثیر مثبت بر سایر وظایف مرتبط: اگرچه تمرکز اصلی بر درک فرم بود، انتظار می‌رود این روش بر سایر وظایف نیازمند درک چیدمان مانند خلاصه‌سازی اسناد، دسته‌بندی اسناد، یا پاسخ به سوالات مبتنی بر سند نیز تأثیر مثبت داشته باشد.

این یافته‌ها نشان می‌دهند که مدل‌سازی صریح روابط فضایی، نه تنها یک ویژگی جانبی، بلکه یک مؤلفه ضروری برای دستیابی به درک عمیق از ساختار و معنای اسناد است.

۶. کاربردها و دستاوردها: تحولی در پردازش اسناد

ارتقاء مدل‌های درک سند آگاه به چیدمان با روش پنهان‌سازی موقعیت، پیامدهای گسترده‌ای برای صنایع و کاربردهای مختلف دارد:

• اتوماسیون فرآیندهای اداری:
  • پردازش فاکتورها و رسیدها: استخراج خودکار اقلام فاکتور، مبلغ کل، تاریخ، نام فروشنده و سایر جزئیات با دقت بسیار بالا.
  • پر کردن خودکار فرم‌ها: تکمیل خودکار فرم‌های ثبت‌نام، درخواست‌ها، یا پرسشنامه‌ها با خواندن اطلاعات از اسناد دیگر.
  • مدیریت اسناد قانونی و قراردادی: استخراج بندهای کلیدی، تاریخ‌های مهم، طرفین قرارداد، و تعهدات از متون حقوقی.
• بهبود دسترسی به اطلاعات:
  • سازماندهی بایگانی‌های دیجیتال: دسته‌بندی و برچسب‌گذاری خودکار اسناد حجیم بر اساس محتوا و ساختار.
  • جستجوی معنایی در اسناد: امکان جستجوی پیشرفته‌تر که نه تنها کلمات کلیدی، بلکه مفاهیم و روابط بین اطلاعات را نیز در نظر می‌گیرد.
• دسترسی به دانش:
  • تحلیل مقالات علمی: استخراج اطلاعات از جداول، نمودارها، و بخش‌های مختلف مقالات تحقیقاتی برای تسهیل مرور ادبیات.
  • پردازش کتاب‌های اسکن شده: تبدیل کتاب‌های قدیمی به فرمت‌های قابل جستجو و تحلیل.

دستاورد اصلی این تحقیق، فراهم کردن ابزاری قدرتمندتر برای ماشین‌هاست تا بتوانند اسناد را با همان درکی که انسان از چیدمان و ساختار بصری آن‌ها دارد، پردازش کنند. این امر دریچه‌ای نو به سوی اتوماسیون هوشمند و پردازش مؤثر اطلاعات در مقیاس وسیع می‌گشاید.

۷. نتیجه‌گیری: آینده درک اسناد با آگاهی از چیدمان

پژوهش “پنهان‌سازی موقعیت برای بهبود درک سند آگاه به چیدمان” با معرفی و اثبات اثربخشی یک وظیفه پیش‌آموزشی نوین، گامی مهم در جهت ارتقاء توانایی مدل‌های هوش مصنوعی در پردازش اسناد پیچیده برداشته است. اهمیت این رویکرد در این است که مدل‌ها را قادر می‌سازد تا فراتر از درک صرف کلمات، به ساختار بصری و چیدمان مکانی عناصر سند نیز توجه کنند. این “آگاهی از چیدمان” به طور مستقیم منجر به بهبود عملکرد در وظایفی می‌شود که موقعیت اطلاعات نقشی حیاتی ایفا می‌کند، مانند پر کردن فرم‌ها و استخراج اطلاعات.

با توجه به پیشرفت‌های روزافزون در حوزه یادگیری ماشین و پردازش زبان طبیعی، انتظار می‌رود تحقیقات آینده بر روی ادغام عمیق‌تر اطلاعات بصری و زبانی متمرکز شوند. تکنیک‌هایی مانند پنهان‌سازی موقعیت، چارچوبی قدرتمند برای دستیابی به مدل‌های درک سند فراهم می‌کنند که قادرند با دقت و کارایی بسیار بالاتری با دنیای متنوع و پیچیده اسناد دیجیتال ما تعامل داشته باشند. این پیشرفت‌ها نویدبخش آینده‌ای هستند که در آن پردازش و استخراج اطلاعات از اسناد، سریع‌تر، دقیق‌تر و برای طیف وسیع‌تری از کاربردها ممکن خواهد بود.