در دنیای رو به رشد هوش مصنوعی، مدل‌های زبانی بزرگ (LLMs) مانند GPT-3.5 گام‌های بلندی در زمینه پردازش زبان طبیعی (NLP) برداشته‌اند. توانایی‌های شگرف این مدل‌ها در استدلال و درک مطلب، توجه بسیاری از محققان را به خود جلب کرده است. با این حال، بخش عمده‌ای از تحقیقات در حوزه پرسش و پاسخ (QA) بر روی وظایف عمومی مبتنی بر GPT متمرکز شده و چالش‌های خاص مرتبط با جداول پیچیده تا حد زیادی نادیده گرفته شده است. این مقاله علمی به بررسی این جنبه کمتر پرداخت شده می‌پردازد و رویکردی نوین برای مواجهه با جداول پیچیده با استفاده از GPT-3.5 ارائه می‌دهد.

پردازش و درک اطلاعات سازمان‌یافته در قالب جداول، به ویژه جداول پیچیده با ساختارهای سلسله‌مراتبی و روابط درهم‌تنیده، یکی از وظایف دشوار در حوزه هوش مصنوعی است. این جداول، که در اسناد علمی، گزارش‌های مالی، و پایگاه‌های داده رایج هستند، حاوی اطلاعات ارزشمندی می‌باشند که استخراج دقیق آن‌ها برای کاربردهای مختلف حیاتی است. اکثر مدل‌های پردازش زبان طبیعی، تمرکز خود را بر روی متن‌های خطی و بدون ساختار گذاشته‌اند و در مواجهه با فرمت‌های جدولی، دچار چالش می‌شوند. این مقاله با عنوان “مدل‌های زبانی بزرگ، تجزیه‌کننده‌های پیچیده جدول هستند” (Large Language Models are Complex Table Parsers)، به شکاف موجود در تحقیقات حوزه پرسش و پاسخ پرداخته و نشان می‌دهد که چگونه مدل‌های زبانی بزرگ، با وجود پتانسیل بالقوه، نیازمند رویکردهای تخصصی برای درک جداول پیچیده هستند.

اهمیت این تحقیق در چند جنبه کلیدی نهفته است:

• پردازش دقیق اطلاعات جدولی: جداول، منبع غنی از داده‌های ساختاریافته هستند. درک صحیح آن‌ها امکان استخراج اطلاعات دقیق و انجام تحلیل‌های پیچیده را فراهم می‌کند.
• غفلت از حوزه جداول پیچیده: تحقیقات پیشین عمدتاً بر روی جداول ساده یا وظایف پرسش و پاسخ عمومی تمرکز داشته‌اند. این مقاله به طور خاص به چالش‌های جداول پیچیده می‌پردازد.
• بهره‌گیری از توانایی‌های LLMها: با وجود پیشرفت‌های چشمگیر در مدل‌های زبانی بزرگ، بهینه‌سازی آن‌ها برای وظایف تخصصی مانند تجزیه جداول پیچیده، ضروری است.
• پیشبرد مرزهای دانش: این پژوهش با ارائه یک روش نوین، به ارتقای عملکرد مدل‌های هوش مصنوعی در درک و پاسخگویی به پرسش‌ها از روی جداول پیچیده کمک می‌کند.

این مقاله توسط گروهی از پژوهشگران به نام‌های Bowen Zhao, Changkai Ji, Yuejie Zhang, Wen He, Yingwen Wang, Qing Wang, Rui Feng, و Xiaobo Zhang نگاشته شده است. این پژوهش در حوزه “محاسبات و زبان” (Computation and Language) و “هوش مصنوعی” (Artificial Intelligence) قرار می‌گیرد. تمرکز اصلی نویسندگان بر روی توسعه روش‌هایی است که مدل‌های زبانی بزرگ بتوانند با دقت بیشتری ساختارهای پیچیده اطلاعاتی، به ویژه جداول، را درک کنند. زمینه فعالیت این محققان، پیوند بین تکنیک‌های پیشرفته یادگیری ماشین و کاربردهای عملی در پردازش زبان طبیعی و تحلیل داده‌های ساختاریافته است.

مدل زبانی بزرگ GPT-3.5، قابلیت‌های استثنایی در استدلال و درک مطلب در پردازش زبان طبیعی از خود نشان داده است. با این حال، بیشتر تحقیقات مرتبط با پرسش و پاسخ (QA)، بر روی وظایف عمومی مبتنی بر GPT متمرکز شده و چالش‌های منحصر به فرد پرسش و پاسخ از جداول پیچیده را نادیده گرفته‌اند. در این مقاله، نویسندگان پیشنهاد می‌کنند که از GPT-3.5 برای حل این چالش‌ها استفاده شود. رویکرد پیشنهادی شامل تبدیل جداول پیچیده به ساختارهای “تاپل” (Tuple) و طراحی “پرامپت‌های” (Prompt) خاص برای دیالوگ است.

به طور مشخص، هر سلول از جدول، با در نظر گرفتن ساختار سلسله‌مراتبی، اطلاعات موقعیت مکانی و محتوای خود، به صورت یک تاپل کدگذاری می‌شود. با بهبود قالب پرامپت و افزودن توضیحات تفصیلی در مورد معنای هر تاپل و فرآیند استدلال منطقی وظیفه، توانایی GPT-3.5 در درک ساختار سلسله‌مراتبی بهبود می‌یابد تا بتواند جداول پیچیده را بهتر تجزیه کند. نتایج آزمایش‌های گسترده بر روی مجموعه داده‌های پرسش و پاسخ از جداول پیچیده، شامل مجموعه داده دامنه باز HiTAB و مجموعه داده حوزه هوانوردی AIT-QA، نشان می‌دهد که رویکرد پیشنهادی به طور قابل توجهی عملکرد بهتری نسبت به روش‌های قبلی در هر دو مجموعه داده دارد و به عملکرد پیشرفته (State-of-the-Art – SOTA) دست می‌یابد.

روش‌شناسی اصلی این تحقیق بر پایه تبدیل جداول پیچیده به فرمتی قابل فهم‌تر برای مدل‌های زبانی بزرگ و همچنین طراحی پرامپت‌های هوشمندانه استوار است.

1. تبدیل جداول به ساختار تاپل (Tuple Encoding)

چالش اصلی در تجزیه جداول پیچیده، حفظ ساختار و روابط بین سلول‌ها است. جداول پیچیده اغلب دارای سرستون‌های چندسطحی، ردیف‌های تودرتو، و سلول‌های ادغام شده هستند که مدل‌های ساده پردازشگر متن قادر به درک آن‌ها نیستند. روش پیشنهادی این است که هر سلول از جدول به صورت یک “تاپل” نمایش داده شود. این تاپل شامل اطلاعات زیر است:

• محتوای سلول: مقدار واقعی داده در آن سلول.
• اطلاعات موقعیت: شماره ردیف و ستون سلول.
• اطلاعات سلسله‌مراتبی: نشان‌دهنده ارتباط سلول با سرستون‌ها یا سر ردیف‌های بالاتر. این امر به ویژه برای جداول با سرستون‌ها یا سر ردیف‌های چندسطحی حیاتی است.
• اطلاعات ادغام: در صورت ادغام سلول‌ها، اطلاعات مربوط به سلول اصلی و سلول‌های ادغام شده.

به عنوان مثال، در جدولی که لیست محصولات و مشخصات آن‌ها را نشان می‌دهد، سلولی حاوی “قیمت” ممکن است به صورت تاپلی مانند `(content=’150′, row=2, col=3, hierarchy=[‘محصول A’, ‘قیمت’])` کدگذاری شود. این ساختار به مدل کمک می‌کند تا بداند که این عدد 150، قیمت مربوط به “محصول A” است.

2. طراحی پرامپت‌های پیشرفته (Enhanced Prompt Design)

پس از تبدیل جدول به فرمت تاپل، مرحله بعدی، ارائه این اطلاعات به GPT-3.5 از طریق پرامپت‌های بهینه‌سازی شده است. این پرامپت‌ها صرفاً شامل متن پرسش و داده‌های جدول نیستند، بلکه شامل:

• توضیحات ساختاری: شرحی از اینکه چگونه جداول به تاپل تبدیل شده‌اند و هر جزء از تاپل چه معنایی دارد. این امر شفافیت را برای مدل افزایش می‌دهد.
• فرآیند استدلال منطقی: هدایت مدل برای طی کردن مراحل منطقی در هنگام پاسخگویی. به عنوان مثال، اگر پرسش نیازمند جستجو در چند ستون و سپس مقایسه مقادیر باشد، پرامپت می‌تواند این مراحل را راهنمایی کند.
• مثال‌های گویا (Few-shot learning): ارائه چند نمونه از پرسش و پاسخ‌های صحیح بر روی جداول مشابه، به مدل کمک می‌کند تا الگوهای مورد نظر را بهتر بیاموزد.

این رویکرد “پرامپت مهندسی” (Prompt Engineering) به مدل کمک می‌کند تا “آگاهی ساختاری” (Hierarchical Structure Awareness) خود را نسبت به جداول بهبود بخشد و درک عمیق‌تری از روابط درون جدولی پیدا کند.

نتایج آزمایش‌ها نشان‌دهنده موفقیت چشمگیر این رویکرد در مقایسه با روش‌های پیشین است:

• عملکرد پیشرفته (SOTA): روش پیشنهادی توانسته است به سطوح عملکردی بی‌سابقه‌ای در مجموعه داده‌های Complex Table QA دست یابد. این امر نشان می‌دهد که GPT-3.5، با هدایت صحیح، قادر به تجزیه و تحلیل دقیق جداول پیچیده است.
• بهبود قابل توجه در HiTAB: در مجموعه داده HiTAB که یک مجموعه داده دامنه باز با جداول پیچیده است، رویکرد جدید پیشرفت قابل ملاحظه‌ای را نسبت به روش‌های پیشین نشان داده است. این مجموعه داده شامل جداولی با ساختارهای متنوع و اطلاعات گسترده است.
• کارایی در حوزه خاص (AIT-QA): در مجموعه داده AIT-QA که مربوط به حوزه هوانوردی است، این روش نیز عملکرد برتری از خود نشان داده است. این نشان می‌دهد که رویکرد پیشنهادی نه تنها در دامنه عمومی، بلکه در حوزه‌های تخصصی نیز قابل تعمیم است.
• درک بهتر ساختار سلسله‌مراتبی: طراحی پرامپت و کدگذاری تاپل، به مدل کمک کرده است تا روابط بین سطوح مختلف اطلاعات در جداول پیچیده را بهتر درک کند. این امر برای پاسخگویی به پرسش‌هایی که نیاز به ترکیب اطلاعات از سطوح مختلف دارند، بسیار مهم است.

این تحقیق درب‌های جدیدی را برای کاربرد هوش مصنوعی در دنیای واقعی باز می‌کند:

• سیستم‌های پرسش و پاسخ پیشرفته: توسعه دستیاران مجازی یا سیستم‌های اطلاعاتی که قادرند به صورت هوشمندانه به پرسش‌ها از روی اسناد حاوی جداول پیچیده (مانند گزارش‌های مالی، مقالات علمی، دفترچه‌های راهنما) پاسخ دهند.
• تحلیل خودکار داده‌های جدولی: اتوماسیون فرآیند استخراج اطلاعات از پایگاه‌های داده جدولی بزرگ و پیچیده، که پیش از این نیازمند نیروی انسانی متخصص بوده است.
• فهم بهتر اسناد تخصصی: کمک به محققان و متخصصان در درک سریع‌تر و دقیق‌تر اطلاعات ارائه شده در جداول پیچیده مقالات علمی و فنی.
• پیشرفت در زمینه رباتیک گفتگو (Conversational AI): ایجاد سیستم‌های گفتگویی که می‌توانند اطلاعات جدولی را درک کرده و به صورت طبیعی به پرسش‌های کاربران در این زمینه پاسخ دهند.

دستاورد اصلی این مقاله، نشان دادن این موضوع است که مدل‌های زبانی بزرگ، تنها پردازشگرهای متن نیستند، بلکه با طراحی مناسب، می‌توانند به عنوان “تجزیه‌کننده‌های پیچیده جدول” عمل کنند و چالش‌های دیرینه در این حوزه را حل نمایند.

مقاله “مدل‌های زبانی بزرگ، تجزیه‌کننده‌های پیچیده جدول هستند” گامی مهم در جهت افزایش توانایی هوش مصنوعی در درک داده‌های ساختاریافته و پیچیده برمی‌دارد. نویسندگان با ارائه یک روش نوین شامل تبدیل جداول به تاپل و طراحی پرامپت‌های هوشمندانه، موفق به دستیابی به عملکرد پیشرفته در حوزه پرسش و پاسخ از جداول پیچیده شده‌اند. این تحقیق نه تنها شکاف تحقیقاتی موجود را پر می‌کند، بلکه پتانسیل عظیم مدل‌های زبانی بزرگ را برای مواجهه با وظایف پیچیده‌تر و کاربردی‌تر نمایان می‌سازد.

آینده این حوزه روشن است و می‌توان انتظار داشت که با توسعه بیشتر این رویکردها، شاهد سیستم‌های هوش مصنوعی توانمندتری باشیم که قادرند حجم عظیمی از اطلاعات سازمان‌یافته را درک کرده و از آن‌ها بهره‌برداری کنند. این مقاله به خوبی نشان می‌دهد که با رویکردهای خلاقانه، حتی مدل‌های عمومی مانند GPT-3.5 نیز می‌توانند برای وظایف بسیار تخصصی، به ابزارهایی قدرتمند تبدیل شوند.