مقاله حاضر به معرفی مدل زبانی جدیدی با نام MathBERT می‌پردازد که به طور خاص برای درک فرمول‌های ریاضی طراحی و آموزش داده شده است. در سال‌های اخیر، مدل‌های زبانی از پیش آموزش‌دیده مانند BERT (Bidirectional Encoder Representations from Transformers) در حوزه‌های مختلف پردازش زبان طبیعی (NLP) به موفقیت‌های چشمگیری دست یافته‌اند. این مدل‌ها قادرند حجم عظیمی از داده‌های متنی را فراگرفته و الگوها و روابط پیچیده موجود در زبان را استخراج کنند. با این حال، تطبیق و به کارگیری این مدل‌ها در وظایف مرتبط با ریاضیات همواره با چالش‌هایی همراه بوده است. این مقاله تلاش می‌کند تا با ارائه یک مدل تخصصی برای درک فرمول‌های ریاضی، گامی مؤثر در این زمینه بردارد.

این مقاله توسط آقایان Shuai Peng, Ke Yuan, Liangcai Gao, و Zhi Tang به رشته تحریر درآمده است. نویسندگان این مقاله در زمینه‌های محاسبات و زبان (Computation and Language) و همچنین هوش مصنوعی (Artificial Intelligence) فعالیت می‌کنند. تمرکز اصلی تحقیق بر روی بهبود درک ماشین از فرمول‌های ریاضی و ارائه راهکارهایی برای استفاده از مدل‌های زبانی از پیش آموزش‌دیده در این زمینه است. پیچیدگی‌های موجود در درک فرمول‌های ریاضی، شامل درک ساختار نحوی و معنایی فرمول، ارتباط بین فرمول و متن مرتبط با آن، و استخراج اطلاعات مفید از فرمول‌ها، انگیزه اصلی این تحقیق بوده است.

مدل‌های از پیش آموزش‌دیده بزرگ مانند BERT، در وظایف مختلف پردازش زبان طبیعی (NLP) موفقیت بزرگی کسب کرده‌اند، اما انطباق آن‌ها با وظایف مرتبط با ریاضیات همچنان یک چالش است. مدل‌های از پیش آموزش‌دیده فعلی، ویژگی‌های ساختاری و مطابقت معنایی بین فرمول و متن آن را نادیده می‌گیرند. برای رفع این مشکلات، ما یک مدل از پیش آموزش‌دیده جدید به نام MathBERT پیشنهاد می‌کنیم که به طور مشترک با فرمول‌های ریاضی و متون مربوط به آن‌ها آموزش داده می‌شود. علاوه بر این، به منظور درک بهتر ویژگی‌های ساختاری سطح معنایی فرمول‌ها، یک وظیفه پیش‌آموزشی جدید طراحی شده است تا زیرساختارهای فرمول پنهان شده استخراج شده از درخت عملگر (OPT) را پیش‌بینی کند، که نمایانگر ساختار معنایی فرمول‌ها است. ما آزمایش‌های مختلفی را روی سه وظیفه پایین‌دستی برای ارزیابی عملکرد MathBERT انجام می‌دهیم، از جمله بازیابی اطلاعات ریاضی، طبقه‌بندی موضوع فرمول و تولید عنوان فرمول. نتایج تجربی نشان می‌دهد که MathBERT به طور قابل توجهی از روش‌های موجود در هر سه این وظایف بهتر عمل می‌کند. علاوه بر این، ما به طور کیفی نشان می‌دهیم که این مدل از پیش آموزش‌دیده به طور موثر اطلاعات ساختاری سطح معنایی فرمول‌ها را دریافت می‌کند. تا آنجا که ما می‌دانیم، MathBERT اولین مدل از پیش آموزش‌دیده برای درک فرمول‌های ریاضی است.

به طور خلاصه، این مقاله یک مدل جدید به نام MathBERT را معرفی می‌کند که با هدف درک بهتر و دقیق‌تر فرمول‌های ریاضی طراحی شده است. این مدل از طریق آموزش مشترک فرمول‌ها و متون مرتبط با آن‌ها، و همچنین با استفاده از یک وظیفه پیش‌آموزشی جدید برای درک ساختار معنایی فرمول‌ها، قادر است در وظایف مختلف مرتبط با ریاضیات عملکرد بهتری نسبت به مدل‌های موجود ارائه دهد.

روش‌شناسی تحقیق در این مقاله شامل چندین مرحله کلیدی است:

• جمع‌آوری داده‌ها: در این مرحله، مجموعه‌ای از داده‌های آموزشی شامل فرمول‌های ریاضی و متون مرتبط با آن‌ها جمع‌آوری شده است. این داده‌ها می‌تواند شامل مقالات علمی، کتاب‌های درسی، و سایر منابعی باشد که در آن‌ها فرمول‌های ریاضی به کار رفته‌اند.
• طراحی مدل MathBERT: مدل MathBERT بر پایه معماری BERT ساخته شده است، اما با تغییرات و بهینه‌سازی‌هایی که به طور خاص برای درک فرمول‌های ریاضی طراحی شده‌اند. این تغییرات شامل استفاده از لایه‌های توجه (attention layers) برای مدل‌سازی روابط بین اجزای مختلف فرمول، و همچنین استفاده از یک وظیفه پیش‌آموزشی جدید برای درک ساختار معنایی فرمول‌ها است.
• وظیفه پیش‌آموزشی: یک وظیفه پیش‌آموزشی جدید طراحی شده است که هدف آن درک ساختار معنایی فرمول‌ها است. در این وظیفه، بخشی از فرمول به طور تصادفی پنهان شده و مدل باید تلاش کند تا آن قسمت پنهان شده را پیش‌بینی کند. این فرآیند به مدل کمک می‌کند تا روابط بین اجزای مختلف فرمول را درک کند. برای مثال، فرض کنید فرمول a + b = c وجود دارد. ممکن است قسمت + b پنهان شود و مدل باید آن را پیش‌بینی کند.
• آموزش مدل: مدل MathBERT با استفاده از داده‌های جمع‌آوری شده و وظیفه پیش‌آموزشی طراحی شده، آموزش داده می‌شود. در این مرحله، پارامترهای مدل به گونه‌ای تنظیم می‌شوند که بتواند فرمول‌های ریاضی را به طور دقیق درک کند.
• ارزیابی مدل: عملکرد مدل MathBERT در سه وظیفه پایین‌دستی ارزیابی می‌شود:
  • بازیابی اطلاعات ریاضی: در این وظیفه، مدل باید بتواند فرمول‌های ریاضی مرتبط با یک پرسش خاص را از بین مجموعه بزرگی از فرمول‌ها پیدا کند.
  • طبقه‌بندی موضوع فرمول: در این وظیفه، مدل باید بتواند موضوع اصلی یک فرمول ریاضی را تعیین کند.
  • تولید عنوان فرمول: در این وظیفه، مدل باید بتواند یک عنوان مناسب برای یک فرمول ریاضی تولید کند.

نتایج تجربی نشان می‌دهد که مدل MathBERT در هر سه وظیفه پایین‌دستی عملکرد بهتری نسبت به مدل‌های موجود ارائه می‌دهد. این یافته‌ها نشان می‌دهد که مدل MathBERT قادر است فرمول‌های ریاضی را به طور دقیق درک کند و اطلاعات مفیدی از آن‌ها استخراج کند. به طور خاص، مدل MathBERT در درک ساختار معنایی فرمول‌ها بسیار خوب عمل می‌کند. برای مثال، این مدل می‌تواند تشخیص دهد که فرمول a + b = c معادل فرمول c = a + b است.

یکی از یافته‌های کلیدی این تحقیق این است که استفاده از وظیفه پیش‌آموزشی جدید طراحی شده، به طور قابل توجهی عملکرد مدل MathBERT را بهبود می‌بخشد. این نشان می‌دهد که درک ساختار معنایی فرمول‌ها برای درک کامل آن‌ها بسیار مهم است.

مدل MathBERT می‌تواند در کاربردهای مختلفی مورد استفاده قرار گیرد:

• موتورهای جستجوی ریاضی: مدل MathBERT می‌تواند برای بهبود موتورهای جستجوی ریاضی استفاده شود. با استفاده از این مدل، کاربران می‌توانند به راحتی فرمول‌های ریاضی مرتبط با پرسش‌های خود را پیدا کنند.
• سیستم‌های آموزشی هوشمند: مدل MathBERT می‌تواند برای ساخت سیستم‌های آموزشی هوشمند استفاده شود. این سیستم‌ها می‌توانند به دانش‌آموزان در یادگیری ریاضیات کمک کنند.
• برنامه‌های ویرایشگر فرمول: مدل MathBERT می‌تواند در برنامه‌های ویرایشگر فرمول برای بررسی صحت نحوی و معنایی فرمول‌ها استفاده شود.
• خلاصه‌سازی مقالات علمی: مدل MathBERT می‌تواند برای خلاصه‌سازی خودکار مقالات علمی که شامل فرمول‌های ریاضی هستند، استفاده شود.

یکی از دستاوردهای مهم این تحقیق، ارائه اولین مدل از پیش آموزش‌دیده برای درک فرمول‌های ریاضی است. این مدل می‌تواند به عنوان یک پایه برای تحقیقات آینده در این زمینه مورد استفاده قرار گیرد.

در این مقاله، یک مدل زبانی جدید با نام MathBERT معرفی شد که به طور خاص برای درک فرمول‌های ریاضی طراحی شده است. نتایج تجربی نشان می‌دهد که مدل MathBERT در وظایف مختلف مرتبط با ریاضیات عملکرد بهتری نسبت به مدل‌های موجود ارائه می‌دهد. این مدل می‌تواند در کاربردهای مختلفی مورد استفاده قرار گیرد و به عنوان یک پایه برای تحقیقات آینده در این زمینه عمل کند. این تحقیق نشان داد که درک ساختار معنایی فرمول‌ها نقش بسیار مهمی در فهم کامل آن‌ها دارد و استفاده از وظایف پیش‌آموزشی مناسب می‌تواند به بهبود عملکرد مدل‌های زبانی در این زمینه کمک کند. توسعه مدل MathBERT گامی مهم در راستای هوشمندسازی و اتوماسیون وظایف مرتبط با ریاضیات است و می‌تواند تاثیر بسزایی در حوزه‌های مختلف علمی و مهندسی داشته باشد.