ترجمه فارسی مقاله مجموعه داده‌های محک با زمینه بزرگ‌تر برای پاسخ‌گویی به سؤالات غیرواقعی در متن اسلامی

چکیده

Accessing and comprehending religious texts, particularly the Quran (the sacred scripture of Islam) and Ahadith (the corpus of the sayings or traditions of the Prophet Muhammad), in today’s digital era necessitates efficient and accurate Question-Answering (QA) systems. Yet, the scarcity of QA systems tailored specifically to the detailed nature of inquiries about the Quranic Tafsir (explanation, interpretation, context of Quran for clarity) and Ahadith poses significant challenges. To address this gap, we introduce a comprehensive dataset meticulously crafted for QA purposes within the domain of Quranic Tafsir and Ahadith. This dataset comprises a robust collection of over 73,000 question-answer pairs, standing as the largest reported dataset in this specialized domain. Importantly, both questions and answers within the dataset are meticulously enriched with contextual information, serving as invaluable resources for training and evaluating tailored QA systems. However, while this paper highlights the dataset’s contributions and establishes a benchmark for evaluating QA performance in the Quran and Ahadith domains, our subsequent human evaluation uncovered critical insights regarding the limitations of existing automatic evaluation techniques. The discrepancy between automatic evaluation metrics, such as ROUGE scores, and human assessments became apparent. The human evaluation indicated significant disparities: the model’s verdict consistency with expert scholars ranged between 11% to 20%, while its contextual understanding spanned a broader spectrum of 50% to 90%. These findings underscore the necessity for evaluation techniques that capture the nuances and complexities inherent in understanding religious texts, surpassing the limitations of traditional automatic metrics.

چکیده به فارسی (ترجمه ماشینی)

دسترسی و درک متون مذهبی ، به ویژه قرآن (کتاب مقدس مقدس اسلام) و احادیث (اجزای گفته ها یا سنت های پیامبر اکرم) ، در دوره دیجیتال امروز نیاز به سیستم های کارآمد و دقیق پرسش (QA) دارد.با این حال ، کمبود سیستم های QA متناسب با ماهیت دقیق سوالات مربوط به TAFSIR قرآنی (توضیح ، تفسیر ، زمینه قرآن برای وضوح) و احادیث چالش های مهمی را ایجاد می کند.برای پرداختن به این شکاف ، ما یک مجموعه داده جامع را که به طور دقیق برای اهداف QA در حوزه قرآنی تافسر و احادیث ساخته شده است ، معرفی می کنیم.این مجموعه داده شامل مجموعه ای قوی از بیش از 73،000 جفت سؤال است که به عنوان بزرگترین مجموعه داده گزارش شده در این حوزه تخصصی ایستاده است.نکته مهم ، هر دو سؤال و پاسخ در درون مجموعه داده ها با اطلاعات متنی کاملاً غنی شده اند و به عنوان منابع ارزشمندی برای آموزش و ارزیابی سیستم های QA متناسب خدمت می کنند.با این حال ، در حالی که این مقاله مشارکت مجموعه داده ها را برجسته می کند و معیار ارزیابی عملکرد QA در حوزه های قرآن و احادیث را تعیین می کند ، ارزیابی انسانی متعاقب ما بینش های مهم را در مورد محدودیت های تکنیک های ارزیابی اتوماتیک موجود پرده برداشت.اختلاف بین معیارهای ارزیابی خودکار ، مانند نمرات Rouge و ارزیابی های انسانی آشکار شد.ارزیابی انسانی نابرابری های قابل توجهی را نشان داد: سازگاری حکم مدل با محققان خبره بین 11 ٪ تا 20 ٪ ، در حالی که درک متنی آن طیف گسترده تری از 50 ٪ تا 90 ٪ را در بر می گیرد.این یافته ها ضرورت تکنیک های ارزیابی را نشان می دهد که ظرافت ها و پیچیدگی های ذاتی در درک متون مذهبی را به خود اختصاص می دهد و از محدودیت های معیارهای اتوماتیک سنتی فراتر می رود.