در دنیای امروز، سامانه‌های بازیابی اطلاعات (Information Retrieval) مانند موتورهای جستجو (گوگل، بینگ) و دستیارهای صوتی (سیری، الکسا) به بخشی جدایی‌ناپذیر از زندگی روزمره ما تبدیل شده‌اند. ما برای یافتن اطلاعات، خرید محصولات و تصمیم‌گیری‌های مهم به این سیستم‌ها تکیه می‌کنیم. اما اغلب، این سامانه‌ها مانند یک «جعبه سیاه» عمل می‌کنند؛ ما ورودی (پرسش) را ارائه می‌دهیم و خروجی (نتایج) را دریافت می‌کنیم، بدون آنکه بدانیم این نتایج چگونه و بر چه اساسی انتخاب و رتبه‌بندی شده‌اند.

این عدم شفافیت می‌تواند منجر به چالش‌های جدی در زمینه اعتماد، بی‌طرفی و عدالت شود. چگونه می‌توانیم به سیستمی که دلایل تصمیماتش را توضیح نمی‌دهد، اعتماد کنیم؟ از کجا بدانیم نتایج جستجو تحت تأثیر سوگیری‌های ناخواسته قرار نگرفته‌اند؟ اینجاست که مفهوم هوش مصنوعی تبیین‌پذیر (Explainable AI – XAI) اهمیت پیدا می‌کند. هدف XAI، ساخت سیستم‌هایی است که نه‌تنها دقیق عمل می‌کنند، بلکه قادرند فرآیند تصمیم‌گیری خود را برای انسان‌ها شفاف سازند.

با این حال، یک چالش اساسی در این حوزه باقی مانده است: «تبیین‌پذیری» دقیقاً به چه معناست و چگونه می‌توان آن را به‌طور علمی اندازه‌گیری کرد؟ مقاله “ارزیابی تبیین‌پذیری سامانه‌های جستجو با روان‌سنجی و جمع‌سپاری” به قلم کاترین چن و کارستن آیکهوف، پاسخی نوآورانه و انسان‌محور به این پرسش ارائه می‌دهد و یک چارچوب عملی برای سنجش این مفهوم پیچیده معرفی می‌کند.

این مقاله توسط کاترین چن (Catherine Chen) و کارستن آیکهوف (Carsten Eickhoff)، دو پژوهشگر برجسته در حوزه علوم کامپیوتر، به نگارش درآمده است. تحقیقات آن‌ها در تقاطع سه حوزه کلیدی قرار دارد:

• بازیابی اطلاعات (Information Retrieval): علم و هنر جستجوی اطلاعات در میان حجم عظیمی از داده‌ها.
• تعامل انسان و کامپیوتر (Human-Computer Interaction): مطالعه نحوه تعامل کاربران با سیستم‌های کامپیوتری و طراحی تجربیات کاربری بهتر.
• هوش مصنوعی تبیین‌پذیر (Explainable AI): توسعه مدل‌های هوش مصنوعی که شفاف، قابل تفسیر و قابل اعتماد باشند.

این ترکیب منحصربه‌فرد به نویسندگان اجازه داده است تا مسئله تبیین‌پذیری را نه فقط از دیدگاه فنی، بلکه از منظر روان‌شناختی و کاربرمحور مورد بررسی قرار دهند، که همین امر نوآوری اصلی این پژوهش محسوب می‌شود.

مقاله با این فرض اساسی آغاز می‌شود که تبیین‌پذیری یک ویژگی ذاتی و ثابت در یک سیستم نیست، بلکه یک مفهوم نسبی و ذهنی است که در ذهن کاربر شکل می‌گیرد. یک توضیح ممکن است برای یک متخصص کاملاً واضح باشد، اما برای یک کاربر عادی گنگ و بی‌فایده به نظر برسد. بنابراین، رویکردهای موجود که تبیین‌پذیری را به صورت یک مفهوم واحد و فنی در نظر می‌گیرند، ناکارآمد هستند.

نویسندگان استدلال می‌کنند که برای ارزیابی واقعی تبیین‌پذیری، باید مستقیماً به سراغ کاربران برویم. آن‌ها برای این کار از دو ابزار قدرتمند بهره می‌برند: روان‌سنجی (Psychometrics) برای شکستن مفهوم پیچیده “تبیین‌پذیری” به ابعاد قابل اندازه‌گیری، و جمع‌سپاری (Crowdsourcing) برای جمع‌آوری داده‌های گسترده از کاربران واقعی. حاصل این تلاش، معرفی یک معیار جدید به نام SSE (Search System Explainability) است که به عنوان ابزاری استاندارد برای سنجش میزان تبیین‌پذیری سامانه‌های جستجو عمل می‌کند.

روش تحقیق این مقاله در چهار مرحله کلیدی قابل خلاصه است:

1. شناسایی ابعاد تبیین‌پذیری با روان‌سنجی: روان‌سنجی، علم اندازه‌گیری مفاهیم روان‌شناختی (مانند هوش یا شخصیت) است. در این تحقیق، از این علم برای شناسایی ابعاد مختلفی که درک کاربر از تبیین‌پذیری را تشکیل می‌دهند، استفاده شد. این ابعاد می‌توانند شامل موارد زیر باشند:
   • شفافیت (Transparency): آیا کاربر متوجه می‌شود که سیستم چگونه به این نتایج رسیده است؟
   • اثربخشی (Effectiveness): آیا توضیحات ارائه شده به کاربر کمک می‌کند تا نتایج بهتری پیدا کند یا سریع‌تر به هدف خود برسد؟
   • قابلیت اعتماد (Trustworthiness): آیا توضیحات باعث افزایش اعتماد کاربر به دقت و بی‌طرفی سیستم می‌شود؟
   • قابلیت کنکاش (Scrutability): آیا کاربر می‌تواند با استفاده از توضیحات، عملکرد سیستم را زیر سؤال ببرد یا آن را اصلاح کند؟
2. طراحی مطالعه کاربری مبتنی بر جمع‌سپاری: پژوهشگران یک مطالعه کاربری در مقیاس بزرگ طراحی کردند. در این مطالعه، به هزاران شرکت‌کننده از طریق پلتفرم‌های جمع‌سپاری، دو نوع رابط کاربری موتور جستجو نشان داده شد: یکی استاندارد (بدون توضیح) و دیگری تبیین‌پذیر (با توضیحاتی مانند “این نتیجه نمایش داده شد زیرا کلمات کلیدی شما در عنوان آن وجود دارد”).
3. جمع‌آوری داده‌ها: از شرکت‌کنندگان خواسته شد تا پس از کار با هر رابط، به مجموعه‌ای از سؤالات که بر اساس ابعاد روان‌سنجی طراحی شده بود، پاسخ دهند. این سؤالات تجربه آن‌ها را در مورد شفافیت، اثربخشی و اعتماد به سیستم می‌سنجید.
4. توسعه معیار SSE: با استفاده از تحلیل آماری داده‌های جمع‌آوری‌شده، نویسندگان مدلی را توسعه دادند که پاسخ‌های کاربران را به یک نمره واحد و معنادار تبدیل می‌کند. این نمره، همان معیار SSE است که نشان‌دهنده سطح تبیین‌پذیری درک‌شده توسط کاربران است.

این پژوهش به نتایج مهمی دست یافت که درک ما از تبیین‌پذیری را متحول می‌کند:

• اعتبارسنجی معیار SSE: مهم‌ترین یافته این بود که معیار SSE توانست با موفقیت بین سیستم‌های تبیین‌پذیر و غیرتبیین‌پذیر تمایز قائل شود. سیستم‌هایی که توضیحات واضحی ارائه می‌کردند، به‌طور معناداری نمرات SSE بالاتری از کاربران دریافت کردند. این نشان می‌دهد که SSE ابزاری معتبر برای سنجش این مفهوم است.
• تبیین‌پذیری، یک مفهوم چندبعدی است: این تحقیق به‌طور تجربی ثابت کرد که تبیین‌پذیری یک مفهوم تک‌بعدی نیست. یک سیستم ممکن است در بُعد «شفافیت» قوی عمل کند (مثلاً بگوید از چه الگوریتمی استفاده می‌کند) اما در بُعد «اثربخشی» ضعیف باشد (توضیحاتش به کاربر کمکی نکند). برای ساخت یک سیستم واقعاً تبیین‌پذیر، باید به تمام این ابعاد توجه کرد.
• ارتباط مستقیم بین نمره SSE و درک کاربر: نتایج نشان داد که نمره بالاتر SSE با احساس بهتر کاربران نسبت به قابلیت فهم و تفسیرپذیری سیستم، ارتباط مستقیم دارد. این یعنی SSE تنها یک عدد انتزاعی نیست، بلکه بازتابی واقعی از تجربه کاربری است.

این مقاله فراتر از یک پژوهش نظری صرف، دستاوردهای عملی و ملموسی را برای جامعه علمی و صنعت به ارمغان می‌آورد:

1. ارائه یک ابزار استاندارد: معیار SSE یک ابزار استاندارد و کمّی برای محققان و توسعه‌دهندگان فراهم می‌کند. اکنون آن‌ها می‌توانند به جای ادعاهای کیفی (“سیستم ما تبیین‌پذیر است”)، با ارائه یک نمره مشخص، ادعای خود را اثبات کرده و سیستم‌های مختلف را با یکدیگر مقایسه کنند.
2. یک نقشه راه برای سایر حوزه‌ها: متدولوژی این تحقیق (ترکیب روان‌سنجی و جمع‌سپاری) به عنوان یک «نقشه راه» یا الگو برای ارزیابی تبیین‌پذیری در سایر حوزه‌های هوش مصنوعی قابل استفاده است. برای مثال، می‌توان از همین روش برای ارزیابی توضیحات یک سیستم هوش مصنوعی در تشخیص پزشکی یا یک سامانه پیشنهاددهنده محصول در یک فروشگاه آنلاین استفاده کرد.
3. تأثیر بر طراحی محصولات آینده: شرکت‌های بزرگ فناوری می‌توانند از این چارچوب برای طراحی و آزمایش ویژگی‌های شفاف‌سازی در محصولات خود استفاده کنند. برای مثال، یک شبکه اجتماعی می‌تواند توضیح دهد که چرا یک پست خاص در فید خبری کاربر نمایش داده شده و با استفاده از معیار SSE بسنجد که آیا این توضیح برای کاربران مفید و قابل درک است یا خیر.

مقاله «ارزیابی تبیین‌پذیری سامانه‌های جستجو با روان‌سنجی و جمع‌سپاری» یک گام بزرگ در جهت تبدیل مفهوم مبهم «تبیین‌پذیری» به یک ویژگی مهندسی‌شده، قابل اندازه‌گیری و انسان‌محور است. این پژوهش با موفقیت نشان می‌دهد که کلید درک و سنجش تبیین‌پذیری، نه در تحلیل کدهای الگوریتم، بلکه در مطالعه ذهن و تجربه کاربران نهفته است.

با معرفی معیار SSE و روش‌شناسی نوآورانه آن، این مقاله راه را برای ساخت نسل جدیدی از سیستم‌های هوش مصنوعی هموار می‌کند که نه تنها هوشمند، بلکه شفاف، پاسخگو و شایسته اعتماد ما باشند. این حرکت از معیارهای سیستم‌محور به سمت معیارهای انسان‌محور، یک تغییر پارادایم ضروری برای آینده هوش مصنوعی مسئولانه است.