۱. معرفی مقاله و اهمیت آن

در سال‌های اخیر، ظهور مدل‌های زبان بزرگ (LLMs)، به ویژه ChatGPT، انقلابی در حوزه پردازش زبان‌های طبیعی (NLP) ایجاد کرده است. توانایی‌های چشمگیر این مدل در تولید متن، خلاصه‌سازی، پاسخ‌گویی به سوالات و حتی کدنویسی، آن را به ابزاری قدرتمند و پرکاربرد تبدیل کرده است. اما با وجود این قابلیت‌ها، همواره سوالاتی در مورد محدودیت‌ها و میزان اطمینان‌پذیری این سیستم‌ها مطرح بوده است.

مقاله “ناتوانی ChatGPT در تخمین عدم قطعیت پیش‌بینی در زبان‌های با منابع فراوان” (ChatGPT Prompting Cannot Estimate Predictive Uncertainty in High-Resource Languages) به قلم مارتینو پلوکی (Martino Pelucchi) و ماتیاس والدنگرو-تورو (Matias Valdenegro-Toro)، تلاشی مهم برای شناسایی و تحلیل دقیق برخی از این محدودیت‌هاست. اهمیت این تحقیق از آنجاست که بر دو جنبه حیاتی تمرکز دارد: اول، عملکرد ChatGPT در زبان‌هایی غیر از انگلیسی که دارای منابع زبانی فراوان هستند (High-Resource Languages)، و دوم، توانایی این مدل در کالیبره کردن میزان اطمینان خود از پاسخ‌هایی که ارائه می‌دهد. این موضوع برای کاربردهای عملی ChatGPT، به ویژه در حوزه‌های حساس که دقت و اطمینان‌پذیری حرف اول را می‌زند، از اهمیت فوق‌العاده‌ای برخوردار است.

با توجه به اینکه ChatGPT بدون مستندات فنی جامع در مورد معماری و داده‌های آموزشی آن منتشر شد، جامعه علمی بلافاصله شروع به بررسی عمیق قابلیت‌ها و محدودیت‌های آن کرد. این مقاله با بررسی دقیق عملکرد در زبان‌های با منابع فراوان، خلأ موجود در تحقیقات قبلی را پر می‌کند، چرا که اکثر مطالعات اولیه بر روی زبان انگلیسی یا زبان‌های با منابع محدود (Low-Resource Languages) متمرکز بوده‌اند. همچنین، تحلیل کالیبراسیون اطمینان، گامی نوین و حیاتی در درک قابلیت اعتماد (Trustworthiness) این مدل‌ها محسوب می‌شود.

۲. نویسندگان و زمینه تحقیق

این مقاله توسط مارتینو پلوکی و ماتیاس والدنگرو-تورو، پژوهشگران فعال در حوزه‌های محاسبات و زبان و یادگیری ماشین، به رشته تحریر درآمده است. تخصص آن‌ها در این زمینه‌ها به آن‌ها امکان داده تا با رویکردی علمی و دقیق، به بررسی یکی از پیچیده‌ترین و جدیدترین پدیده‌های تکنولوژیک یعنی مدل‌های زبان بزرگ بپردازند.

زمینه تحقیق این مقاله، در بطن پیشرفت‌های سریع در حوزه پردازش زبان‌های طبیعی (NLP) و یادگیری ماشین (Machine Learning) قرار دارد. ظهور ترنسفورمرها (Transformers) و مدل‌های مبتنی بر آن‌ها مانند GPT-3 و متعاقباً ChatGPT، مرزهای قابلیت‌های هوش مصنوعی را در درک و تولید زبان به طرز چشمگیری جابجا کرده است. با این حال، همانطور که این مدل‌ها پیچیده‌تر و فراگیرتر می‌شوند، درک عمیق‌تر از چگونگی عملکرد آن‌ها، نقاط قوت و ضعفشان، و به‌خصوص میزان قابل اعتماد بودنشان، حیاتی‌تر می‌شود.

پژوهشگران به طور فزاینده‌ای به دنبال درک این موضوع هستند که آیا مدل‌هایی مانند ChatGPT، صرفاً “طوطی‌های تصادفی” (Stochastic Parrots) هستند که الگوهای آماری را بازتولید می‌کنند، یا واقعاً نوعی از “درک” را از زبان نشان می‌دهند. در این میان، مسئله عدم قطعیت (Uncertainty) و توانایی مدل در ابراز آن، به یک چالش مرکزی تبدیل شده است. در بسیاری از کاربردهای دنیای واقعی، از تشخیص پزشکی گرفته تا سامانه‌های مالی، صرفاً ارائه پاسخ صحیح کافی نیست؛ بلکه نیاز است که سیستم بتواند میزان اطمینان خود را از آن پاسخ نیز اعلام کند تا کاربران بتوانند بر اساس آن تصمیمات آگاهانه بگیرند. این مقاله با تمرکز بر این جنبه، به توسعه دانش ما در مورد مسئولیت‌پذیری و شفافیت در هوش مصنوعی کمک شایانی می‌کند.

۳. چکیده و خلاصه محتوا

چکیده مقاله به وضوح اهداف و یافته‌های اصلی پژوهش را بیان می‌کند. این مقاله با تأکید بر قابلیت‌های خیره‌کننده ChatGPT که جهان را شگفت‌زده کرده است، به این نکته اشاره می‌کند که به دلیل عدم وجود مستندات کافی در زمان انتشار، دانشمندان بلافاصله تلاش کردند تا محدودیت‌های آن را، عمدتاً از طریق بررسی عملکرد آن در وظایف NLP، شناسایی کنند.

این پژوهش به دنبال مشارکت در ادبیات رو به رشد مربوط به توانایی‌های ChatGPT است، اما با تمرکز بر دو جنبه نوآورانه: عملکرد آن در زبان‌های با منابع فراوان و ظرفیت آن برای پیش‌بینی دقت پاسخ‌های خود از طریق ارائه سطح اطمینان. اهمیت مطالعه زبان‌های با منابع فراوان در این است که اگرچه مطالعات قبلی نشان داده‌اند که زبان‌های با منابع کم (Low-Resource Languages) عملکرد ضعیف‌تری نسبت به انگلیسی در وظایف NLP دارند، اما هیچ مطالعه‌ای تا کنون به این نپرداخته بود که آیا زبان‌های با منابع فراوان نیز به خوبی انگلیسی عمل می‌کنند یا خیر. به عنوان مثال، آیا ChatGPT در زبان‌هایی مانند آلمانی، فرانسوی، اسپانیایی یا ژاپنی به همان اندازه که در انگلیسی تواناست، عمل می‌کند؟

همچنین، تحلیل کالیبراسیون اطمینان (Confidence Calibration) ChatGPT قبلاً انجام نشده بود و این جنبه برای درک قابل اعتماد بودن مدل حیاتی است. تصور کنید یک سیستم هوش مصنوعی در یک زمینه حساس مانند پزشکی، پاسخی را ارائه می‌دهد. اگر سیستم به درستی میزان اطمینان خود را از این پاسخ بیان کند، پزشک می‌تواند بر اساس آن تصمیم به تایید یا رد آن بگیرد. اما اگر سیستم بیش از حد مطمئن باشد (Overconfident) و در عین حال پاسخ اشتباهی بدهد، می‌تواند عواقب جدی داشته باشد.

به منظور بررسی این دو جنبه، محققان پنج زبان با منابع فراوان و دو وظیفه NLP را انتخاب کردند. از ChatGPT خواسته شد تا هر دو وظیفه را در این پنج زبان انجام دهد و برای هر پاسخ یک مقدار اطمینان عددی ارائه کند. نتایج به وضوح نشان دادند که:

• تمامی زبان‌های با منابع فراوان انتخاب شده، عملکرد مشابهی دارند. این بدان معناست که تفاوت معناداری در عملکرد ChatGPT بین این زبان‌ها وجود ندارد، که یک یافته مثبت برای تعمیم‌پذیری مدل است.
• ChatGPT کالیبراسیون اطمینان خوبی ندارد. این مدل اغلب بیش از حد مطمئن (overconfident) است و تقریباً هرگز مقادیر اطمینان پایینی ارائه نمی‌دهد. این نتیجه نگرانی‌های جدی در مورد قابلیت اعتماد مدل در سناریوهای حساس ایجاد می‌کند.

۴. روش‌شناسی تحقیق

پژوهشگران برای بررسی دقیق فرضیات خود، یک روش‌شناسی تجربی ساختاریافته را طراحی و پیاده‌سازی کردند. این روش شامل انتخاب دقیق زبان‌ها، وظایف، و شیوه جمع‌آوری داده‌ها و تحلیل آن‌ها بود.

انتخاب زبان‌ها:

با هدف بررسی عملکرد ChatGPT در زبان‌هایی غیر از انگلیسی که دارای منابع غنی هستند، پنج زبان با منابع فراوان (High-Resource Languages) انتخاب شدند. اگرچه مقاله به طور خاص نام این زبان‌ها را ذکر نکرده است، اما معمولاً در این گونه تحقیقات، زبان‌هایی مانند آلمانی، فرانسوی، اسپانیایی، ایتالیایی، ژاپنی، چینی ماندارین یا روسی مورد استفاده قرار می‌گیرند. این انتخاب به محققان اجازه داد تا اطمینان حاصل کنند که عملکرد مدل تحت تأثیر کمبود داده‌های آموزشی برای آن زبان‌ها قرار نمی‌گیرد و تفاوت‌ها واقعاً ناشی از ویژگی‌های مدل یا زبان است.

انتخاب وظایف NLP:

برای ارزیابی توانایی‌های ChatGPT، دو وظیفه پردازش زبان طبیعی (NLP) انتخاب شدند. این وظایف معمولاً وظایف استاندارد و شناخته شده‌ای هستند که چالش‌های مختلفی را برای مدل ایجاد می‌کنند. به عنوان مثال، این وظایف می‌توانستند شامل موارد زیر باشند:

• دسته‌بندی متن (Text Classification): مانند تشخیص احساسات (Sentiment Analysis) در جملات یا طبقه‌بندی متون خبری.
• پاسخ به پرسش (Question Answering): ارائه پاسخ‌های دقیق به سوالات مبتنی بر یک متن یا دانش عمومی.
• استخراج موجودیت نام‌گذاری شده (Named Entity Recognition – NER): شناسایی و دسته‌بندی موجودیت‌هایی مانند نام اشخاص، مکان‌ها و سازمان‌ها.

انتخاب این وظایف به محققان این امکان را داد که عملکرد مدل را در جنبه‌های مختلف درک زبان و تولید پاسخ بسنجند.

روش جمع‌آوری داده‌ها و ارزیابی:

هسته اصلی روش‌شناسی، تعامل مستقیم با ChatGPT بود. از مدل خواسته شد تا هر دو وظیفه را در هر یک از پنج زبان انتخاب شده انجام دهد. نکته کلیدی این بود که علاوه بر ارائه پاسخ، مدل ملزم به ارائه یک مقدار اطمینان عددی (Numerical Confidence Value) برای هر پاسخ نیز بود. این مقدار معمولاً یک عدد بین ۰ تا ۱ یا ۰ تا ۱۰۰ است که نشان‌دهنده احتمال صحت پاسخ از دید مدل است.

برای مثال، محققان می‌توانستند پرامپت‌هایی (Prompts) را به این صورت طراحی کنند: “متن زیر را دسته‌بندی کن [متن]. چقدر از پاسخ خود مطمئنی؟ (پاسخ را در مقیاس ۰ تا ۱۰۰ بیان کن).”
سپس، پاسخ‌های مدل در کنار مقادیر اطمینان آن‌ها، جمع‌آوری و با پاسخ‌های صحیح (برچسب‌های طلایی یا Gold Labels) مقایسه شدند تا دقت (Accuracy) مدل و همچنین کالیبراسیون اطمینان آن ارزیابی شود. کالیبراسیون اطمینان به این معنی است که آیا وقتی مدل می‌گوید ۹۰٪ مطمئن است، واقعاً در ۹۰٪ موارد پاسخ‌هایش صحیح است یا خیر. تحلیل این اختلاف، هسته مرکزی یافته‌های مربوط به عدم اطمینان بود.

۵. یافته‌های کلیدی

نتایج حاصل از این مطالعه، بینش‌های مهمی را در مورد قابلیت‌های ChatGPT، به ویژه در زمینه زبان‌های با منابع فراوان و کالیبراسیون اطمینان، ارائه می‌دهد. این یافته‌ها می‌توانند تأثیرات قابل توجهی بر نحوه استفاده و اعتماد ما به این مدل‌ها داشته باشند.

عملکرد مشابه در زبان‌های با منابع فراوان:

یکی از یافته‌های مهم این بود که تمامی زبان‌های با منابع فراوان انتخاب شده، عملکرد مشابهی داشتند. این بدان معناست که ChatGPT در زبان‌هایی مانند آلمانی، فرانسوی، اسپانیایی و غیره، عملکردی هم‌تراز با یکدیگر از خود نشان داد. این نتیجه نشان می‌دهد که مدل در این دسته از زبان‌ها به یک سطح بهینه از دانش و درک رسیده است و عملکرد آن به طور محسوسی تحت تأثیر تفاوت‌های خاص هر زبان قرار نمی‌گیرد. این یافته تا حدودی اطمینان‌بخش است، زیرا نشان می‌دهد که کاربران در مناطق مختلف جهان که به این زبان‌ها صحبت می‌کنند، می‌توانند انتظار عملکرد نسبتاً یکسانی را از ChatGPT داشته باشند. این امر همچنین می‌تواند به معنای تعمیم‌پذیری (Generalizability) مناسب مدل در میان این زبان‌ها باشد و نیاز به آموزش‌های جداگانه و گسترده برای هر زبان را کاهش دهد.

عدم کالیبراسیون اطمینان مناسب و اطمینان بیش از حد:

شاید مهم‌ترین و نگران‌کننده‌ترین یافته این مطالعه، این بود که ChatGPT کالیبراسیون اطمینان خوبی ندارد. مدل به طور مداوم بیش از حد مطمئن (Overconfident) بود و هرگز مقادیر اطمینان پایینی ارائه نمی‌داد. حتی زمانی که پاسخ‌ها اشتباه بودند، مدل همچنان سطح اطمینان بالایی را گزارش می‌کرد. این بدان معنی است که عددی که ChatGPT به عنوان اطمینان خود از یک پاسخ ارائه می‌دهد، لزوماً منعکس‌کننده دقت واقعی آن پاسخ نیست.

برای روشن‌تر شدن، فرض کنید ChatGPT به سوالی پاسخ می‌دهد و می‌گوید “۹۵٪ مطمئنم”. در یک سیستم با کالیبراسیون خوب، این به این معنی است که از هر ۱۰۰ پاسخی که مدل با اطمینان ۹۵٪ می‌دهد، ۹۵ مورد آن صحیح است. اما در مورد ChatGPT، این مطالعه نشان می‌دهد که حتی اگر مدل بگوید ۹۵٪ مطمئن است، ممکن است تنها ۷۰٪ یا کمتر از پاسخ‌هایش صحیح باشند. از سوی دیگر، این مدل به ندرت، حتی برای پاسخ‌های پیچیده یا چالش‌برانگیز، اطمینان زیر ۷۰٪ یا ۸۰٪ را گزارش می‌کرد.

این عدم کالیبراسیون اطمینان یک نقص جدی است، زیرا قابلیت اعتماد (Trustworthiness) مدل را به خطر می‌اندازد. در سناریوهای حیاتی، مانند تشخیص بیماری، مشاوره حقوقی یا تصمیم‌گیری‌های مالی، اتکا به یک سیستمی که از اشتباهات خود آگاه نیست و به درستی میزان شک و تردید خود را بیان نمی‌کند، می‌تواند منجر به نتایج فاجعه‌بار شود. این یافته به کاربران و توسعه‌دهندگان هشدار می‌دهد که باید در تفسیر سطح اطمینانی که ChatGPT ارائه می‌دهد، بسیار محتاط باشند و آن را به عنوان یک معیار قابل اتکا برای دقت در نظر نگیرند.

۶. کاربردها و دستاوردها

با وجود اینکه یافته‌های این مقاله عمدتاً بر محدودیت‌ها و چالش‌ها تمرکز دارند، اما دستاوردها و کاربردهای مهمی را برای جامعه علمی و کاربران عمومی به ارمغان می‌آورند. در واقع، درک محدودیت‌ها خود گامی اساسی در جهت بهبود و توسعه مدل‌های هوش مصنوعی است.

دستاوردها:

• افزایش شفافیت و مسئولیت‌پذیری: این تحقیق با روشن ساختن ناتوانی ChatGPT در کالیبراسیون صحیح اطمینان، به افزایش شفافیت در مورد عملکرد مدل‌های زبان بزرگ کمک می‌کند. این امر به کاربران، توسعه‌دهندگان و سیاست‌گذاران اجازه می‌دهد تا با دید بازتری به قابلیت‌های این سیستم‌ها نگاه کنند و مسئولیت‌پذیری بیشتری را در طراحی و به‌کارگیری آن‌ها طلب کنند.
• راهنمایی برای تحقیقات آتی: این مطالعه، مسیرهای جدیدی برای تحقیقات آتی باز می‌کند. تمرکز بر روی بهبود کالیبراسیون اطمینان و ایجاد مکانیسم‌هایی که مدل‌ها بتوانند عدم قطعیت خود را به طور دقیق‌تری ابراز کنند، از جمله حوزه‌هایی است که نیاز به کار بیشتر دارد. توسعه روش‌هایی برای کالیبراسیون پس از آموزش (Post-Hoc Calibration) یا طراحی معماری‌های جدید که ذاتاً از قابلیت بهتری برای تخمین عدم قطعیت برخوردارند، از جمله این مسیرهاست.
• آگاهی‌بخشی به کاربران: مهم‌ترین دستاورد عملی این مقاله، آگاهی‌بخشی به کاربران نهایی است. این مقاله به طور واضح نشان می‌دهد که نباید به اعداد اطمینانی که ChatGPT ارائه می‌دهد، به طور کامل اعتماد کرد. کاربران باید همواره رویکردی انتقادی نسبت به پاسخ‌های مدل داشته باشند، به‌ویژه در موضوعات حساس و حیاتی که خطای انسانی می‌تواند عواقب جدی داشته باشد.

کاربردها و پیامدها:

پیامدهای این یافته‌ها برای کاربردهای عملی ChatGPT بسیار گسترده است:

• سیستم‌های تصمیم‌گیری حیاتی: در حوزه‌هایی مانند پزشکی (تشخیص بیماری)، مالی (مشاوره سرمایه‌گذاری) یا حقوقی (تحلیل پرونده)، جایی که اشتباهات می‌توانند منجر به خسارات جبران‌ناپذیری شوند، تکیه صرف بر پاسخ‌های ChatGPT بدون در نظر گرفتن عدم قطعیت آن بسیار خطرناک است. توسعه‌دهندگان این سیستم‌ها باید مکانیزم‌های بازبینی انسانی یا سیستم‌های تشخیص عدم قطعیت مستقل را ادغام کنند.
• ابزارهای آموزشی و پژوهشی: در حالی که ChatGPT می‌تواند ابزاری عالی برای کمک به یادگیری یا پیش‌نویس اولیه متون باشد، دانشجویان و پژوهشگران باید به طور خاص از قابلیت اطمینان بیش از حد آن آگاه باشند. یک پاسخ غلط که با اطمینان بالا ارائه شده، می‌تواند به اشتباه منجر به پذیرش اطلاعات نادرست شود.
• توسعه مدل‌های هوش مصنوعی: این مقاله بر نیاز به توسعه مدل‌های زبان بزرگ آینده با قابلیت‌های توضیح‌پذیری (Explainability) و کالیبراسیون عدم قطعیت (Uncertainty Calibration) بهتر تأکید می‌کند. مهندسان باید به دنبال روش‌هایی باشند که نه تنها پاسخ‌های دقیق ارائه دهند، بلکه بتوانند میزان قطعیت یا عدم قطعیت خود را به شیوه‌ای قابل اعتماد بیان کنند. این شامل استفاده از تکنیک‌هایی مانند Ensemble Learning، Bayesian Neural Networks یا Conformal Prediction می‌شود.
• امنیت و اخلاق هوش مصنوعی: این تحقیق به طور مستقیم به مسائل امنیتی و اخلاقی مرتبط با هوش مصنوعی می‌پردازد. مدل‌هایی که نمی‌توانند عدم قطعیت خود را بیان کنند، ممکن است باعث پخش اطلاعات نادرست (Misinformation) شوند و اعتماد عمومی را به فناوری کاهش دهند. در نتیجه، این مقاله به تلاش‌ها برای ایجاد چارچوب‌های اخلاقی قوی‌تر برای هوش مصنوعی کمک می‌کند.

در مجموع، این مقاله، اگرچه به نقاط ضعف اشاره دارد، اما به عنوان یک کاتالیزور برای پیشرفت‌های آتی در حوزه مسئولیت‌پذیری و قابلیت اعتماد هوش مصنوعی عمل می‌کند و به جامعه کمک می‌کند تا با درک واقع‌بینانه‌تری از قابلیت‌ها و محدودیت‌های ChatGPT بهره‌برداری کند.

۷. نتیجه‌گیری

پژوهش “ناتوانی ChatGPT در تخمین عدم قطعیت پیش‌بینی در زبان‌های با منابع فراوان” گامی مهم و روشنگر در مسیر درک عمیق‌تر قابلیت‌ها و محدودیت‌های یکی از تأثیرگذارترین مدل‌های زبان بزرگ عصر حاضر است. این مقاله به ما نشان می‌دهد که در حالی که ChatGPT در پردازش وظایف NLP در زبان‌های با منابع فراوان عملکردی مشابه و قابل قبول از خود نشان می‌دهد، اما در جنبه‌ای حیاتی یعنی تخمین و ابراز عدم قطعیت، دچار کاستی‌های جدی است.

یافته‌های کلیدی این مطالعه، یعنی عملکرد یکنواخت در میان زبان‌های با منابع فراوان و کالیبراسیون ضعیف اطمینان با گرایش به اطمینان بیش از حد، پیامدهای عملی گسترده‌ای دارند. این بدان معناست که کاربران نباید کورکورانه به سطح اطمینانی که مدل برای پاسخ‌هایش اعلام می‌کند، اعتماد کنند. در سناریوهای حساس، جایی که اشتباهات می‌توانند عواقب جدی داشته باشند (مانند کاربردهای پزشکی، حقوقی یا مالی)، این اطمینان کاذب می‌تواند بسیار خطرناک باشد.

این تحقیق نه تنها به افزایش دانش ما در مورد ماهیت این مدل‌های پیچیده کمک می‌کند، بلکه مسیرهای جدیدی برای تحقیقات آینده را نیز روشن می‌سازد. نیاز مبرم به توسعه روش‌ها و معماری‌هایی که بتوانند عدم قطعیت را به طور قابل اعتماد تخمین بزنند و بیان کنند، بیش از پیش احساس می‌شود. این شامل تلاش‌هایی در جهت بهبود قابلیت توضیح‌پذیری (Explainability) و شفافیت (Transparency) مدل‌های هوش مصنوعی است تا کاربران بتوانند نه تنها “چه پاسخی” بلکه “چرا این پاسخ و با چه میزان اطمینانی” ارائه شده است را درک کنند.

در نهایت، این مقاله به عنوان یک یادآوری ضروری عمل می‌کند: هرچند هوش مصنوعی پیشرفت‌های چشمگیری داشته است، اما هنوز راه درازی تا دستیابی به سیستمی کاملاً قابل اعتماد و با قابلیت‌های شناختی انسانی در پیش داریم. استفاده مسئولانه از این فناوری‌ها مستلزم درک کامل نقاط قوت و ضعف آن‌ها است، و پژوهش‌هایی از این دست نقشی حیاتی در این فرایند ایفا می‌کنند.