۱. معرفی مقاله و اهمیت آن

در دنیای یادگیری ماشین، به‌خصوص در حوزه‌هایی مانند پردازش زبان طبیعی (NLP)، دقت مدل‌ها تنها یکی از معیارهای مهم است. در بسیاری از کاربردها، به‌ویژه آن‌هایی که تصمیم‌گیری‌های حساس یا پرهزینه مطرح است، درک و سنجش میزان اطمینان یا عدم قطعیت پیش‌بینی‌های مدل اهمیت حیاتی پیدا می‌کند. مقالات اخیر در این زمینه، به‌ویژه آن‌هایی که به دنبال ارائه‌ی مجموعه‌های پیش‌بینی (prediction sets) برای ارزیابی عدم قطعیت هستند، اغلب با چالش‌هایی در تضمین رفتار مطلوب این مجموعه‌ها روبرو بوده‌اند. این مقاله با عنوان “Approximate Conditional Coverage & Calibration via Neural Model Approximations” (پوشش و واسنجی تقریبی شرطی با تقریب‌های مدل عصبی) توسط آلن اشمالتز و دانیل رسولی، به این چالش‌ها پرداخته و رویکردی نوآورانه برای بهبود قابلیت اطمینان و واسنجی (calibration) پیش‌بینی‌های مدل‌های عصبی، به‌خصوص شبکه‌های ترنسفورمر (Transformer networks)، ارائه می‌دهد.

اهمیت این تحقیق در این است که به دنبال ایجاد اطمینان از این است که مجموعه‌های پیش‌بینی تولید شده توسط مدل‌ها، در شرایط خاص، رفتاری قابل پیش‌بینی و قابل اتکا داشته باشند. این امر برای کاربردهایی که نیاز به شفافیت و قابلیت تفسیر بالا دارند، مانند تشخیص پزشکی، ارزیابی ریسک مالی، یا سیستم‌های توصیه‌گر، بسیار حیاتی است. مقالات پیشین نتوانسته‌اند به طور کامل این رفتار مطلوب را تضمین کنند، و این مقاله سعی در پر کردن این شکاف دارد.

۲. نویسندگان و زمینه تحقیق

این مقاله توسط آلن اشمالتز (Allen Schmaltz) و دانیل رسولی (Danielle Rasooly) نوشته شده است. این پژوهش در دو حوزه کلیدی یادگیری ماشین: یادگیری ماشین (Machine Learning) و محاسبات و زبان (Computation and Language) قرار می‌گیرد. تمرکز بر پردازش زبان طبیعی نشان‌دهنده اهمیت فهم عمیق‌تر و قابل اطمینان‌تر مدل‌های زبانی است که امروزه نقش محوری در بسیاری از فناوری‌های ما دارند.

زمینه‌ی تحقیق این پژوهش، تلفیق تکنیک‌های پیشرفته‌ی یادگیری ماشین، به‌ویژه در زمینه مدل‌های عصبی عمیق و معماری ترنسفورمر، با مفاهیم آماری مربوط به ارزیابی عدم قطعیت و واسنجی پیش‌بینی‌هاست. این رویکرد چندوجهی، این امکان را فراهم می‌آورد که مدل‌ها نه تنها پیش‌بینی‌های دقیقی ارائه دهند، بلکه بتوانیم به میزان اطمینان این پیش‌بینی‌ها نیز اعتماد کنیم.

۳. چکیده و خلاصه محتوا

چکیده این مقاله به طور خلاصه بیان می‌کند که یک خواسته معمول برای کمّی‌سازی عدم قطعیت مدل‌های طبقه‌بندی، به صورت مجموعه‌های پیش‌بینی، واسطه‌گری مجموعه‌های تک‌عضوی شرطی کلاس (class-conditional singleton set calibration) است. این به این معنی است که این مجموعه‌ها باید با خروجی طبقه‌بندهای انتخابی (selective classifiers) که به خوبی واسنجی شده‌اند، مطابقت داشته باشند و فرکانس‌های مشاهده شده از نمونه‌های مشابه را منعکس کنند. کارهای اخیر که مقادیر p-valueهای همنوا (Conformal p-values) تطبیقی و موضعی را برای شبکه‌های عمیق پیشنهاد می‌کنند، این رفتار را تضمین نمی‌کنند و حتی به صورت تجربی نیز به آن دست نمی‌یابند.

در مقابل، نویسندگان از سیگنال‌های قوی برای قابلیت اطمینان پیش‌بینی از تقریب‌های مبتنی بر KNN (KNN-based approximations) شبکه‌های ترنسفورمر استفاده می‌کنند. این تقریب‌ها برای ساخت پارتیشن‌های مبتنی بر داده برای پیش‌بینی‌کننده‌های همنوای مونتریان (Mondrian Conformal Predictors) به کار می‌روند. این پیش‌بینی‌کننده‌ها به عنوان طبقه‌بندهای انتخابی ضعیف در نظر گرفته شده و سپس از طریق یک پیش‌بینی‌کننده وِن القایی جدید، یعنی پیش‌بینی‌کننده Venn-ADMIT (Venn-ADMIT Predictor)، واسنجی می‌شوند. کلاسه‌بندی‌کننده‌های انتخابی حاصل، به معنایی محافظه‌کارانه اما کاربردی، برای یک آستانه معین، به خوبی واسنجی شده‌اند. این رویکرد ذاتاً در برابر تغییرات در نسبت داده‌های پارتیشن‌ها مقاوم است و راهکارهای محافظه‌کارانه ساده، مقاومت بیشتری در برابر تغییرات کوواریانس (covariate shifts) ایجاد می‌کنند. در نهایت، نتایج با مقادیر تولید شده توسط پیش‌بینی‌کننده‌های همنوای اخیر در چندین وظیفه طبقه‌بندی پردازش زبان طبیعی نماینده و چالش‌برانگیز، از جمله تنظیمات نامتوازن کلاس و تغییر توزیع، مقایسه و تضاد داده می‌شوند.

۴. روش‌شناسی تحقیق

نوآوری اصلی این مقاله در رویکرد ترکیبی آن است که با استفاده از نقاط قوت مدل‌های عصبی مدرن و مفاهیم آماری کلاسیک، به دنبال حل مشکل عدم قطعیت پیش‌بینی است. مراحل کلیدی روش‌شناسی به شرح زیر است:

• استفاده از تقریب‌های KNN برای شبکه‌های ترنسفورمر: شبکه‌های ترنسفورمر، مانند BERT یا GPT، در NLP بسیار موفق بوده‌اند. این شبکه‌ها معمولاً خروجی‌های پیچیده‌ای دارند که تفسیر مستقیم عدم قطعیت آن‌ها دشوار است. نویسندگان از تقریب‌های مبتنی بر K-نزدیک‌ترین همسایه (KNN) برای مدل‌های ترنسفورمر استفاده می‌کنند. این رویکرد به شناسایی نمونه‌هایی کمک می‌کند که در فضای ویژگی، به نمونه ورودی شباهت دارند. این شباهت، به عنوان یک سیگنال قوی برای قابلیت اطمینان پیش‌بینی تلقی می‌شود. به بیان دیگر، اگر نمونه‌های نزدیک به نمونه ورودی، پیش‌بینی‌های مشابهی داشته باشند، می‌توانیم به آن پیش‌بینی اطمینان بیشتری کنیم.
• پارتیشن‌بندی مبتنی بر داده برای پیش‌بینی‌کننده‌های همنوای مونتریان: بر اساس شباهت‌های حاصل از تقریب‌های KNN، داده‌ها به زیرمجموعه‌هایی (پارتیشن‌ها) تقسیم می‌شوند. هر پارتیشن شامل نمونه‌هایی است که از نظر ویژگی‌ها به هم شبیه هستند. این پارتیشن‌ها سپس به پیش‌بینی‌کننده‌های همنوای مونتریان (Mondrian Conformal Predictors) تخصیص داده می‌شوند. این پیش‌بینی‌کننده‌ها یک چارچوب آماری برای ایجاد مجموعه‌های پیش‌بینی با تضمین‌های پوشش (coverage guarantees) هستند. نام “مونتریان” از قضیه مونتر (Mondrian) در منطق می‌آید و به این معنی است که اطمینان پوشش به طور مستقل برای هر پارتیشن داده اعمال می‌شود.
• واسطه‌گری با پیش‌بینی‌کننده Venn-ADMIT: پیش‌بینی‌کننده‌های مونتریان به تنهایی ممکن است “ضعیف” باشند، یعنی مجموعه‌های پیش‌بینی آن‌ها ممکن است بسیار بزرگ باشند. برای بهبود این وضعیت، از یک روش واسنجی جدید به نام “پیش‌بینی‌کننده Venn-ADMIT” استفاده می‌شود. این پیش‌بینی‌کننده، طبقه‌بندهای انتخابی ضعیف را دریافت کرده و آن‌ها را واسنجی می‌کند تا مجموعه‌های پیش‌بینی کوچکتر و در عین حال قابل اطمینان‌تری ایجاد کند. این پیش‌بینی‌کننده بر اساس اصول نظریه وِن (Venn theory) عمل می‌کند و به دنبال بهینه‌سازی توزیع داده‌ها در فضای احتمالات است.
• تضمین‌ها و مقاومت: رویکرد پیشنهادی تضمین می‌کند که کلاسه‌بندی‌کننده‌های انتخابی حاصل، به خوبی واسنجی شده‌اند. این به معنای آن است که اگر ما یک آستانه اطمینان (مثلاً ۹۰%) تعیین کنیم، در بلندمدت، حدود ۹۰% از نمونه‌هایی که در مجموعه پیش‌بینی قرار می‌گیرند، واقعاً به کلاس صحیح تعلق دارند. همچنین، این روش ذاتاً در برابر تغییرات در نسبت داده‌ها در پارتیشن‌ها مقاوم است. برای مقابله با “تغییرات کوواریانس” (covariate shifts)، که در آن توزیع داده‌های ورودی در طول زمان تغییر می‌کند، از راهکارهای محافظه‌کارانه ساده استفاده می‌شود.

۵. یافته‌های کلیدی

یافته‌های این تحقیق نشان‌دهنده پیشرفت قابل توجهی در ارزیابی عدم قطعیت مدل‌های یادگیری ماشین است:

• واسطه‌گری شرطی موفق: برخلاف رویکردهای قبلی که نتوانستند تضمین کنند مجموعه‌های پیش‌بینی، رفتار مطلوب شرطی کلاس را رعایت کنند، این مقاله نشان می‌دهد که رویکرد ترکیبی آن‌ها به این هدف دست می‌یابد. این به معنای آن است که اطمینان پیش‌بینی، نه تنها به صورت کلی، بلکه برای هر کلاس خاص نیز به خوبی حفظ می‌شود.
• کارایی عملی در NLP: نویسندگان با آزمایش روش خود بر روی وظایف طبقه‌بندی NLP، از جمله موارد چالش‌برانگیز مانند داده‌های نامتوازن کلاس و تغییرات توزیعی، اثربخشی آن را نشان داده‌اند. این نشان می‌دهد که روش پیشنهادی در سناریوهای واقعی و پیچیده نیز کاربردی است.
• مقاومت در برابر تغییرات داده: قابلیت مقاومت در برابر تغییرات در نسبت داده‌ها در پارتیشن‌ها و همچنین ارائه راهکارهای اضافی برای مقابله با تغییرات کوواریانس، از مزایای کلیدی این تحقیق است. این امر باعث می‌شود مدل‌ها در طول زمان یا در مواجهه با داده‌های جدید، قابل اطمینان باقی بمانند.
• ارتباط بین تقریب‌های مدل و عدم قطعیت: این تحقیق بر اهمیت استفاده از سیگنال‌های موجود در تقریب‌های مدل (مانند KNN-based approximations) برای درک بهتر عدم قطعیت تاکید می‌کند. این نشان می‌دهد که چگونه می‌توان از ساختار داخلی مدل‌های پیچیده برای بهبود ارزیابی عدم قطعیت بهره برد.

۶. کاربردها و دستاوردها

این تحقیق پتانسیل بالایی برای کاربردهای عملی در طیف وسیعی از حوزه‌ها دارد:

• پردازش زبان طبیعی (NLP): در وظایفی مانند تحلیل احساسات، خلاصه‌سازی متن، یا پاسخ به پرسش، دانستن اینکه مدل چقدر به پاسخ خود اطمینان دارد، بسیار مهم است. این تحقیق می‌تواند به توسعه سیستم‌های NLP قابل اعتمادتر کمک کند، به‌ویژه در مواردی که پاسخ اشتباه می‌تواند عواقب جدی داشته باشد.
• پزشکی و سلامت: در تحلیل تصاویر پزشکی یا پیش‌بینی بیماری‌ها، مجموعه‌های پیش‌بینی با تضمین عدم قطعیت بالا می‌توانند به پزشکان در تصمیم‌گیری کمک کنند. اگر مدل در مورد تشخیص خود عدم اطمینان بالایی نشان دهد، پزشک می‌تواند با دقت بیشتری بررسی کند.
• مالی و ریسک: در ارزیابی ریسک اعتباری، تشخیص تقلب، یا پیش‌بینی بازارهای مالی، درک عدم قطعیت پیش‌بینی‌ها برای مدیریت سرمایه‌گذاری و جلوگیری از ضررهای بزرگ ضروری است.
• سیستم‌های توصیه‌گر: در سیستم‌هایی که محصول، فیلم، یا محتوا را به کاربران توصیه می‌کنند، ارزیابی عدم قطعیت می‌تواند به ارائه توصیه‌هایی با اطمینان بالاتر منجر شود و تجربه کاربری را بهبود بخشد.
• سیستم‌های خودران: در خودروهای خودران، تصمیم‌گیری‌های آنی و دقیق در شرایط عدم قطعیت حیاتی است. درک عدم قطعیت پیش‌بینی‌های حسگرها یا الگوریتم‌های تصمیم‌گیری می‌تواند به افزایش ایمنی کمک کند.

دستاورد اصلی این مقاله، ارائه یک چارچوب عملی و نظری قوی برای ارزیابی عدم قطعیت قابل اعتماد در مدل‌های عصبی است. این رویکرد، با ترکیب نقاط قوت مدل‌های پیچیده مدرن با ابزارهای آماری اثبات شده، گامی مهم در جهت ایجاد سیستم‌های هوش مصنوعی قابل فهم‌تر و قابل اعتمادتر برمی‌دارد.

۷. نتیجه‌گیری

مقاله “پوشش و واسنجی تقریبی شرطی با تقریب‌های مدل عصبی” با موفقیت به چالش اساسی در ارزیابی عدم قطعیت مدل‌های یادگیری ماشین، به‌ویژه مدل‌های عصبی عمیق، پرداخته است. نویسندگان با نوآوری در استفاده از تقریب‌های مبتنی بر KNN شبکه‌های ترنسفورمر و ترکیب آن با چارچوب‌های همنوای آماری (مانند Mondrian Conformal Predictors و Venn-ADMIT Predictor)، روشی عملی و قابل اطمینان برای تولید مجموعه‌های پیش‌بینی واسنجی شده ارائه داده‌اند.

این تحقیق نشان می‌دهد که چگونه می‌توان از اطلاعات نهفته در مدل‌های پیچیده برای بهبود فهم عدم قطعیت استفاده کرد. قابلیت دستیابی به واسنجی شرطی کلاس، مقاومت در برابر تغییرات داده، و اثربخشی عملی در حوزه‌های چالش‌برانگیز NLP، همگی از دستاوردهای برجسته این پژوهش هستند. این مقاله دریچه‌ای نو به سوی توسعه سیستم‌های هوش مصنوعی بازتر، قابل اعتمادتر و در نهایت، ایمن‌تر باز می‌کند که برای پذیرش گسترده‌تر در کاربردهای حساس، ضروری هستند.