تخمین خیرگی (Gaze Estimation)، یعنی تشخیص دقیق نقطه‌ای که یک فرد به آن نگاه می‌کند، یکی از حوزه‌های پرکاربرد و مهم در بینایی ماشین و تعامل انسان و کامپیوتر است. این فناوری در زمینه‌های گوناگونی از جمله واقعیت مجازی و افزوده (VR/AR)، فناوری‌های کمکی برای افراد دارای معلولیت، سیستم‌های نظارت بر راننده و تحقیقات روان‌شناسی نقشی کلیدی ایفا می‌کند. با وجود پیشرفت‌های چشمگیر مدل‌های یادگیری عمیق در این حوزه، یک چالش اساسی همچنان باقی است: مدل‌های آموزش‌دیده روی مجموعه داده‌های بزرگ، عملکرد دقیقی برای یک کاربر جدید و خاص ندارند. تفاوت‌های فردی در ساختار چهره و چشم، شرایط نوری متفاوت و موقعیت دوربین باعث ایجاد شکاف عملکردی (Domain Gap) بین داده‌های آموزشی و داده‌های کاربر جدید می‌شود.

راه‌حل معمول برای این مشکل، فرآیند «تنظیم دقیق» (Fine-tuning) مدل برای هر کاربر است. اما این روش نیازمند داده‌های برچسب‌دار (Labeled Data) از کاربر جدید است که جمع‌آوری آن در عمل بسیار دشوار، زمان‌بر و پرهزینه است. مقاله “Test-Time Personalization with Meta Prompt for Gaze Estimation” یک راه‌حل نوآورانه و کارآمد برای این مشکل ارائه می‌دهد. این پژوهش با الهام از پیشرفت‌های اخیر در حوزه پردازش زبان طبیعی (NLP)، روشی را معرفی می‌کند که می‌تواند مدل تخمین خیرگی را در «زمان آزمون» (Test-Time) و بدون نیاز به هیچ‌گونه داده برچسب‌دار، برای هر کاربر جدید شخصی‌سازی کند. اهمیت این مقاله در ارائه یک چارچوب عملی، سریع و دقیق برای شخصی‌سازی است که پلی میان تحقیقات آکادمیک و کاربردهای دنیای واقعی ایجاد می‌کند.

این مقاله حاصل تلاش گروهی از پژوهشگران برجسته در حوزه هوش مصنوعی و بینایی ماشین است. نویسندگان آن عبارتند از: هوان لیو (Huan Liu)، جولیا چی (Julia Qi)، ژنهائو لی (Zhenhao Li)، محمد حسن‌پور (Mohammad Hassanpour)، یانگ وانگ (Yang Wang)، کنستانتینوس پلاتانیوتیس (Konstantinos Plataniotis) و یوآنهائو یو (Yuanhao Yu). این پژوهش در دسته مقالات حوزه بینایی ماشین و بازشناسی الگو (Computer Vision and Pattern Recognition) قرار می‌گیرد و نشان‌دهنده تخصص عمیق نویسندگان در به‌کارگیری تکنیک‌های پیشرفته یادگیری ماشین برای حل مسائل عملی در دنیای واقعی است. انتشار این مقاله در مجامع معتبر علمی، نشان از کیفیت و نوآوری بالای کار ارائه شده دارد.

ایده اصلی این مقاله، حل مشکل شخصی‌سازی مدل‌های تخمین خیرگی به روشی کارآمد و بدون نیاز به برچسب است. پژوهشگران برای رسیدن به این هدف، از تکنیکی به نام «پرامپت تیونینگ» (Prompt Tuning) که در پردازش زبان طبیعی بسیار موفق بوده، الهام گرفته‌اند. به جای تنظیم دقیق کل پارامترهای یک شبکه عصبی بزرگ مانند ResNet-18، آن‌ها یک ماژول کوچک و قابل آموزش به نام «پرامپت» (Prompt) را به مدل اصلی اضافه می‌کنند. این پرامپت تعداد پارامترهای بسیار کمی دارد (کمتر از ۱٪ پارامترهای مدل اصلی) و تنها همین بخش کوچک در زمان مواجهه با کاربر جدید، آموزش می‌بیند.

چالش اصلی در این رویکرد، چگونگی آموزش این پرامپت بدون داده‌های برچسب‌دار است. نویسندگان برای حل این مشکل، از یک تابع هزینه بدون نظارت (Unsupervised Loss) ساده مبتنی بر تقارن ذاتی چشم انسان استفاده می‌کنند. با این حال، به‌روزرسانی مستقیم پرامپت با این تابع هزینه ممکن است به نتایج بهینه منجر نشود. برای اطمینان از اینکه فرآیند به‌روزرسانی پرامپت واقعاً به کاهش خطای تخمین خیرگی منجر می‌شود، پژوهشگران از «متا-یادگیری» (Meta-Learning) یا «یادگیریِ یادگرفتن» بهره می‌برند. آن‌ها پرامپت را طوری پیش‌آموزش می‌دهند که برای انطباق سریع و مؤثر با داده‌های جدید آماده باشد. در نتیجه، پرامپت متا-آموخته‌شده می‌تواند به طور مؤثر حتی با یک تابع هزینه بدون نظارت ساده، خود را با ویژگی‌های کاربر جدید تطبیق دهد و دقت تخمین را به شکل چشمگیری بهبود بخشد.

متدولوژی این پژوهش که TPGaze نام‌گذاری شده، بر پایه چند مفهوم کلیدی بنا شده است:

• پرامپت تیونینگ در بینایی ماشین: این مقاله ایده پرامپت را از دنیای متن به دنیای تصویر منتقل می‌کند. در اینجا، پرامپت مجموعه‌ای کوچک از پارامترهای یادگرفتنی است که به لایه‌های میانی یک شبکه عصبی از پیش آموزش‌دیده متصل می‌شود. در حین شخصی‌سازی، پارامترهای مدل اصلی ثابت (Frozen) باقی می‌مانند و تنها پارامترهای پرامپت به‌روزرسانی می‌شوند. این کار باعث می‌شود فرآیند انطباق بسیار سریع و از نظر محاسباتی سبک باشد.
• شخصی‌سازی در زمان آزمون (Test-Time Personalization): فرآیند تطبیق مدل با کاربر جدید، در لحظه استفاده و تنها با چند نمونه داده بدون برچسب از همان کاربر انجام می‌شود. این ویژگی، روش پیشنهادی را برای کاربردهای بلادرنگ (Real-time) بسیار مناسب می‌سازد. به عنوان مثال، یک هدست واقعیت مجازی می‌تواند در چند ثانیه اول استفاده، مدل ردیابی چشم را برای کاربر جدید کالیبره کند.
• یادگیری بدون نظارت با تابع هزینه تقارن (Symmetry Loss): از آنجایی که داده برچسب‌دار در زمان آزمون در دسترس نیست، از یک ویژگی ذاتی سیستم بینایی انسان استفاده می‌شود: تقارن. اگر یک تصویر از چهره به صورت افقی برگردانده شود، جهت نگاه نیز باید به صورت متقارن معکوس شود. برای مثال، نگاه به سمت چپ در تصویر اصلی، معادل نگاه به سمت راست در تصویر معکوس است. این اصل به یک تابع هزینه ریاضی تبدیل می‌شود که مدل را هدایت می‌کند تا پیش‌بینی‌های متقارن و در نتیجه دقیق‌تری تولید کند.
• نقش کلیدی متا-یادگیری: چالش اصلی این است که بهینه‌سازی تابع هزینه تقارن لزوماً منجر به کاهش خطای واقعی تخمین خیرگی نمی‌شود. اینجا است که متا-یادگیری وارد عمل می‌شود. در مرحله متا-آموزش (Meta-Training)، مدل یاد می‌گیرد که چگونه پرامپت خود را برای کاربران مختلف (که در مجموعه داده آموزشی حضور دارند) با استفاده از تابع هزینه تقارن، به بهترین شکل ممکن به‌روزرسانی کند. این فرآیند، پرامپت را به گونه‌ای «آماده» می‌کند که در زمان آزمون، اعمال گرادیان‌های حاصل از تابع هزینه تقارن، آن را در مسیری قرار دهد که به کاهش خطای واقعی منجر شود. به عبارت دیگر، مدل «یاد می‌گیرد که چگونه به طور مؤثر از سیگنال‌های بدون نظارت برای بهبود عملکرد خود استفاده کند.»

نتایج آزمایش‌های انجام‌شده در این مقاله، برتری قابل توجه روش پیشنهادی را در مقایسه با روش‌های دیگر نشان می‌دهد. یافته‌های اصلی عبارتند از:

• سرعت فوق‌العاده بالا: فرآیند شخصی‌سازی با استفاده از متا پرامپت تا ۱۰ برابر سریع‌تر از روش‌های رقیب است. این مزیت به دلیل به‌روزرسانی تعداد بسیار کمی از پارامترها (تنها پارامترهای پرامپت) به دست می‌آید.
• کارایی پارامتری: پرامپت استفاده‌شده تنها شامل کسری از پارامترهای مدل اصلی است (کمتر از ۱٪ پارامترهای شبکه ResNet-18). این موضوع باعث می‌شود مدل نهایی از نظر حافظه بسیار بهینه باشد و بتوان آن را به راحتی روی دستگاه‌های با منابع محدود مانند گوشی‌های هوشمند یا هدست‌های واقعیت مجازی پیاده‌سازی کرد.
• اثربخشی بالا: با وجود سادگی تابع هزینه بدون نظارت، پرامپت متا-آموخته‌شده به طور مؤثری خود را با کاربران جدید تطبیق می‌دهد و خطای تخمین خیرگی را به میزان قابل توجهی کاهش می‌دهد. این نشان می‌دهد که فرآیند متا-یادگیری با موفقیت توانسته است ارتباط میان بهینه‌سازی بدون نظارت و هدف اصلی مسئله را برقرار کند.
• قابلیت تعمیم‌پذیری قوی: پژوهشگران روش خود را روی چهار سناریوی اعتبارسنجی بین-مجموعه‌داده (Cross-dataset Validation) آزمایش کردند. نتایج نشان داد که این روش عملکردی قوی و پایدار در مواجهه با داده‌هایی از دامنه‌های کاملاً متفاوت (مثلاً دوربین‌ها، افراد و شرایط نوری مختلف) دارد، که این خود گواهی بر استحکام و کاربردی بودن آن در دنیای واقعی است.

این پژوهش با ارائه یک راه‌حل عملی برای شخصی‌سازی بدون برچسب، درهای جدیدی را به روی کاربردهای گسترده فناوری تخمین خیرگی باز می‌کند. برخی از مهم‌ترین کاربردها عبارتند از:

• واقعیت مجازی و افزوده (VR/AR): کالیبراسیون سریع و خودکار سیستم ردیابی چشم برای هر کاربر، تجربه کاربری را بهبود بخشیده و امکان پیاده‌سازی تکنیک‌هایی مانند Foveated Rendering (که بار پردازشی را کاهش می‌دهد) را فراهم می‌سازد.
• فناوری‌های کمکی: افراد با ناتوانی‌های حرکتی می‌توانند با دقت و سرعت بیشتری دستگاه‌ها و کامپیوترها را با چشمان خود کنترل کنند، زیرا سیستم به سرعت با ویژگی‌های منحصربه‌فرد چشمان آن‌ها سازگار می‌شود.
• صنعت خودروسازی: سیستم‌های نظارت بر راننده می‌توانند با دقت بالاتری سطح هوشیاری و تمرکز راننده را تشخیص دهند، حتی اگر راننده برای اولین بار پشت فرمان نشسته باشد.
• بازاریابی و تحقیقات علوم شناختی: تحلیل رفتار بصری کاربران و مشتریان با دقت بالاتری امکان‌پذیر می‌شود، زیرا مدل‌ها دیگر تحت تأثیر خطاهای ناشی از تفاوت‌های فردی قرار ندارند.

بزرگترین دستاورد این مقاله، ارائه یک چارچوب کارآمد است که محدودیت‌های عملیاتی مدل‌های یادگیری عمیق را برطرف می‌کند. این روش نشان می‌دهد که چگونه می‌توان با الهام از حوزه‌های دیگر هوش مصنوعی و ترکیب هوشمندانه تکنیک‌هایی مانند پرامپت تیونینگ و متا-یادگیری، به راه‌حل‌هایی دست یافت که هم از نظر تئوری قدرتمند و هم از نظر عملی قابل پیاده‌سازی هستند.

مقاله “شخصی‌سازی تخمین خیرگی در زمان آزمون با متا پرامپت” یک گام مهم رو به جلو در زمینه تخمین خیرگی و به طور کلی، در حوزه مدل‌های هوش مصنوعی شخصی‌سازی‌شده است. این پژوهش با موفقیت چالش دیرینه نیاز به داده‌های برچسب‌دار برای انطباق مدل با کاربران جدید را برطرف می‌کند. رویکرد TPGaze با ترکیب نوآورانه پرامپت تیونینگ، یادگیری بدون نظارت و متا-یادگیری، راهکاری ارائه می‌دهد که نه تنها دقیق، بلکه به طرز چشمگیری سریع و بهینه از نظر محاسباتی است.

این تحقیق اثبات می‌کند که می‌توان مدل‌های پیچیده بینایی ماشین را به سرعت و به صورت خودکار برای افراد مختلف کالیبره کرد و این امر پتانسیل کاربرد این فناوری‌ها را در زندگی روزمره به شدت افزایش می‌دهد. در دسترس بودن کد منبع این پروژه نیز به جامعه علمی این امکان را می‌دهد که بر پایه این دستاورد، تحقیقات بیشتری انجام داده و این فناوری را به بلوغ کامل برسانند.