در سال‌های اخیر، مدل‌های هوش مصنوعی که توانایی پاسخ به سوالات پیچیده انسانی را دارند، پیشرفت چشمگیری کرده‌اند. یکی از شاخه‌های کلیدی در این زمینه، پرسش و پاسخ دامنه باز (Open-Domain Question Answering – ODQA) است که هدف آن پاسخگویی به سوالات در هر موضوعی با استفاده از یک مجموعه عظیم از اسناد (مانند کل وب) است. برای دستیابی به این هدف، معماری‌های «مبتنی بر بازیابی» (Retrieval-Augmented) ظهور کرده‌اند. این مدل‌ها ابتدا اسناد مرتبط با سوال را از یک پایگاه داده بزرگ پیدا می‌کنند (بخش بازیاب یا Retriever) و سپس با تحلیل این اسناد، پاسخ دقیق را تولید می‌کنند (بخش خواننده یا Reader).

با وجود موفقیت‌های این رویکرد، یک چالش اساسی همواره وجود داشته است: چگونه می‌توان دو بخش بازیاب و خواننده را به صورت یکپارچه و بهینه آموزش داد؟ آموزش جداگانه این دو بخش منجر به عدم هماهنگی آن‌ها می‌شود. مقاله «پرسش و پاسخ دامنه باز متغیر» (Variational Open-Domain Question Answering) یک راهکار نوآورانه برای این مشکل ارائه می‌دهد. این مقاله چارچوبی به نام VOD را معرفی می‌کند که بر پایه اصول «استنتاج متغیر» (Variational Inference) بنا شده و امکان آموزش سرتاسری (end-to-end) و هماهنگ این مدل‌ها را فراهم می‌سازد. اهمیت این پژوهش در این است که نشان می‌دهد چگونه می‌توان با الگوریتم‌های هوشمندانه‌تر، مدل‌های کوچک‌تر و کارآمدتری ساخت که حتی از غول‌های پردازشی مانند Med-PaLM نیز عملکرد بهتری در حوزه‌های تخصصی داشته باشند.

این مقاله توسط تیمی از پژوهشگران برجسته به نام‌های والنتین لیوین (Valentin Liévin)، آندریاس گیرت موتزفلت (Andreas Geert Motzfeldt)، آیدا ریس جنسن (Ida Riis Jensen) و اوله وینتر (Ole Winther) به نگارش درآمده است. این محققان وابسته به دانشگاه فنی دانمارک (DTU) و مرکز پیشگام هوش مصنوعی (Pioneer Centre for AI) هستند که نشان‌دهنده عمق تخصص آن‌ها در یادگیری ماشین و پردازش زبان طبیعی است.

این پژوهش در نقطه تلاقی سه حوزه مهم علمی قرار دارد:

• پردازش زبان طبیعی (NLP): تمرکز بر درک و تولید زبان انسان توسط ماشین.
• بازیابی اطلاعات (Information Retrieval): علم و هنر جستجو و یافتن اطلاعات مرتبط از میان حجم انبوهی از داده‌ها.
• یادگیری ماشین (Machine Learning): به طور خاص، استفاده از روش‌های بیزی و استنتاج متغیر برای بهینه‌سازی مدل‌های پیچیده و مدیریت عدم قطعیت.

ترکیب این سه حوزه به نویسندگان اجازه داده است تا راهکاری اصولی و ریاضیاتی برای یکی از چالش‌برانگیزترین مسائل در هوش مصنوعی مدرن ارائه دهند.

مقاله، چارچوب VOD را به عنوان یک روش جدید برای آموزش و ارزیابی سرتاسری مدل‌های مبتنی بر بازیابی معرفی می‌کند. تمرکز اصلی این چارچوب بر روی کاربردهای پرسش و پاسخ دامنه باز و مدل‌سازی زبان است. هدف اصلی VOD، تقریب «درستنمایی حاشیه‌ای وظیفه» (task marginal likelihood) است؛ به عبارت ساده‌تر، مدل تلاش می‌کند تا احتمال تولید پاسخ صحیح برای یک سوال را با در نظر گرفتن تمام اسناد ممکن، بیشینه کند.

محاسبه مستقیم این احتمال به دلیل حجم عظیم اسناد، غیرممکن است. اینجا است که VOD با استفاده از یک تابع هدف مبتنی بر کران متغیر رنیی (Rényi variational bound) وارد عمل می‌شود. این تابع هدف، یک تقریب هوشمندانه و قابل محاسبه است که حتی برای پایگاه‌های داده بسیار بزرگ نیز کارایی خود را حفظ می‌کند. یکی از نوآوری‌های کلیدی این روش، استفاده از یک «توزیع نمونه‌گیری کمکی» است که به مدل اجازه می‌دهد در حین آموزش، از دانش یک بازیاب از پیش‌آموزش‌دیده نیز بهره‌مند شود و فضای جستجو را بهتر کاوش کند.

برای اثبات کارایی این چارچوب، نویسندگان مدل‌هایی با ابعاد BERT را بر روی مجموعه داده‌های پرسش و پاسخ آزمون‌های پزشکی آموزش دادند. نتایج شگفت‌انگیز بود: مدل آن‌ها در مجموعه داده MedMCQA با وجود داشتن ۲۵۰۰ برابر پارامتر کمتر، توانست مدل غول‌پیکر Med-PaLM گوگل را با اختلاف ۵.۳ درصد شکست دهد. این دستاورد نشان می‌دهد که بهینه‌سازی الگوریتمی می‌تواند از قدرت محاسباتی صرف، مؤثرتر باشد.

در قلب این مقاله، چارچوب ریاضیاتی VOD قرار دارد که برای حل مشکل آموزش سرتاسری مدل‌های بازیاب-خواننده طراحی شده است.

• فرمول‌بندی مسئله: مسئله به صورت یک مدل احتمالاتی تعریف می‌شود. هدف، پیدا کردن پارامترهای مدلی است که احتمال پاسخ صحیح (y) به یک سوال (x) را حداکثر کند. این احتمال با حاشیه‌ای کردن (marginalizing) روی تمام اسناد ممکن (z) در یک مجموعه بزرگ (D) به دست می‌آید: p(y|x) = Σ [p(y|x,z) * p(z|x)] for all z in D. محاسبه این مجموع به دلیل اندازه D غیرممکن است.
• استفاده از استنتاج متغیر: VOD برای حل این مشکل از استنتاج متغیر (Variational Inference) بهره می‌برد. در این روش، توزیع پسین واقعی p(z|x) که پیچیده است، با یک توزیع ساده‌تر و قابل یادگیری (q(z|x)) که توسط بخش بازیاب مدل‌سازی می‌شود، تقریب زده می‌شود. هدف آموزش، نزدیک کردن این دو توزیع به یکدیگر است.
• تابع هدف VOD: نویسندگان یک تابع هدف جدید را بر اساس کران متغیر رنیی پیشنهاد می‌کنند. این تابع هدف نسبت به روش‌های سنتی مزایای متعددی دارد:
  1. پایداری در آموزش: با استفاده از یک تکنیک خود-نرمال‌سازی (self-normalization)، از ناپایداری‌های رایج در آموزش این مدل‌ها جلوگیری می‌کند.
  2. کارایی نمونه‌گیری: به جای نمونه‌گیری ساده از خروجی بازیاب، VOD از یک «توزیع نمونه‌گیری کمکی» استفاده می‌کند. این توزیع ترکیبی از خروجی بازیاب فعلی مدل و یک بازیاب ثابت و از پیش‌آموزش‌دیده (مانند BM25) است. این کار باعث می‌شود مدل در ابتدای آموزش، اسناد معقولی را ببیند و به سرعت در یک بهینه محلی ضعیف گیر نکند.
• آموزش سرتاسری: با این تابع هدف، گرادیان خطا می‌تواند از خروجی نهایی (پاسخ خواننده) تا پارامترهای ورودی (بردارهای بازیاب) جریان یابد. این بدان معناست که بخش بازیاب یاد می‌گیرد اسنادی را پیدا کند که برای بخش خواننده «مفیدتر» هستند و هر دو بخش به صورت هماهنگ برای یک هدف مشترک بهینه می‌شوند.

نتایج تجربی این مقاله، قدرت و کارایی چارچوب VOD را به وضوح نشان می‌دهد:

• برتری بر مدل‌های غول‌پیکر: مهم‌ترین یافته، عملکرد خارق‌العاده مدل BioLinkBERT آموزش‌دیده با VOD است. این مدل با تنها چند صد میلیون پارامتر، توانست در مجموعه داده سوالات چندگزینه‌ای پزشکی MedMCQA به دقت ۶۲.۹٪ دست یابد. این نتیجه ۵.۳٪ بهتر از مدل Med-PaLM با ۵۴۰ میلیارد پارامتر است. این موفقیت، پارادایم «مدل بزرگ‌تر همیشه بهتر است» را به چالش می‌کشد.
• عملکرد قوی در دامنه‌های تخصصی: مدل VOD در یک مجموعه داده چالش‌برانگیز دیگر به نام MedQA-USMLE (سوالات آزمون پزشکی ایالات متحده) نیز به دقت ۵۵.۰٪ دست یافت که نشان‌دهنده قابلیت تعمیم و استحکام این روش در حوزه‌های تخصصی است.
• بازیاب بهینه‌شده به عنوان یک ابزار مستقل: آموزش سرتاسری باعث می‌شود که بخش بازیاب (Retriever) به تنهایی نیز به یک ابزار بسیار قدرتمند تبدیل شود. نویسندگان نشان دادند که این بازیاب در وظیفه جستجوی معنایی پزشکی عملکردی عالی دارد و می‌تواند اسناد پزشکی بسیار مرتبطی را برای پرس‌وجوهای پیچیده پیدا کند. این یک دستاورد جانبی اما بسیار ارزشمند است.
• اهمیت چارچوب VOD: تحلیل‌های بیشتر در مقاله نشان می‌دهد که تمام اجزای چارچوب VOD، از جمله تابع هدف مبتنی بر رنیی و استراتژی نمونه‌گیری کمکی، در دستیابی به این نتایج برجسته نقش کلیدی داشته‌اند.

پیامدهای این پژوهش فراتر از یک مقاله علمی صرف است و کاربردهای عملی گسترده‌ای را نوید می‌دهد:

• سیستم‌های پشتیبان تصمیم‌گیری پزشکی: این فناوری می‌تواند هسته اصلی ابزارهای هوشمندی را تشکیل دهد که به پزشکان در تشخیص بیماری‌ها، پیشنهاد طرح‌های درمانی، و یافتن آخرین تحقیقات مرتبط با یک مورد پزشکی خاص کمک کنند.
• دموکراتیزه کردن هوش مصنوعی پیشرفته: VOD نشان می‌دهد که برای دستیابی به عملکرد پیشرفته، لزوماً نیازی به منابع محاسباتی عظیم (که تنها در اختیار شرکت‌های بزرگ است) نیست. مدل‌های کوچک‌تر و کارآمدتر می‌توانند توسط آزمایشگاه‌های تحقیقاتی، دانشگاه‌ها و شرکت‌های کوچک‌تر نیز توسعه و به کار گرفته شوند.
• موتورهای جستجوی معنایی نسل جدید: بازیاب‌های آموزش‌دیده با این روش می‌توانند برای ساخت موتورهای جستجوی تخصصی در حوزه‌هایی مانند حقوق، مالی و مهندسی استفاده شوند که درک عمیق معنای پرس‌وجو در آن‌ها حیاتی است.
• بنیانی برای تحقیقات آینده: چارچوب VOD یک رویکرد عمومی است و می‌تواند برای سایر وظایف مبتنی بر بازیابی مانند خلاصه‌سازی اسناد، مدل‌سازی زبان شرطی، و سیستم‌های گفتگو نیز به کار گرفته شود و راه را برای نوآوری‌های بیشتر در این زمینه هموار می‌کند.

مقاله «پرسش و پاسخ دامنه باز متغیر» یک گام مهم رو به جلو در بهینه‌سازی مدل‌های زبان مبتنی بر بازیابی اطلاعات است. با ارائه چارچوب VOD، نویسندگان یک راهکار مبتنی بر اصول، کارآمد و قدرتمند برای آموزش سرتاسری این معماری‌های پیچیده فراهم کرده‌اند.

موفقیت چشمگیر این روش در حوزه تخصصی پزشکی و غلبه بر یکی از بزرگترین مدل‌های زبان موجود، اثباتی محکم بر این ایده است که «نوآوری الگوریتمی» می‌تواند به اندازه «مقیاس محاسباتی» و یا حتی بیشتر از آن، اهمیت داشته باشد. VOD نه تنها عملکرد مدل‌های پرسش و پاسخ را بهبود می‌بخشد، بلکه راه را برای ساخت نسل جدیدی از سیستم‌های هوش مصنوعی کارآمد، قابل اعتماد و قابل دسترس برای همگان باز می‌کند. این پژوهش، نقطه عطفی در همگرایی هوشمندانه بین حوزه‌های بازیابی اطلاعات، پردازش زبان طبیعی و یادگیری ماشین احتمالاتی محسوب می‌شود.