در دنیای امروز که مفاهیمی چون متاورس و واقعیت مجازی (VR) با سرعت در حال گسترش هستند، ایجاد تعاملات انسانی واقع‌گرایانه در فضاهای دیجیتال به یکی از بزرگترین چالش‌ها و اهداف محققان تبدیل شده است. گفتگو، به عنوان اصلی‌ترین شکل ارتباط انسانی، نقشی حیاتی در این عرصه ایفا می‌کند. در حالی که پیشرفت‌های چشمگیری در زمینه تولید متن و صدای گفتگو با استفاده از هوش مصنوعی حاصل شده است، بازآفرینی یک گفتگوی رو در روی طبیعی، که بخش عمده‌ای از ارتباطات روزمره ما را تشکیل می‌دهد، همچنان یک مرز ناشناخته باقی مانده بود.

بیشتر پژوهش‌های پیشین بر روی تولید «سرهای سخنگوی تک‌نفره» (Single-person talking head) متمرکز بودند؛ یعنی آواتاری که به تنهایی صحبت می‌کند. اما یک گفتگوی واقعی، فرآیندی دوطرفه و پویا است. در یک مکالمه، تنها گوینده مهم نیست، بلکه واکنش‌های شنونده – از جمله حرکات سر، تغییرات چهره و نگاه‌ها – بخش جدایی‌ناپذیر و معنادار ارتباط است. مقاله DialogueNeRF گامی جسورانه و مهم در این مسیر برداشته و برای اولین بار، چارچوبی جامع برای تولید ویدیوهای گفتگوی دو نفره و واقع‌گرایانه ارائه می‌دهد. اهمیت این پژوهش در این است که از مدل‌های یک‌طرفه فراتر رفته و به پیچیدگی‌های تعاملات انسانی، به ویژه نقش فعال شنونده، می‌پردازد و راه را برای ساخت آواتارهایی که به شکلی باورپذیر با یکدیگر و با ما تعامل می‌کنند، هموار می‌سازد.

این مقاله حاصل تلاش گروهی از پژوهشگران برجسته به نام‌های ییچائو یان، زانوی ژو، زی وانگ، جینگنان گائو و شیائوکنگ یانگ است. این محققان در حوزه بینایی کامپیوتر و بازشناسی الگو (Computer Vision and Pattern Recognition) فعالیت دارند و کار آن‌ها در تقاطع هوش مصنوعی، گرافیک کامپیوتری و پردازش تصویر و ویدیو قرار می‌گیرد. این پژوهش نشان‌دهنده تخصص عمیق آن‌ها در مدل‌سازی سه‌بعدی انسان و تولید محتوای بصری واقع‌گرایانه با استفاده از شبکه‌های عصبی عمیق است.

مقاله “DialogueNeRF” به چالش تولید ویدیوهای گفتگوی رو در روی واقع‌گرایانه بین آواتارهای مجازی می‌پردازد. نویسندگان استدلال می‌کنند که این کار بسیار دشوارتر از ساخت سرهای سخنگوی تک‌نفره است، زیرا نه تنها نیازمند تولید آواتارهای سخنگوی باکیفیت و طبیعی است، بلکه باید شنونده نیز به طور پویا و مناسب به گوینده واکنش نشان دهد.

برای حل این مشکل، آن‌ها یک چارچوب نوآورانه و یکپارچه مبتنی بر میدان‌های تابش عصبی (Neural Radiance Field – NeRF) ارائه می‌دهند. در این چارچوب، هم گوینده و هم شنونده با استفاده از یک مدل NeRF واحد مدل‌سازی می‌شوند، اما هر کدام با شرایط متفاوتی کنترل می‌شوند:

• گوینده: حالات چهره و حرکات لب او مستقیماً توسط سیگنال صوتی (صدای صحبت) هدایت می‌شود.
• شنونده: واکنش‌های او (مانند تکان دادن سر، لبخند یا تغییر نگاه) نه تنها به صدای گوینده، بلکه به اطلاعات بصری (یعنی حالات چهره و حرکات گوینده) نیز بستگی دارد.

به این ترتیب، ویدیوهای گفتگوی واقع‌گرایانه‌ای تولید می‌شود که در آن تمام شرکت‌کنندگان در یک شبکه واحد و هماهنگ مدل‌سازی شده‌اند. علاوه بر این، برای تسهیل تحقیقات آینده، تیم پژوهشی یک مجموعه داده جدید از مکالمات انسانی شامل ۳۴ کلیپ ویدیویی را جمع‌آوری و منتشر کرده است. نتایج آزمایش‌های کمی و کیفی نشان می‌دهد که آواتارهای تولید شده قادر به انجام یک گفتگوی طبیعی هستند و سبک و ویژگی‌های فردی خود را حفظ می‌کنند.

اساس چارچوب DialogueNeRF، فناوری قدرتمندی به نام NeRF است. NeRF یک روش پیشرفته در گرافیک کامپیوتری است که از شبکه‌های عصبی برای یادگیری یک نمایش سه‌بعدی پیوسته از یک صحنه، تنها با استفاده از مجموعه‌ای از تصاویر دوبعدی آن صحنه استفاده می‌کند. خروجی NeRF به قدری باکیفیت است که می‌توان از هر زاویه‌ای، رندرهای جدید و فوتورئالیستی از صحنه ایجاد کرد.

تیم DialogueNeRF از این تکنولوژی برای مدل‌سازی سر و چهره انسان‌ها بهره برده است. روش کار آن‌ها به صورت زیر است:

• چارچوب یکپارچه (Unified Framework): برخلاف رویکردهای قبلی که ممکن بود برای هر فرد در صحنه یک مدل جداگانه بسازند، DialogueNeRF هر دو شرکت‌کننده در گفتگو را در یک شبکه عصبی واحد مدل می‌کند. این امر هماهنگی و یکپارچگی تعاملات را تضمین می‌کند.
• مدل‌سازی گوینده (Audio-Driven Speaker): برای فردی که در حال صحبت است، مدل از یک ورودی صوتی استفاده می‌کند. شبکه یاد می‌گیرد که چگونه ویژگی‌های آکوستیک صدا (مانند واج‌ها و آهنگ کلام) را به حرکات دقیق لب، حالات چهره و حرکات جزئی سر ترجمه کند. این بخش بر پایه مدل‌های موفق «سر سخنگوی صوتی» ساخته شده است.
• مدل‌سازی شنونده (Audio-Visual Conditioned Listener): نوآوری اصلی این مقاله در این بخش نهفته است. واکنش‌های یک شنونده واقعی صرفاً به آنچه می‌شنود محدود نمی‌شود؛ ما به زبان بدن، حالات چهره و نگاه گوینده نیز واکنش نشان می‌دهیم. مدل DialogueNeRF این پدیده را با شرطی‌سازی رفتار شنونده بر روی هر دو سیگنال صوتی و بصری از گوینده، شبیه‌سازی می‌کند. این بدان معناست که اگر گوینده لبخندی بزند یا سؤالی بپرسد، مدل شنونده می‌تواند یک واکنش مناسب و هماهنگ (مانند تکان دادن سر به نشانه تأیید یا تغییر حالت چهره) تولید کند که کاملاً طبیعی به نظر برسد.
• مجموعه داده جدید: از آنجایی که داده‌های موجود برای آموزش چنین مدل پیچیده‌ای مناسب نبودند، محققان مجموعه داده‌ای جدید (Conversation Video Dataset) از ویدیوهای باکیفیت از گفتگوهای دو نفره ضبط کردند. این مجموعه داده به صورت عمومی منتشر شده تا دیگر پژوهشگران نیز بتوانند از آن بهره‌مند شوند.

برای ارزیابی عملکرد مدل، نویسندگان آزمایش‌های گسترده‌ای را در چندین جنبه انجام دادند و نتایج را با روش‌های پیشرفته دیگر مقایسه کردند. یافته‌های اصلی عبارتند از:

• کیفیت بصری بالا: ویدیوهای تولید شده توسط DialogueNeRF از نظر بصری بسیار واقع‌گرایانه هستند. جزئیات چهره، بافت پوست و نورپردازی به شکلی طبیعی رندر شده‌اند که تشخیص آن‌ها از ویدیوهای واقعی دشوار است.
• طبیعی بودن حرکات و واکنش‌ها: تحلیل توالی حرکات سر و بدن آواتارها نشان داد که الگوهای حرکتی آن‌ها بسیار شبیه به انسان‌های واقعی در حین گفتگو است. مهم‌تر از آن، واکنش‌های شنونده به موقع، مناسب و هماهنگ با رفتار گوینده بود. برای مثال، تکان دادن سر برای تأیید، درست در لحظات کلیدی مکالمه رخ می‌داد.
• حفظ سبک فردی: یکی از دستاوردهای مهم این مدل، توانایی آن در حفظ سبک و ویژگی‌های منحصر به فرد هر شخص است. آواتارها به صورت رباتیک و یکسان رفتار نمی‌کنند؛ بلکه مدل یاد می‌گیرد که هر فرد چگونه به طور خاص صحبت می‌کند، می‌خندد یا به دیگران گوش می‌دهد و این ویژگی‌ها را در آواتار دیجیتال او بازتولید می‌کند.
• برتری در ارزیابی‌های انسانی: در مطالعات کیفی که از شرکت‌کنندگان انسانی خواسته شد تا طبیعی بودن ویدیوها را قضاوت کنند، خروجی DialogueNeRF به طور قابل توجهی امتیازات بالاتری نسبت به سایر روش‌ها دریافت کرد و به عنوان واقع‌گرایانه‌ترین و باورپذیرترین مدل شناخته شد.

پژوهش DialogueNeRF پیامدها و کاربردهای گسترده‌ای در صنایع مختلف دارد:

• متاورس و شبکه‌های اجتماعی مجازی: این فناوری می‌تواند به ساخت دنیاهای مجازی بسیار غنی‌تر و باورپذیرتر کمک کند، جایی که کاربران می‌توانند از طریق آواتارهایی که دقیقاً مانند خودشان رفتار می‌کنند، با یکدیگر تعامل داشته باشند.
• دستیارهای مجازی و هوش مصنوعی محاوره‌ای: دستیارهای مجازی آینده می‌توانند چهره‌ای انسانی داشته باشند که نه تنها صحبت می‌کند، بلکه به صحبت‌های کاربر گوش داده و واکنش‌های بصری مناسبی از خود نشان می‌دهد و تجربه کاربری را به شدت بهبود می‌بخشد.
• صنعت سرگرمی و فیلم‌سازی: از این تکنولوژی می‌توان برای دوبله واقع‌گرایانه فیلم‌ها به زبان‌های دیگر (با هماهنگی کامل حرکات لب و چهره)، یا برای ساخت شخصیت‌های دیجیتالی (NPCs) در بازی‌های ویدیویی که قادر به گفتگوهای پویا و طبیعی با بازیکن هستند، استفاده کرد.
• ارتباطات از راه دور و تله‌پرنسس (Telepresence): DialogueNeRF می‌تواند به ایجاد سیستم‌های ویدیو کنفرانس بسیار پیشرفته‌تری منجر شود که حس حضور فیزیکی در یک اتاق مشترک را به شرکت‌کنندگان القا می‌کند.

بزرگترین دستاورد این مقاله، جهش از مدل‌های ارتباطی یک‌طرفه به مدل‌های تعاملی و دوطرفه است که دینامیک پیچیده گفتگوی انسانی را درک و شبیه‌سازی می‌کند. ارائه یک مجموعه داده جدید و متن-باز کردن کدها و مدل‌ها نیز سهم بزرگی در پیشرفت این حوزه تحقیقاتی خواهد داشت.

مقاله DialogueNeRF یک نقطه عطف در زمینه تولید آواتارهای دیجیتال و تعاملات انسان-کامپیوتر به شمار می‌رود. این پژوهش با موفقیت نشان می‌دهد که چگونه می‌توان با استفاده از چارچوب‌های مبتنی بر NeRF و مدل‌سازی هوشمندانه شرایط صوتی و بصری، از سرهای سخنگوی ایزوله فراتر رفت و به سمت تولید مکالمات دوطرفه، پویا و کاملاً واقع‌گرایانه حرکت کرد.

این کار نه تنها یک موفقیت فنی بزرگ است، بلکه در را به روی آینده‌ای می‌گشاید که در آن مرز بین تعاملات واقعی و مجازی کمرنگ‌تر از همیشه خواهد بود. با کارهایی مانند DialogueNeRF، ما یک قدم به ساخت انسان‌های دیجیتالی نزدیک‌تر می‌شویم که نه تنها صحبت می‌کنند، بلکه گوش می‌دهند، درک می‌کنند و به شکلی عمیقاً انسانی با ما ارتباط برقرار می‌کنند.