۱. معرفی مقاله و اهمیت آن

در دنیای امروز، سیستم‌های هوش مصنوعی که قادر به تولید گفتگوهای طبیعی و انسان‌گونه باشند، از اهمیت فزاینده‌ای برخوردارند. عموماً، حوزه پردازش زبان طبیعی (NLP) و به ویژه تولید گفتگوی متن‌باز (Open-domain Dialogue Generation)، به‌طور پیش‌فرض یک وظیفه کاملاً زبانی تلقی می‌شود. هدف اصلی این سیستم‌ها برآورده ساختن نیاز انسان‌ها برای برقراری ارتباط روزمره در موضوعات نامحدود، با تولید پاسخ‌های مرتبط و آموزنده است.

با این حال، مقاله حاضر با عنوان “Text is NOT Enough: Integrating Visual Impressions into Open-domain Dialogue Generation” یا به فارسی “متن کافی نیست: ادغام برداشت‌های بصری در تولید گفتگوی متن‌باز”، یک دیدگاه نوآورانه را مطرح می‌کند. نویسندگان این مقاله اشاره می‌کنند که اطلاعات فراتر از متن صرف، می‌تواند در درک و تولید گفتگو نقش اساسی ایفا کند. آن‌ها استدلال می‌کنند که تصاویر پنهان، که از آن‌ها به عنوان برداشت‌های بصری (Visual Impressions – VIs) یاد می‌شود، می‌توانند حتی از داده‌های صرفاً متنی استخراج شده و برای افزایش درک گفتگو و کمک به تولید پاسخ‌های بهتر مورد کاوش قرار گیرند. این رویکرد، مرزهای مرسوم NLP را گسترش داده و به سمت سیستم‌های گفتگوی چندوجهی گام برمی‌دارد که قادر به شبیه‌سازی دقیق‌تر تعاملات انسانی هستند؛ جایی که برداشت‌های بصری اغلب به طور ناخودآگاه در درک ما از صحبت‌های یکدیگر نقش دارند.

اهمیت این مقاله نه تنها در معرفی یک روش جدید، بلکه در تغییر پارادایم فکر کردن در مورد گفتگوهای متنی است. این تحقیق نشان می‌دهد که حتی زمانی که تصویری به صراحت ارائه نشده باشد، ذهن انسان می‌تواند برداشت‌های بصری را از کلمات و عبارات استنباط کند. این بینش، راه را برای توسعه نسل جدیدی از سیستم‌های گفتگوی هوش مصنوعی هموار می‌سازد که نه تنها به معنای لفظی کلمات، بلکه به معنای بصری ضمنی آن‌ها نیز توجه می‌کنند و در نتیجه، پاسخ‌هایی عمیق‌تر، مرتبط‌تر و باکیفیت‌تر تولید می‌کنند.

۲. نویسندگان و زمینه تحقیق

این پژوهش توسط گروهی از محققان شامل Lei Shen, Haolan Zhan, Xin Shen, Yonghao Song, و Xiaofang Zhao انجام شده است. این تیم پژوهشی در حوزه پردازش زبان طبیعی (NLP) و به طور خاص در زمینه تولید گفتگو و تعامل انسان و کامپیوتر فعالیت می‌کنند.

زمینه تحقیق این مقاله عمیقاً در تقاطع محاسبات و زبان (Computation and Language) قرار دارد، که یکی از دسته‌بندی‌های اصلی در علوم کامپیوتر مرتبط با هوش مصنوعی و زبان‌شناسی محاسباتی است. این حوزه به بررسی چگونگی پردازش و درک زبان انسانی توسط کامپیوترها می‌پردازد و شامل زیرشاخه‌هایی مانند ترجمه ماشینی، تحلیل احساسات، خلاصه‌سازی متن و تولید گفتگو می‌شود.

چالش اصلی در تولید گفتگوی متن‌باز، ایجاد سیستم‌هایی است که بتوانند در موضوعات بسیار متنوع و بدون محدودیت خاص، مکالمات معنادار و طبیعی را با انسان‌ها انجام دهند. سیستم‌های فعلی اغلب بر اساس مدل‌های زبانی پیشرفته ساخته شده‌اند که توانایی بالایی در تولید متن منسجم دارند، اما ممکن است در درک عمیق‌تر مفاهیم و ارائه پاسخ‌هایی که فراتر از اطلاعات صرفاً زبانی باشند، دچار محدودیت شوند. به عنوان مثال، وقتی یک کاربر می‌گوید “دیروز به ساحل رفتم”، یک سیستم صرفاً متنی ممکن است به صورت “خوش گذشت؟” پاسخ دهد، اما یک سیستم با درک بصری می‌تواند برداشت‌هایی مانند “آفتاب، شن، دریا” را نیز در نظر گرفته و به پاسخ‌های غنی‌تری مانند “امیدوارم از آفتاب و صدای موج‌ها لذت برده باشید!” دست یابد.

مقاله حاضر با برجسته‌سازی این محدودیت‌ها، به دنبال یک راه حل مبتکرانه برای ارتقاء سطح هوش و تعامل‌پذیری سیستم‌های گفتگوی خودکار است. آن‌ها با معرفی مفهوم برداشت‌های بصری پنهان، سعی دارند شکاف بین درک صرفاً متنی و درک چندوجهی را پر کنند، که این امر گامی مهم در جهت نزدیک‌تر کردن هوش مصنوعی به نحوه درک و تعامل واقعی انسان‌ها است.

۳. چکیده و خلاصه محتوا

این مقاله به بررسی و رفع یکی از محدودیت‌های کلیدی در تولید گفتگوی متن‌باز می‌پردازد: وابستگی بیش از حد به اطلاعات صرفاً متنی. چکیده مقاله نشان می‌دهد که این حوزه، به‌طور پیش‌فرض، یک وظیفه کاملاً زبانی در نظر گرفته می‌شود که هدف آن تولید پاسخ‌های مرتبط و آموزنده برای ارتباطات روزمره انسانی است. اما نویسندگان بر این باورند که تصاویر پنهان، یا همان برداشت‌های بصری (Visual Impressions – VIs)، می‌توانند از داده‌های متنی استخراج شده و به طور چشمگیری درک گفتگو و کیفیت تولید پاسخ را بهبود بخشند.

یک نکته حیاتی که در مقاله برجسته می‌شود، پیچیدگی وابستگی معنایی بین یک پست گفتگو (سؤال یا جمله آغازین) و پاسخ آن است. این پیچیدگی می‌تواند شامل موارد زیر باشد:

• هم‌ترازی کلمات محدود: گاهی اوقات کلمات پست و پاسخ تطابق مستقیم کمی با یکدیگر دارند.
• انتقال موضوع: ممکن است پاسخ، موضوع گفتگو را به جهت‌های جدیدی هدایت کند که در پست اولیه به صراحت ذکر نشده بود.

به دلیل این پیچیدگی‌ها، برداشت‌های بصری مرتبط با پست (PVIs) و پاسخ (RVIs) لزوماً یکسان نیستند. این مقاله استدلال می‌کند که ادغام برداشت‌های بصری پاسخ (RVIs) در رمزگشا (decoder)، منطقی‌تر و مؤثرتر از ادغام برداشت‌های بصری پست (PVIs) است؛ زیرا RVIs مستقیماً به محتوای مورد نظر پاسخ مربوط می‌شوند و می‌توانند به تولید پاسخ‌های مرتبط‌تر و غنی‌تر کمک کنند. به عنوان مثال، اگر پست “دلم برای سفر تنگ شده” باشد، PVI ممکن است شامل “چمدان، فرودگاه” باشد. اما اگر پاسخ “من هم همینطور، شمال ایران خیلی زیباست!” باشد، RVI باید شامل “جنگل، دریا، کوه” باشد که کاملاً متفاوت از PVI است.

با این حال، یک چالش اساسی وجود دارد: هم پاسخ نهایی و هم RVIs مربوط به آن، در زمان آزمایش و تولید گفتگو به طور مستقیم در دسترس نیستند. برای حل این مشکل، نویسندگان یک چارچوب جامع را پیشنهاد می‌کنند که به طور صریح برداشت‌های بصری (VIs) را بر اساس مجموعه‌داده‌های گفتگوی صرفاً زبانی می‌سازد و از آن‌ها برای درک بهتر گفتگو و تولید پاسخ استفاده می‌کند. این چارچوب شامل مراحل زیر است:

1. استخراج PVIs: برای هر پست، مجموعه‌ای از تصاویر (PVIs) بر اساس یک مدل نگاشت کلمه-تصویر (pre-trained word-image mapping model) از پیش آموزش‌دیده، استخراج می‌شود.
2. رمزگذار با توجه مشترک (Co-attention Encoder): این PVIs در یک رمزگذار با مکانیسم توجه مشترک به کار گرفته می‌شوند تا یک نمایش از پست حاصل شود که هم اطلاعات بصری و هم اطلاعات متنی را در بر دارد.
3. رمزگشا آبشاری (Cascade Decoder): به دلیل عدم دسترسی مستقیم به RVIs در زمان تست، یک رمزگشا آبشاری طراحی شده است که از دو رمزگشای فرعی تشکیل شده است:
   • رمزگشای فرعی اول: کلمات محتوایی پاسخ را پیش‌بینی می‌کند و سپس با استفاده از مدل نگاشت کلمه-تصویر، RVIs مربوط به آن‌ها را استخراج می‌کند.
   • رمزگشای فرعی دوم: پاسخ نهایی را بر اساس پست و RVIs پیش‌بینی شده تولید می‌کند.

نتایج آزمایش‌های انجام شده بر روی دو مجموعه‌داده گفتگوی متن‌باز نشان می‌دهد که رویکرد پیشنهادی نویسندگان، عملکردی برتر نسبت به روش‌های پایه (baselines) رقابتی دارد و کارایی آن را در بهبود تولید گفتگو تأیید می‌کند.

۴. روش‌شناسی تحقیق

روش‌شناسی این تحقیق بر پایه توسعه یک چارچوب نوآورانه برای استخراج و ادغام برداشت‌های بصری (VIs) در فرآیند تولید گفتگوی متن‌باز استوار است. این چارچوب به طور خاص طراحی شده تا از داده‌های صرفاً متنی بهره‌برداری کند و اطلاعات بصری ضمنی را به مدل‌های زبانی اضافه کند.

۱. ساخت برداشت‌های بصری (Visual Impressions – VIs):

اولین گام در این روش، چگونگی استخراج و ساخت VIs از متن است. نویسندگان از یک مدل نگاشت کلمه-تصویر (pre-trained word-image mapping model) از پیش آموزش‌دیده استفاده می‌کنند. این مدل، کلمات و عبارات را به فضایی مشترک نگاشت می‌کند که در آن کلمات و تصاویر با معنای مشابه، به یکدیگر نزدیک‌تر هستند. برای هر پست در گفتگو، مجموعه‌ای از برداشت‌های بصری پست (PVIs) با استفاده از این مدل تولید می‌شود. به عنوان مثال، اگر پست “دوست دارم به یک کوه نوردی عالی بروم” باشد، PVIs می‌توانند شامل تصاویر یا بردارهای معنایی مرتبط با “کوه”، “مسیر پیاده‌روی”، “طبیعت” و غیره باشند.

۲. رمزگذار با توجه مشترک (Co-attention Encoder):

پس از استخراج PVIs، این اطلاعات بصری باید با اطلاعات متنی پست ترکیب شوند. برای این منظور، یک رمزگذار با توجه مشترک به کار گرفته می‌شود. این رمزگذار به مدل اجازه می‌دهد تا همزمان به کلمات متن پست و به PVIs مرتبط با آن توجه کند. این مکانیسم توجه مشترک تضمین می‌کند که نمایش نهایی پست، هم شامل اطلاعات غنی متنی و هم شامل سرنخ‌های بصری مرتبط باشد. خروجی این رمزگذار، یک نمایش جامع از پست است که هر دو نوع اطلاعات را در خود جای داده است.

۳. رمزگشا آبشاری (Cascade Decoder) برای RVIs:

یکی از چالش‌های اصلی، این است که برداشت‌های بصری پاسخ (RVIs) در زمان تست (هنگام تولید پاسخ جدید) به طور مستقیم در دسترس نیستند. برای مقابله با این موضوع، نویسندگان یک رمزگشا آبشاری را طراحی کرده‌اند که از دو مرحله متوالی تشکیل شده است:

• رمزگشای فرعی اول (Content Word Prediction): این جزء از رمزگشا مسئول پیش‌بینی کلمات محتوایی (content words) احتمالی در پاسخ است. به عبارت دیگر، این رمزگشا سعی می‌کند کلمات کلیدی و معنایی پاسخ آینده را حدس بزند. سپس، با استفاده از همان مدل نگاشت کلمه-تصویر، این کلمات محتوایی پیش‌بینی‌شده به RVIs مربوطه نگاشت می‌شوند. این فرآیند، یک تخمین از VIs مورد نیاز برای پاسخ را در اختیار مدل قرار می‌دهد.

• رمزگشای فرعی دوم (Response Generation): پس از آنکه RVIs تخمینی تولید شدند، رمزگشای فرعی دوم وارد عمل می‌شود. این بخش، پاسخ نهایی را تولید می‌کند، اما این بار نه تنها بر اساس نمایش جامع پست (حاصل از رمزگذار با توجه مشترک) بلکه با استفاده از RVIs پیش‌بینی‌شده نیز. این یعنی، تولید پاسخ تحت تأثیر درک بصری از محتوایی که قرار است پاسخ دهد، قرار می‌گیرد. این ساختار آبشاری، امکان ادغام اطلاعات بصری پاسخ را فراهم می‌آورد، حتی زمانی که این اطلاعات در ابتدا موجود نیستند.

۴. آزمایش و ارزیابی:

برای ارزیابی کارایی مدل پیشنهادی، آزمایش‌هایی بر روی دو مجموعه‌داده گفتگوی متن‌باز انجام شده است. اگرچه جزئیات این مجموعه‌داده‌ها در چکیده ذکر نشده، اما معمولاً این نوع آزمایش‌ها شامل مقایسه پاسخ‌های تولید شده توسط مدل با پاسخ‌های مرجع انسانی (ground truth) و ارزیابی آن‌ها با استفاده از معیارهای استاندارد در NLP مانند BLEU (ارزیابی شباهت n-gram)، ROUGE (ارزیابی همپوشانی کلمات)، METEOR (ارزیابی بر اساس تطابق معنایی) و همچنین ارزیابی‌های انسانی برای سنجش روان بودن، ارتباط و آموزندگی پاسخ‌ها می‌شود.

این روش‌شناسی، یک گام مهم در جهت ایجاد سیستم‌های گفتگوی هوش مصنوعی است که می‌توانند نه تنها زبان را درک کنند، بلکه برداشت‌های بصری ضمنی در پس کلمات را نیز پردازش کرده و پاسخ‌هایی تولید کنند که غنی‌تر، مرتبط‌تر و شبیه به تعاملات انسانی باشند.

۵. یافته‌های کلیدی

نتایج تجربی حاصل از این پژوهش، صحت و کارایی رویکرد پیشنهادی را به وضوح نشان می‌دهد. مهمترین یافته‌های کلیدی مقاله عبارتند از:

• عملکرد برتر: رویکرد پیشنهادی نویسندگان، عملکردی برتر نسبت به روش‌های پایه (baselines) رقابتی در دو مجموعه‌داده گفتگوی متن‌باز به دست آورده است. این برتری نه تنها در معیارهای خودکار (مانند BLEU یا ROUGE) مشاهده شد، بلکه انتظار می‌رود در ارزیابی‌های انسانی نیز به بهبود قابل توجهی در کیفیت پاسخ‌ها منجر شود. این نتایج نشان می‌دهد که ادغام برداشت‌های بصری، صرفاً یک ایده نظری نیست، بلکه به طور ملموس کیفیت تولید گفتگو را ارتقا می‌دهد.

• تأثیر مثبت برداشت‌های بصری: این پژوهش به وضوح اثبات می‌کند که برداشت‌های بصری (VIs)، حتی زمانی که از داده‌های صرفاً متنی استخراج می‌شوند، می‌توانند نقش حیاتی در افزایش درک گفتگو و تولید پاسخ‌های بهتر ایفا کنند. این بدان معناست که مدل‌های زبانی قادر به استفاده از اطلاعاتی فراتر از توالی کلمات هستند که این امر به آن‌ها اجازه می‌دهد تا به لایه‌های عمیق‌تری از معنا دسترسی پیدا کنند.

• اهمیت RVIs بر PVIs: یکی از یافته‌های مهم، تأیید این فرضیه است که ادغام برداشت‌های بصری پاسخ (RVIs) در رمزگشا، مؤثرتر از ادغام برداشت‌های بصری پست (PVIs) است. این امر به دلیل ماهیت پیچیده وابستگی معنایی و امکان انتقال موضوع بین پست و پاسخ است. RVIs به مدل کمک می‌کنند تا پاسخی را تولید کند که نه تنها به پست مربوط است، بلکه دارای برداشت‌های بصری منطبق با محتوای جدید پاسخ نیز می‌باشد.

• کارایی چارچوب پیشنهادی: چارچوب توسعه یافته، شامل مدل نگاشت کلمه-تصویر، رمزگذار با توجه مشترک و رمزگشا آبشاری، توانایی خود را در ساخت صریح VIs از داده‌های صرفاً متنی و استفاده مؤثر از آن‌ها در فرآیند تولید گفتگو به اثبات رسانده است. طراحی رمزگشا آبشاری به خصوص در حل چالش عدم دسترسی به RVIs در زمان تست، بسیار کارآمد عمل کرده است.

• گامی به سوی سیستم‌های گفتگوی چندوجهی: این یافته‌ها نشان‌دهنده یک گام مهم به سوی توسعه سیستم‌های گفتگوی چندوجهی هستند که می‌توانند اطلاعات را از منابع مختلف (مانند متن، تصویر، صدا) درک و پردازش کنند. این امر، پتانسیل ساخت هوش مصنوعی‌هایی را افزایش می‌دهد که قادر به تعامل با انسان‌ها به روش‌های طبیعی‌تر و جامع‌تری هستند.

به طور خلاصه، نتایج این تحقیق به روشنی نشان می‌دهد که حتی بدون وجود تصاویر صریح، استخراج و ادغام برداشت‌های بصری ضمنی می‌تواند به طور قابل توجهی قابلیت‌های سیستم‌های تولید گفتگوی متن‌باز را بهبود بخشد و آن‌ها را به سطحی جدید از هوشمندی و درک برساند.

۶. کاربردها و دستاوردها

این تحقیق فراتر از یک پیشرفت نظری در زمینه NLP است و کاربردها و دستاوردهای عملی گسترده‌ای را در بر می‌گیرد که می‌تواند آینده تعامل انسان و کامپیوتر را شکل دهد:

• چت‌بات‌ها و دستیاران مجازی پیشرفته‌تر: این فناوری می‌تواند منجر به توسعه چت‌بات‌ها و دستیاران مجازی شود که نه تنها به کلمات پاسخ می‌دهند، بلکه به برداشت‌های بصری پشت آن کلمات نیز واکنش نشان می‌دهند. به عنوان مثال، یک دستیار مجازی که می‌تواند مفهوم “روز بارانی” را نه فقط به عنوان “بارش قطرات آب” بلکه به عنوان “آسمان خاکستری، چتر، حس نوستالژی” درک کند، می‌تواند پاسخ‌های همدلانه‌تر و مرتبط‌تری ارائه دهد. این امر تجربه کاربری را به میزان قابل توجهی بهبود می‌بخشد.

• خدمات مشتری هوشمند: در بخش خدمات مشتری، این مدل‌ها می‌توانند با درک عمیق‌تر وضعیت یا مشکل کاربر، پاسخ‌های دقیق‌تر و کمک‌کننده‌تری ارائه دهند. مثلاً، اگر مشتری از “کیفیت پایین محصول” گلایه دارد، مدل می‌تواند برداشت‌های بصری مانند “رنگ‌پریدگی، شکستگی، آسیب‌دیدگی” را در نظر گرفته و به طور خاص به آن ابعاد بپردازد.

• تولید محتوای خلاقانه: نویسندگان و تولیدکنندگان محتوا می‌توانند از این سیستم‌ها برای ایجاد توضیحات بصری غنی و خلاقانه از مفاهیم متنی استفاده کنند. برای مثال، یک داستان‌نویس می‌تواند متنی را وارد کند و سیستم برداشت‌های بصری آن را استخراج کرده و سپس توضیحات بصری متناسب با آن را برای بهبود توصیف صحنه‌ها ارائه دهد.

• ابزارهای آموزشی و یادگیری: این مدل‌ها می‌توانند در پلتفرم‌های آموزشی برای توضیح مفاهیم پیچیده با استفاده از کلمات و برداشت‌های بصری مرتبط به کار روند. مثلاً، هنگام توضیح “فیزیک کوانتوم”، سیستم می‌تواند برداشت‌های بصری مرتبط با “ذرات، موج‌ها، اتم‌ها” را در نظر گرفته و توضیحات را در راستای آن غنی‌تر کند، حتی اگر تصویری مستقیماً نمایش داده نشود.

• دسترسی‌پذیری برای افراد کم‌بینا: این فناوری می‌تواند به بهبود سیستم‌های توصیف تصویر برای افراد نابینا و کم‌بینا کمک کند. با درک برداشت‌های بصری ضمنی در گفتگوها، سیستم می‌تواند توضیحات صوتی غنی‌تری از محیط یا رویدادها را ارائه دهد که صرفاً متکی بر کلمات نیستند.

• کاوش‌های علمی و پژوهشی جدید: این دستاورد، راه را برای تحقیقات جدید در زمینه هوش مصنوعی چندوجهی هموار می‌سازد. پتانسیل ادغام سایر حس‌ها (شنیداری، بویایی) در سیستم‌های گفتگویی آینده، یک زمینه تحقیقاتی هیجان‌انگیز را باز می‌کند. همچنین، می‌تواند به درک بهتر چگونگی پردازش اطلاعات در مغز انسان، که خود به صورت چندوجهی عمل می‌کند، کمک کند.

• پیشرفت در NLP فراتر از زبان: این تحقیق نشان می‌دهد که NLP می‌تواند فراتر از تحلیل صرفاً زبانی گام بردارد و با ادغام ابعاد حسی دیگر، به درک عمیق‌تری از جهان دست یابد. این یک گام مهم در جهت ساخت هوش مصنوعی عمومی (AGI) است که بتواند همانند انسان، جهان را به صورت جامع درک کند.

به طور کلی، این مقاله یک سنگ بنای مهم برای توسعه نسل جدیدی از سیستم‌های هوش مصنوعی است که قادر به تعاملات طبیعی‌تر، غنی‌تر و هوشمندانه‌تر با انسان‌ها هستند و تأثیرات آن در بسیاری از صنایع و جنبه‌های زندگی روزمره قابل مشاهده خواهد بود.

۷. نتیجه‌گیری

مقاله “متن کافی نیست: ادغام برداشت‌های بصری در تولید گفتگوی متن‌باز” یک پژوهش پیشگامانه در حوزه پردازش زبان طبیعی (NLP) و تولید گفتگو است که محدودیت‌های سیستم‌های صرفاً متنی را برجسته می‌کند. این تحقیق به شکلی نوآورانه نشان می‌دهد که حتی در غیاب تصاویر صریح، برداشت‌های بصری پنهان (Visual Impressions – VIs) می‌توانند از داده‌های متنی استخراج شده و به طور چشمگیری کیفیت درک گفتگو و تولید پاسخ را بهبود بخشند.

نویسندگان به درستی به پیچیدگی وابستگی معنایی بین پست و پاسخ اشاره کرده و استدلال می‌کنند که برداشت‌های بصری پاسخ (RVIs)، به دلیل ارتباط مستقیم‌ترشان با محتوای تولیدی، از برداشت‌های بصری پست (PVIs) برای ادغام در رمزگشا کارآمدتر هستند. برای غلبه بر چالش عدم دسترسی به RVIs در زمان تست، آن‌ها یک چارچوب جامع شامل مدل نگاشت کلمه-تصویر، یک رمزگذار با توجه مشترک و یک رمزگشا آبشاری دو مرحله‌ای را طراحی کرده‌اند. این رمزگشا ابتدا کلمات محتوایی پاسخ را پیش‌بینی کرده و سپس RVIs متناظر را استخراج می‌کند تا در نهایت پاسخ نهایی را با در نظر گرفتن این اطلاعات بصری تولید کند.

یافته‌های تجربی بر روی دو مجموعه‌داده گفتگوی متن‌باز، به وضوح عملکرد برتر رویکرد پیشنهادی را نسبت به روش‌های پایه رقابتی تأیید می‌کنند. این دستاورد نه تنها اعتبار ایده ادغام اطلاعات بصری را افزایش می‌دهد، بلکه نشان می‌دهد که مدل‌های زبانی می‌توانند از ابعاد معنایی عمیق‌تری بهره‌مند شوند که فراتر از توالی کلمات است.

در نهایت، این مقاله یک گام محکم به سوی توسعه سیستم‌های گفتگوی هوش مصنوعی چندوجهی است که قادرند دنیای اطراف را به روشی شبیه به انسان درک کنند. این رویکرد، راه را برای تولید دستیاران مجازی، چت‌بات‌ها و ابزارهای ارتباطی هوش مصنوعی هموار می‌سازد که نه تنها به کلمات، بلکه به مفاهیم، احساسات و تصاویر پنهان در پشت آن‌ها نیز واکنش نشان می‌دهند، و بدین ترتیب تعاملات انسانی را با ماشین‌ها به سطحی جدید از غنا و طبیعی بودن ارتقا می‌دهند. آینده هوش مصنوعی در گرو چنین رویکردهای جامع و بین‌حسی است که می‌تواند درک ماشین از جهان را از «کافی نیست» به «کافی و فراتر از آن» برساند.