心理所研究揭示人形機器人可以模擬人類視聽跨通道社會性注意與沖突加工

　　在當今人工智能領域飛速發展的背景下，人形機器人（humanoid robot）在人類社會中的應用日益廣泛。機器人可以協助人類完成一系列重復性的、危險的或高精確度的任務，從而幫助人類解決許多現實生活中的問題。此外，人形機器人還可以作為人類的社交伴侶和生活助手，提供情感支持和社會互動，為人類帶來更多便利和舒適。然而，要實現人形機器人與人類的良好互動，機器人需要在復雜的現實環境中處理多種類型和感覺通道的社會性線索。因此，對跨感覺通道輸入信息的整合和沖突解決成為機器人是否可以成功應對復雜人-機交互場景的關鍵能力。

　　為了研究這一問題，中國科學院行為科學重點實驗室劉勛研究組與德國漢堡大學計算機系Stefan Wermter教授合作將經典的注意線索范式（Posner cueing task）改編為一項更具生態學效度的視聽跨通道任務。研究通過采集人類參與認知任務的行為數據，并使用深度網絡學習（Deep Neural Networks）建模的方法，成功地訓練出一個可以執行類似于人類跨通道社會性注意和沖突解決的機器人。

　　在人類實驗中，研究者設計了一個由3名虛擬人組成的圓桌會議場景。每個虛擬人都佩戴醫學口罩以遮擋除眼睛以外的面部線索。不同于傳統的社會性注意研究，本研究使用的視覺線索（visual cue）為動態的眼睛注視線索。中間虛擬人不僅可以動眼，還會在每個試次開始后向左或向右輕微轉頭與上半身。隨后，左側或者右側的虛擬人會發聲。被試被告知忽略視覺刺激的干擾，準確且快速地判斷聲音的位置。其中，注視方向和發聲位置在空間維度可以一致或不一致。實驗結果發現，被試在視聽空間位置一致條件下的任務表現顯著好于不一致條件，表明本實驗中動態的注視線索成功誘發視聽跨通道社會性注意。

圖1. 實驗流程示意圖

　　在機器人實驗中，研究者通過深度學習網絡訓練iCub機器人在相同實驗任務中產生類人的行為反應。首先，研究者構建了一個門控注意力預測模型（Gated Attention for Saliency Prediction, GASP）用于預測視聽跨通道顯著性。該模型可以檢測多個社會線索，為每個線索產生特征圖，這些特征圖根據加權機制進行優先排序。在加權階段之后，特征被依次整合，以預測顯著性。iCub機器人通過轉動眼球完成視聽任務中對聲音的定位，其注視動作的產生基于GASP模型預測的顯著性密度圖。實驗結果發現，機器人表現出了類人的反應，即在視聽空間不一致的條件下，機器人反應錯誤率顯著高于視聽空間一致條件。研究者還分析了機器人與人類的“刺激-反應兼容性”效應（stimulus-response compatibility, SRC），發現還是人類的跨通道沖突解決能力更勝一籌。

圖2. a) GASP模型；b)iCub機器人做視聽跨通道沖突任務

圖3. 人類與機器人在不同實驗條件下行為反應及對比

　　該研究為開發更具有社交智能的機器人提供了基礎，有助于日后機器人更好地理解和響應人類的情感、意圖和需求，并能夠以自然、直觀的方式與人類進行互動。研究將對醫療保健、教育和其他需要社交互動的領域產生積極影響，并為未來人工智能的落地應用創造更多可能性。

　　該研究受到國家自然科學基金中德國際合作重大項目（NSFC: 62061136001, DFG: TRR 169）和中國博管會派出項目支持。文章已發表于International Journal of Social Robotics。

　　德國漢堡大學計算機系與中科院心理所聯合培養博士后付迪博士為第一作者，付迪博士與劉勛研究員為本文共同通訊作者。

　　論文信息：Fu, D.*, Abawi, F., Carneiro, H., Kerzel, M., Chen, Z., Strahl, E., Liu, X.*, Wermter, S. (2023). A trained humanoid robot can perform human-like crossmodal social attention and conflict resolution. International Journal of Social Robotics,1-16. doi: 10.1007/s12369-023-00993-3. https://rdcu.be/c81uf

　　實驗演示視頻鏈接：https://www.youtube.com/watch?v=bjiYEs1x-7E

　　相關論文：

　　Fu, D.*, Abawi, F., & Wermter, S. (2023). The Robot in the Room: Influence of Robot Facial Expressions and Gaze on Human-Human-Robot Collaboration. https://arxiv.org/pdf/2303.14285.pdf

　　Parisi, G. I., Barros, P., Fu, D., Magg, S., Wu, H., Liu, X., & Wermter, S. (2018). A neurorobotic experiment for crossmodal conflict resolution in complex environments. In 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (Madrid: IEEE), 2330-2335.