心理所合作研究揭示人腦從話語韻律理解交際意圖的神經動態歷程

在日常生活或工作的人際交往中，我們不僅需理解對方言語的字面意義，更要領會其背后蘊含的交際意圖。準確理解對方的交際意圖對于成功和高效的社交互動至關重要。目前，認知神經科學領域的一個重要前沿科學問題便是交際意圖理解的動態神經機制。

交際意圖不僅體現在話語的詞匯選擇上，在很多情況下需要依賴額外的語言外線索來傳達或解讀。其中，一種重要的語言外線索便是“韻律”（即話語的輕重緩急、高低起伏等語調變化）。例如，當某人對朋友說：“我在猶豫要不要買這個品牌的設備。”朋友回答：“我們調查了它的質量。”若此話語的語調上升且基頻較高，可能意味著朋友對設備質量的贊美之情及“建議”購買的意圖；若語調降低且基頻壓低、延長發音，則可能意味著對設備質量的否定及“警告”不要購買的意圖。從現有研究推論，基于韻律線索理解交際意圖，在許多情境下，可能會涉及聽覺感知、情感態度分析以及意圖解釋等一系列逐漸抽象的心理表征的建構。系列加工假設認為，意圖解釋的起始時間會顯著晚于韻律聲學感知加工和情感分析；而平行加工假設則認為，意圖表征會快速通達，其起始時間會跟韻律聲學感知（或情感分析）同時平行進行。那么，人腦是如何進行多層級的認知加工，從韻律線索中理解交際意圖的呢？

中國科學院心理研究所認知與發展心理學研究室李曉慶研究組與香港中文大學馮剛毅教授開展了一項合作研究。該研究利用腦電技術，并結合單變量線性混合效應模型（LMEM）和多變量表征相似性分析（RSA）方法，研究了人腦從語音韻律線索中理解交際意圖的神經動態時間歷程。

在研究中，大學生被試聽一系列雙人對話（同時記錄其腦電活動），并根據自己對交際意圖的理解在9點量表上做出選擇（意圖行為評價）。研究人員操縱了每個對話的關鍵句中關鍵詞的韻律特征，以傳達建議、警告、或中性意圖；通過把建議/警告與中性基線條件相比，以揭示交際意圖理解的神經機制（見圖1）。

圖1. 對話材料舉例(a)、對話材料中關鍵句的關鍵詞的情感效價(b)以及腦電實驗的試次呈現流程(c)。

研究結果發現，首先，與中性基線條件相比，建議或警告意圖條件都誘發了顯著的ERP效應，表現為ERP正波的增強（見圖2）。

圖2. 建議(suggestion)、警告(warning)和中性(neutral)三個實驗條件誘發ERP活動（鎖時在關鍵詞的起始時間）(a)、ERP效應的頭皮分布(c)、以及意圖行為評價結果(b)。

更重要的是，為了進一步揭示人腦ERP活動反映的是聽覺感知加工、情感分析、還是意圖解釋，研究人員借助基于單試次的LMEM和RSA方法分析了ERP反應與話語“聲學特征”、“情感效價”以及“意圖行為評價”之間的關系；然后，借助基于jackknife或bootstrap的方法，比較了不同層級加工起始時間的相對早晚。

研究結果顯示，人腦從韻律信號中理解交際意圖時，聽覺感知加工開始的最早，然后情感效價分析開始出現，意圖解釋開始的最晚；在非常晚的階段，情感分析和意圖解釋會同時平行進行（見圖3和圖4）。

最后，研究人員進一步建構了具有不同結構的RSA和LMEM回歸模型并對之進行比較，發現早期的情感分析能夠為隨后的意圖解釋提供證據支持；在晚期加工中，情感分析和意圖解釋相互支持、相互促進。

圖3. LMEM分析中，不同時刻的ERP反應與“聲學”、“情感”和“意圖行為評價”的相關關系的效應量（β估計）。實線表示顯著的ERP相關效應，而虛線表示在特定10毫秒時間段內經過FDR校正后不顯著的相關效應。

圖4. RSA分析中，神經RDM與聲學(a)、情感(b)和意圖(c) RDM的Spearman相關系數的時間進程。彩色線條和陰影區域表示使用基于簇的置換檢驗（簇定義閾值p < .05和校正后的顯著性水平p < .05）得到的顯著效應。(d) 聲學、情感和意圖相關系數的起始潛伏期（***p < .001）。

綜上所述，本研究提供了神經層面的證據，證明了人腦從語音韻律中理解交際意圖時，會經歷多層級的認知加工過程（包括韻律聲學感知、情感分析和意圖解釋）。隨著心理表征抽象程度的增加，這些不同層級認知加工的起始時間逐漸延遲，總體上符合序列加工的認知計算模式；然而，情感評估和意圖理解在非常后期表現出并行加工和相互影響。本研究為我們理解人腦如何從韻律中理解交際意圖提供了新的見解，并揭示了韻律意圖理解的精細認知架構（即越來越抽象的表征）和時間特征。

值得指出的是，本研究并不否認在特定情境（如高度限制性語境）中，意圖表征可以快速通達。未來的研究可以整合多種方法，包括計算建模和多變量表征編碼建模等，進一步探索在不同語境中不同層級的認知加工如何相互動態作用以實現意圖理解。

該研究獲得國家自然科學基金（32171057）項目的支持。

文章已在線發表于NeuroImage。心理所博士研究生高攀科為第一作者，心理所李曉慶研究員和香港中文大學馮剛毅教授為共同通訊作者。?

論文信息：?

Gao, P., Jiang Zh., Yang Y., Zheng Y., Feng G. *, & Li X. * (2024) Temporal neural dynamics of understanding communicative intentions from speech prosody. NeuroImage. https://doi.org/10.1016/j.neuroimage.2024.120830