心理所研究為多模態語義加工中的動態環路機制提供因果性證據

　　語義加工依賴于兩個系統的交互作用：語義表征系統和語義控制系統。語義表征系統主要用于語義的存儲，語義控制系統使語義加工更靈活、動態地符合當前的情景和任務要求。然而，廣義上的語義信息不僅包括語言信息，也包括來自其他模態的信息。其中來自手勢的信息格外重要。手勢是伴隨言語而產生的活動，一般手勢呈現早于言語，不僅可以作為言語的補充說明，而且可以包含言語中不存在的信息。手勢信息和言語信息交互作用，共同影響著人們對交流信息的理解。以往的研究發現，跨模態的手勢信息和言語信息的加工過程也會涉及語義加工的兩個系統，然而這兩個系統是如何在手勢與言語的跨模態語義加工中動態交互的尚不明確。

　　針對這一問題，中國科學院行為科學院重點實驗室杜憶研究組采用非侵入性精密計時雙脈沖經顱磁刺激（double-pulse TMS）技術，將手勢和言語信息的整合過程分成以40ms為單位的時間窗，在每個時間窗上分別對多模態語義表征核心腦區——后側顳中回（pMTG）和語義控制核心腦區——額下回（IFG）實施雙脈沖TMS刺激（圖1），以期獲得兩個系統的因果性時間動態加工機制。

　　實驗中，研究者根據言語詞匯的加工過程將手勢和言語的整合分成詞匯前的語音階段和詞匯后的語義加工階段。詞匯前階段包含3個時間窗（TW1,TW2, TW3），詞匯后階段包含5個時間窗(TW4-TW8)。實驗招募了26名年輕被試，通過被試內設計分別刺激IFG，pMTG和頭頂（Vertex控制條件），實驗共包含24個block，分4次每次間隔5-7天完成。實驗從兩個維度操縱了手勢-言語信息的一致性，包含語義一致（呈現“剪”的語音和“剪紙”的手勢動作）和語義不一致（呈現“剪”的語音和“噴水”的手勢動作），以及性別一致（說話人和做手勢動作的人都是男性）和性別不一致（說話人是男性，做手勢動作的人是女性）條件。實驗要求被試看著屏幕，但是只對聽到的講話人性別做出判斷。

圖1. 刺激呈現及雙脈沖TMS 刺激施加于不同時間窗的示意圖

DP表示手勢的區分時間點（discrimination point）,IP表示言語的識別時間點（identification point）

　　研究結果發現，在控制條件下（刺激Vertex）出現了典型的語義一致性效應，即語義不一致條件下的反應時顯著大于語義一致條件下的反應時，說明手勢與言語存在自動化的語義整合。以語義一致性效應量作為手勢-言語整合的行為指標，相對于控制條件，刺激pMTG時在TW1,TW2和TW7三個時間窗出現了手勢-言語整合效應的顯著性降低，而當TMS實施于IFG時，則出現了TW3和TW6下手勢-言語整合效應的顯著性降低（圖2）。

圖2. TMS選擇性地在IFG和pMTG的不同時間窗影響了手勢和言語的整合

　　根據結果，研究提出了手勢-言語的兩階段整合環路。第一個階段是詞匯前的語音加工階段，在這一階段，語音信息的輸入一方面自下而上地激活了位于顳上回和顳上溝（STG/S）的語音表征，另一方面又受到先呈現的手勢信息的自上而下的詞匯語義約束。在這一過程中，手勢對言語的調控先發生于pMTG，后出現于IFG，提示存在pMTG向IFG的前饋投射。第二個階段是詞匯后的語義加工階段，手勢的語義信息和言語的語義信息整合形成統一的語義表征。在這一過程中，IFG比pMTG更早參與到整合過程，提示存在IFG向pMTG的反饋調節（圖3）。

圖3. (A) 不同加工階段手勢-言語整合受到TMS影響的腦區匯總圖。（B）手勢-言語兩階段加工環路假設

　　該研究為多模態語義整合的動態腦環路機制提供了因果性證據，揭示了額葉語義控制系統與顳葉語義表征系統的動態交互過程。

　　該研究得到國家自然科學基金（31800964, 31822024）、心理所青年人才啟動項目（Y8CX382005）和中國科學院戰略性先導科技專項（XDB32010300）的資助。

　　心理所助理研究員趙婉瑩是該研究的第一作者，杜憶研究員為通訊作者。

　　相關論文已在線發表于The Journal of Neuroscience。

　　論文信息：

　　Zhao, W., Li, Y., & Du, Y. (2021). TMS reveals dynamic interaction between inferior frontal gyrus and posterior middle temporal gyrus in gesture-speech semantic integration. The Journal of Neuroscience, JN-RM-1355-1321. https://doi.org/10.1523/jneurosci.1355-21.2021