科研進展

心理所研究發現人類雙側喉部運動皮層以模擬發音運動的方式因果性參與言語知覺決策

發布時間:2023-08-14 作者:中國科學院行為科學重點實驗室 杜憶研究組

  在嘈雜的公共場合打開手機的語音識別功能時,我們經常發現它無法準確識別我們的言語,甚至錯誤地捕捉了別人的話。但是,我們自己在相似的場合里交流卻好得多。為什么在語言交流中,人類大腦擁有較強的抗噪聲能力呢?

  問題的答案可能在于我們的大腦會“自說自話”:人類使用大腦的言語運動皮層控制發音器官運動來說話,而Liberman等(1967, Psychol. Rev. 74)提出的言語知覺運動理論認為,言語知覺本身是對說話人的發音動作進行還原的過程。在神經層面上,Hickok和Poeppel(2007, Nat. Rev. Neurosci. 8)提出的言語加工的雙通路系列模型指出,大腦的聽皮層與運動皮層構成神經環路來理解言語;特別是,言語運動皮層能主動對說話人的發音動作進行模擬,并與聽覺信號進行比對,特別在知覺困難時對聽覺加工進行代償(圖1, 2)。

圖1:言語知覺的感覺運動整合漫畫圖

聽皮層的“土地”上存放著音節“文物”(即聽覺表征),“塵土”(即干擾聲音信號的噪聲)讓音節的聽覺表征變得模糊;而皮層言語運動系統參與聽覺加工的方式就像一名考古工作者:用自身儲存的“運動模板”與封存在土壤里的音節表征做匹配,自上而下地輔助聽皮層拂去塵土,還原說話人表達的真實內容。

  著名神經外科醫生Penfield發現,運動皮層在控制身體運動時呈現出“效應器特異”的分區特征:不同區域控制身體不同肢體(如手和腳)的運動(Penfield & Boldrey, 1937, Brain);而運動皮層控制說話的方式也類似:“舌部區域”控制舌部運動(發出“滴”、“踢”聲),“唇部區域”控制唇部運動(發出“巴”、“趴”聲)。更有意思的是,在聽話時,聽者的運動皮層也出現了與說話時相似的分區特征:唇部運動區參與雙唇輔音的知覺,舌部運動區參與齒輔音以及元音的分辨,體現出運動皮層控制言語運動的效應器特異性。

  另一方面,與唇部和舌部運動控制相似,運動皮層中也存在“喉部運動區”以控制喉部的運動,從而使得人能在言語交流中能自如地控制發音和不發音,以及音高的高低變化。這兩者不僅是人類得以表達言語的基礎能力,更對一些輔音(如普通話聲母d和t,兩者的區別在于嗓音起始時間長短,即發音的時間點)和聲調(如普通話的一聲和二聲,兩者在音高變化上不一致)的發音至關重要。然而,喉部運動區是否以及如何參與言語知覺的問題一直懸而未決:科學家們尚不清楚,喉部區是否與唇舌部運動區一樣“效應器特異”地參與知覺,左右側喉部區如何在不同任務難度中進行協同,以及該區域參與了言語知覺決策(即對音節的分辨)的哪些具體過程。

  為回答上述問題,中國科學院心理研究所杜憶研究組近期開展了一項磁共振引導的經顱磁刺激研究,發現人腦雙側喉部運動皮層以模擬發音的方式因果性地參與到了言語知覺決策的多個階段,特別在知覺困難的情境下輔助聽覺加工。該研究成果于8月5日刊發在Nature Communications。

圖2: 喉部運動區參與普通話言語知覺及研究方案示意圖

  首先,研究招募了48名健康成年漢語普通話母語志愿者,讓他們在功能磁共振(functional magnetic resonance imaging,fMRI)掃描過程中分別進行喉部(說“AH”)和舌部(輕聲說“D”)運動。研究者根據與運動任務相關的大腦激活情況來確定控制喉部和舌部的運動皮層區域。

  接著,研究招募了90名健康成年漢語普通話母語志愿者,并采用經顱磁刺激技術(transcranial magnetic stimulation,TMS)對其運動皮層的喉部或舌部控制區域的活動進行干預,以觀察志愿者在音節分辨任務中的成績變化。TMS是一門對人體無傷害的神經調控技術,通過變化磁場誘發顱內感應電流以暫時興奮或抑制特定的大腦皮層區域,以短暫地改變認知加工方式。科學家們運用TMS這一特性來探究特定腦區在認知過程中的“因果性”:如果腦區在某項認知功能中具有關鍵的意義,那么對它的活動進行調節會引起認知和行為的改變。具體而言,研究對志愿者的左/右運動皮層進行了重復性TMS(rTMS,實驗1,探索性實驗)或theta爆發式脈沖刺激(TBS,實驗2,正式實驗),以研究在有/無背景噪聲掩蔽下的聲調和d/t聲母的范疇知覺決策是否會受到相應的影響。

  實驗一運用語音合成算法生成適合志愿者聽覺敏感區間的5×5步正交的單音節普通話聲母d-t和聲調一聲–二聲連續體矩陣,64名志愿者在清晰無噪聲和有噪聲下做聲調或聲母的范疇分辨任務,在語音播放的同時在其左側或右側的喉部運動區、舌部運動區(對比腦區)和頭頂(假刺激)施加10-Hz的3脈沖TMS刺激進行靶向干預。

  實驗二運用與實驗一相同的語音合成算法分別生成適合志愿者聽覺敏感區間的單音節聲母d-t和聲調一聲–二聲連續體,26名志愿者在接受TBS后進行與rTMS實驗相同的任務,抑制性的cTBS、興奮性的iTBS或假刺激(扭轉線圈)施加在志愿者左側或右側的喉部運動區對其進行擾動(圖5)。

  在數據分析上,本研究應用了兩個獨立的分析流程來研究實驗二中TBS刺激喉部運動區對志愿者的行為結果的調控效應:1)通過心理物理曲線擬合探究知覺敏感性的變化(圖3);2)使用層級漂移擴散模型(HDDM)分析知覺決策受影響的階段(圖4)。

  心理物理曲線擬合是研究人對物理信號(聲、光等刺激)感知特征的經典方法,通過建立信號的物理強度(如聲音大小)變化與人知覺判斷(如是否聽見聲音)之間的函數關系來探究人對信號知覺的心理規律;通過對比TMS與假刺激條件中志愿者心理物理曲線斜率的變化,可以推斷喉部運動區對言語知覺敏感性的貢獻。

  HDDM是行為決策研究里較為流行的計算模型:模型將人做決策的過程看成是證據積累的隨機過程,最終選擇及決策速度取決于決策所需的證據積累量(即邊界閾值a)、證據積累的速度(即漂移率v)和人自身的決策偏好(即起始點,z);通過對志愿者反應方式和反應時進行HDDM模型擬合,對比TMS與假刺激條件中志愿者各個HDDM參數的變化,可以推斷喉部運動區在知覺決策中具體參與了哪些階段。

圖3: 心理物理曲線與TMS對曲線斜率調控效應示意圖

圖4: 層級漂移擴散模型(HDDM)與TMS對模型參數調控效應示意圖

  心理物理曲線斜率分析(知覺敏感性)表明,cTBS刺激喉部運動區抑制聲調和聲母知覺:cTBS刺激左側喉部運動區抑制噪聲下的聲調知覺(圖5e);cTBS刺激左側喉部運動區抑制安靜(圖5c)和噪聲下(圖5e)的聲母知覺;cTBS刺激右側喉部運動區抑制噪聲下聲母知覺(圖5f),但是并不影響聲調知覺和安靜條件下的聲母知覺。

 

圖5: 實驗二實驗設計(上)及心理物理曲線斜率分析結果(下)

  HDDM分析(知覺決策階段)表明:對于所有條件(圖6,刺激左側喉部運動區的安靜條件下的聲調知覺除外),cTBS顯著增大了決策邊界的閾值(a);左側喉部運動區cTBS刺激影響證據積累速率(v)(圖6a、b、i和j),但刺激右側喉部運動區無效應(圖6c、d、k和l);證據積累的起始點(z)只在有噪聲干擾的輔音知覺中同時被左側(圖6f)和右側(圖6h)喉部運動區刺激時受影響。

圖6: 實驗二HDDM和反應分析結果

  研究結果表明(圖7):雙側喉部運動皮層以模擬發音(效應器特異)的方式因果性地參與了聲調和聲母知覺決策,表明喉部運動皮層參與言語知覺的效應器特異性。與此同時,在參與言語知覺決策時,左側喉部運動區發揮主導作用,而右側同源區則在知覺困難條件中有更多參與,這顯示出大腦應對不同難度的任務時靈活調動認知資源實現功能重組織的可塑性。此外,在參與知覺決策的時程上,雙側喉部運動區參與決策的多個階段,而具體參與的階段取決于半球和任務難度。

圖7: 雙側喉部運動區參與言語線索知覺決策的概念模型

  綜上所述,該研究發現雙側喉部運動區參與聲調以及聲母范疇知覺的因果性機制及其受任務難度調節的規律與參與時程特點。同時,該研究對言語障礙康復的臨床轉化研究以及構建更高魯棒性、高動態適應性的人工智能前端算法研究具有參考意義。

  該論文的第一作者是心理所博士研究生梁柏燊(已畢業),杜憶研究員為通訊作者。研究獲得科技創新2030“腦科學與類腦研究”重大項目(2021ZD0201500),中國科學院心理研究所“揭榜掛帥”項目(E2CX3625CX),國家自然科學基金(31822024),中國科學院戰略性先導科技專項基金(XDB32010300)的支持。

  論文信息:

  Liang, B., Li, Y., Zhao, W. & Du, Y. Bilateral human laryngeal motor cortex in perceptual decision of lexical tone and voicing of consonant. Nat. Commun. 14, 4710 (2023).https://doi.org/10.1038/s41467-023-40445-0

  相關論文:

  Du, Y., Buchsbaum, B. R., Grady, C. L. & Alain, C. Noise differentially impacts phoneme representations in the auditory and speech motor systems. Proc. Natl. Acad. Sci. U.S.A. 111, 7126–7131 (2014).

  Liang, B. & Du, Y. The functional neuroanatomy of lexical tone perception: an activation likelihood estimation meta-analysis. Front. Neurosci.12, 495 (2018).


附件下載:

丁香狠狠色婷婷久久综合