心理所研究揭示視覺唇動信息促進噪音下言語感知的神經機制

　　日常對話中，往往遇到的并不是理想的聽覺環境，或大或小的環境噪音會不同程度地給人們聽清對話帶來難度。然而，聽力正常者在極度嘈雜的環境下，也能一定程度理解對方要表達什么。這得益于在日常交流情景中，人們不僅僅靠耳朵去聽，還會靠眼睛去捕捉并理解信息。視覺信息中對理解幫助最大的無疑是說話人的嘴唇運動，經過唇語訓練，甚至僅僅靠觀看說話人嘴唇運動也能完成交流。

　　中國科學院行為科學院重點實驗室杜憶研究組開展了一項多模態磁共振成像研究，包括功能磁共振成像與擴散加權成像（神經突起方向離散度與密度成像neurite orientation dispersion and density imaging，NODDI），探究了說話人唇動信息輔助噪音下識別言語的神經機制。如圖1所示，結果發現，視覺唇動能夠促進聽覺背側通路腦區對于音節的神經表征，并且在不同腦區對于不同的發音特征的增強具有異質性。此外，視覺唇動還能促進聽覺背側通路腦區之間的有效性功能連接。最后，聽覺背側通路的白質結構基礎——弓狀束——的微觀結構屬性能夠預測言語運動區對于音節的表征及其向聽覺區功能連接的視覺增強效應。

圖1.可視化摘要

　　具體而言，該研究使用/ba/、/da/、/pa/、/ta/四個音節作為聽覺刺激，這四個音節形成了發音位置（雙唇音：/ba/、/pa/；舌齒音：/da/、/ta/）與發音清濁（濁音：/ba/、/da/；清音：/pa/、/ta/）的2 * 2的刺激屬性條件。被試聆聽不同噪音程度下的音節并觀看對應的說話人唇動（視覺有效條件）或者一張靜止的嘴唇圖片（視覺無效條件），盡快辨別他們聽到的是哪個音節。

　　首先，行為結果與以往研究一致，視覺信息極大促進了音節辨別的成績，降低了反應時。并且，視覺信息只會提高發音位置維度的辨別，并不會提高對于音節清濁的辨別。這樣的行為證據提示了視覺信息主要提供了發音位置信息來幫助言語感知。

　　通過比較視覺有效與視覺無效條件，研究者發現提供了有效唇動信息之后，被試在加工言語過程中，視聽感覺區域與運動區域被更強地激活了。然后，研究者采用基于感興趣區的多體素模式分析發現，有效的視覺唇動顯著增強了左側言語運動區和緣上回對于音節的神經表征（圖2B，D）。通過進一步分析發現，聽覺背側通路腦區對于不同發音特征有著差異性的視覺增強效應。有效視覺唇動增強了左側中央前回下部以及緣上回對于發音位置特征的神經表征，但增強了左側額下回蓋部對于發音清濁的神經表征（圖2E，F）。這是首次在神經表征上提供了視覺信息對于聽覺背側通路腦區對不同發音特征的貢獻差異性的證據。

圖2.基于感興趣區的多體素模式分析結果

A. 所選擇的與視聽言語相關的腦區（左右腦各25個）；B. 視覺增強效應顯著腦區；C. 左側緣上回神經表征的視覺增強效應與行為的視覺增強效應相關；D. 在視覺有效（LC）和視覺無效條件 (LS)下的音節分類正確率；E. 在視覺有效（LC）和視覺無效條件(LS)下的發音清濁分類正確率；F. 在視覺有效（LC）和視覺無效條件(LS)下的發音位置分類正確率

　　接下來，通過動態因果模型分析發現，有效視覺信息促進了聽覺背側通路腦區之間的有效性功能連接（圖3）。具體而言，在視覺有效條件下，頂下小葉與發音運動區的雙向連接增強，頂下小葉向視覺區和聽覺區的連接增強，而聽覺區向頂下小葉的連接減弱。四個腦區的自我抑制程度也受到視覺信息有效性的調節，聽覺區和發音運動區的自我抑制均上升，傾向于在視覺有效條件下減少接受刺激輸入，而視覺區和多感覺整合區（頂下小葉）的自我抑制下降，傾向于增加刺激輸入。暗示了相對于視覺無效條件，視覺有效時對于視覺信息更多的利用和權重。

圖3.動態因果模型結果

視覺有效條件和視覺無效條件下視聽言語腦網絡的有效性連接的差異，實線表示有顯著變化的連接（p_fdr< 0.05），虛線表示沒有顯著變化的連接，正值表示在視覺有效條件下連接增強，而負值表示在視覺無效條件下連接增強，腦區的自連接正值表示腦區自我抑制增強，趨向于不接受信息，負值表示腦區自我抑制下降，趨向于接受信息

　　最后，研究者提取了每個被試連接額葉（布洛卡區和前運動皮層）、頂葉（角回和緣上回）和顳葉（維爾尼克區）的弓狀束（arcuate fasciculus, AF），一條聽覺背側通路的核心白質纖維束。NODDI結果發現，左側弓狀束長支的神經突朝向復雜性（朝向離散度指數，orientation dispersion index， ODI）可以顯著預測言語運動區的音節神經表征及其與聽覺區功能連接的視覺增強效應（圖4），這建立了聽覺背側通路的結構和功能在視聽言語加工中的關聯。

圖4.腦結構與腦功能相關結果

弓狀束長支的神經突朝向離散度指數（ODI）與言語運動區向聽皮層的有效性連接以及額下回蓋部的音節神經表征的視覺增益有顯著正相關，而弓狀束長支的各向異性分數（FA）與額下回蓋部的音節神經表征的視覺增益有顯著負相關，與言語運動區向聽皮層的有效性連接的視覺增益有弱負相關但不顯著。言語運動區向聽皮層的有效性連接視覺增益與額下回蓋部的音節表征視覺增益有顯著正相關。**表示p < 0.01，*表示p < 0.05

　　該研究為視覺信息是如何促進噪音下言語感知這一問題提供了全面的神經機制上的證據，從激活水平、神經表征水平、腦區功能連接，最后到其白質結構基礎，極大地促進了對于言語感知中多感覺整合機制的理解。

　　該研究獲得國家科技創新2030-“腦科學與類腦研究”重大項目（2021ZD0201501），國家自然科學基金（31822024）和中國科學院戰略性先導科技專項（XDB32010300）支持。文章已在線發表于Neuroimage。

　　論文信息：

　　Zhang, L., & Du, Y. (2022). Lip movements enhance speech representations and effective connectivity in auditory dorsal stream. Neuroimage, 257, 119311.

　　DOI: https://doi.org/10.1016/j.neuroimage.2022.119311