大腦是一臺預測機器？心理所研究揭示語言理解中的語音預測
6月14日，中國科學院心理研究所青年特聘研究員屈青青等在Cerebral Cortex期刊發表題為Predicting phonological information in language comprehension: evidence from ERP representational similarity analysis and Chinese idioms的研究論文。該研究聚焦于大腦在語言理解中如何進行預測加工,采用腦電神經表征相似性分析，揭示了語言理解中的語音預測(phonological prediction)及其時空表征機制。
當前，關于語言預測的一個關鍵問題是預測加工的表征內容，即人們通常預測哪些語言表征信息。已有研究揭示，在語言理解中，人們對即將出現的句法、語義信息進行預測。但關于較低層級的語音特征能否被預測，研究較少且爭議較大。如果存在語音預測，那么，語音預測的時間與神經表征又是怎樣的？
為了回答上述問題，研究者使用具有漢語特色且高限定性的漢語成語作為實驗材料，通過ERP表征相似度分析(RSA)方法對神經活動的時間及空間表征模式進行分析，考察語言理解中語音預測的時間與神經表征。研究通過操縱漢語四字成語對之間第三個字的讀音，使其在成語對之間共享同一個音節(within-pair，例如：聲東擊（ji）西、面黃肌（ji）瘦)或不共享同一個音節(between-pair)。具體而言，實驗材料為10組常用的四字成語，每組內所有成語的第三個字具有相同的發音，例如：聲東擊（ji）西、面黃肌（ji）瘦，因此每個組內部成語對之間為within-pair組（即語音相關組）。跨組別成語對之間語音不同，因此為between-pair組（即語音不相關組，見圖A）。
實驗中，成語的前半部分（“聲東”）與后半部分（“擊西”）分屏呈現，并實時記錄被試的腦電信號。基于組內的第三個字共享相同的語音特征(圖B)，研究者預期within-pair組(如：“聲東擊ji西”，“面黃肌ji瘦”)引發的神經活動模式相似度將高于between-pair組 (如：“聲東擊ji西”，“年事已yi高”)。通過分析空間神經活動相似度驗證了上述研究預期，表現為與between-pair組相比，共享語音的within-pair成語對之間的空間神經活動相似度更高。更重要的是，這種神經表征相似性效應在相同語音（即成語后半部分）呈現之前已開始出現(約200 ms，圖C)，為語音預測及其時間進程提供了神經證據。另外，研究者進一步分析了上述語音預測效應在不同腦區的表征模式。結果發現，在兩種條件下，最大的神經表征相似度均出現在后部腦區，語音預測的神經表征相似效應出現在左側中后部腦區（圖D）。
A. 實驗設計；B.成語第三個字的語音相似性矩陣；C.空間表征相似性分析顯示語音相似呈現前200毫秒開始出現語音相似的神經表征相似度效應；D.語音預測的神經表征相似度效應主要集中在大腦左側的中后部
綜上，該研究表明，在語言理解中，大腦根據當前情境和上文信息，對將要出現的信息進行主動的預測；在高限定的語境下可以預測到未來詞匯的語音信息。在漢語成語的理解加工中，語音預測發生在高預測詞匯呈現之前的數百毫秒，集中在大腦左側中后部。該研究為語音預測加工提供了證據，并初步揭示了其時空表征，加深了語言預測的理解；另外，該研究為語言預測加工提供了研究思路與技術路線的新視角。
該文章第一作者為心理所與國科大中丹學院聯合培養研究生魏巍，通訊作者為屈青青。黃紫睿、馮臣為該研究做出了貢獻。該研究獲得國家自然科學基金面上項目、國際(地區)合作與交流項目、北京市科技新星項目、中國科協青年人才托舉項目、中科院心理所“揭榜掛帥”項目的資助。
論文信息：Wei Wei, Zirui Huang, Chen Feng, Qingqing Qu* (2023). Predicting phonological information in language comprehension: evidence from ERP representational similarity analysis and Chinese idioms, Cerebral Cortex, bhad209, https://doi.org/10.1093/cercor/bhad209
相關論文信息：
Zirui Huang, Chen Feng, Qingqing Qu* (2023). Predicting coarse-grained semantic features in language comprehension: evidence from ERP representational similarity analysis and Chinese classifier, Cerebral Cortex, bhad116, https://doi.org/10.1093/cercor/bhad116
Xinjing Li, Xingshan Li, Qingqing Qu* (2022). Predicting phonology in language comprehension: Evidence from the visual world eye-tracking task in Mandarin Chinese. Journal of Experimental Psychology: Human Perception and Performance, 48(5), 531–547. https://doi.org/10.1037/xhp0000999
附件下載：