心理所研究發現語音與旋律加工的時頻調制敏感性具有跨語言普遍性

在日常交流與藝術欣賞中，人類能夠輕松區分“說話”與“唱歌”，其關鍵線索在于聲音在頻譜（spectral）和時間（temporal）兩個維度上的特征差異。在聽覺研究領域，時頻域調制（spectrotemporal modulation，STM）已成為分析語音和音樂聲學特征的重要工具。已有研究表明，語音與旋律加工存在“不對稱性”：旋律感知在頻域信息分辨率降低時更容易受損，而語音感知則對時域信息的變化更為敏感（Albouy et al.,2020,Science）。近期研究還發現，STM能夠有效區分不同文化背景下的歌曲特征（Albouy et al.,2024,Nature Communications）。然而，既有研究主要圍繞非聲調語言（如英語、法語）使用者開展，該機制是否適用于聲調語言（如漢語）人群，目前尚未得到系統驗證。

為探討這一問題，中國科學院心理研究所杜憶研究組與加拿大麥吉爾大學Robert Zatorre教授、加拿大大學的Philippe Albouy教授，以及法國艾克斯－馬賽大學Benjamin Morillon教授合作，共同考察了漢語母語者在語音與旋律加工中對時頻調制的敏感性。

研究共設計了兩個實驗。主實驗采用Albouy等人（2020）的實驗范式，招募了25名漢語母語者，在時域（1.0、1.5、2.0、2.5、3.5 Hz）或頻域（0.6、1.5、1.8、2.0、3 cyc/kHz）分辨率逐步降低的條件下，聆聽成對呈現的漢語歌曲片段，并根據提示判斷其語音內容或旋律內容是否相同（圖1）。對照實驗由25名漢語母語者參與，實驗流程與主實驗一致，但刺激材料為從歌曲中分離出的“無歌詞旋律”或“無旋律語音”，以排除多模態刺激可能帶來的注意負荷干擾。

圖1. 主實驗的實驗任務示意

研究結果顯示，盡管漢語歌曲在STM能量分布上與英語、法語歌曲存在顯著差異（圖2），但漢語母語者在行為層面表現出與英語、法語聽者高度一致的模式：語音加工更依賴于時域調制線索，而旋律加工則更依賴于頻域調制線索（圖3）。這表明語音與旋律加工在時頻調制維度上的不對稱性具有跨語言普遍性。此外，在對照實驗中，當旋律或語音單獨呈現時，參與者表現趨勢一致，但受干擾程度減輕，說明認知負荷在語音與音樂加工中亦起到調節作用。

圖2. 漢語、法語和英語歌曲的時頻域調制能量分布，以及兩兩語言之間的比較

圖3. 漢語、法語和英語母語者的旋律和語音感知上的不對稱模式一致

值得注意的是，在旋律加工任務中，漢語母語者對頻域信息降質表現出更高的敏感性。特別是在約2 cyc/kHz附近的頻譜降質條件下，其行為表現呈現非線性變化趨勢（圖4），這一現象在英語和法語母語者中未見報告。研究者推測，漢語作為聲調語言的經驗可能增強了使用者在音樂領域的音高加工能力。

圖4. 漢語歌曲中在不同頻域調制下的旋律和語音感知表現

綜上所述，該研究首次系統揭示了聲調語言經驗對語音與音樂感知的雙重影響：一方面，語音與旋律感知在時頻調制線索依賴上的不對稱模式具有跨語言普遍性；另一方面，聲調語言背景可能在音樂感知中細微地強化了個體對頻譜信息的處理能力。該研究發現不僅深化了對語言與音樂感知交互機制的理解，也為進一步探索語言經驗如何塑造大腦聽覺功能提供了新的研究方向。

該研究獲得中國科學院心理研究所科研基金（E4JY292266）、加拿大健康研究院（CIHR）、加拿大研究主席項目（Canada Research Chair program）、法國巴黎聽覺基金會（Fondation pour l’Audition，FPA RD-2022-09；FPA RD-2021-6）、歐洲研究理事會（ERC-SPEEDY，ERC-CoG-101043344）、魁北克健康研究基金會（FRQS）、加拿大自然科學與工程研究理事會（NSERC）、加拿大健康研究院（CIHR）及加拿大腦科學基金會（Brain Canada）的資助。

研究成果已發表于Ear and Hearing。心理所博士生呂柏翰為論文第一作者，心理所杜憶研究員和麥吉爾大學Robert Zatorre教授為共同通訊作者。

論文信息：Lyu,B.H.,Li,Y.C.,Albouy,P.,Morillon,B.,Zatorre,R.J.*,& Du,Y.* Spectrotemporal modulation sensitivity in speech and melody processing among mandarin speakers. Ear & Hearing,https://pubmed.ncbi.nlm.nih.gov/41283515/

相關論文：

Albouy,P.,Benjamin,L.,Morillon,B.,& Zatorre,R. J. (2020). Distinct sensitivity to spectrotemporal modulation supports brain asymmetry for speech and melody. Science,367(6481),1043–1047. https://doi.org/10.1126/science.aaz3468

Albouy, P., Mehr, S. A., Hoyer, R. S., Ginzburg, J., Du, Y., & Zatorre, R. J. (2024). Spectro-temporal acoustical markers differentiate speech from song across cultures. Nature Communications, 15(1), 4835. https://doi.org/10.1038/s41467-024-49040-3