心理所研究揭示多層級神經追蹤協同實現生物運動視聽整合

清晨的公園里，你聽見遠處傳來的腳步聲，余光瞥見晃動的身影，瞬間便知有人迎面走來。無論是見其人還是聞其聲，人類都能敏銳地捕捉生物運動信號。視聽信號的同步出現更是促進了人們對生物運動的探測和感知。這種看似簡單的促進效應要求人腦協調不同感官接收生物運動信息，利用其自然的視聽對應關系進行多感覺整合，從而產生一定的知覺增益。這個過程究竟是如何實現的？近期，中國科學院心理研究所蔣毅研究組的研究人員借助腦電技術揭示了上述過程背后的動態神經振蕩編碼機制，發現對生物運動信息的視聽整合包含了一場精密的腦波協奏。

很多生物的基礎運動模式具有穩定的節律性，如行走的人類、飛舞的蝴蝶、游動的水母。團隊前期工作發現，人腦皮層的神經振蕩會通過同步化活動追蹤編碼人類行走運動中的層級節律結構，產生皮層追蹤效應（cortical tracking effect），且該效應強度與生物運動知覺相關（Shen, et al., 2023a）。此外，聽到節律一致的腳步聲會顯著提升對目標生物運動的視覺搜索，且該現象由特異于自然生物運動信號的視聽整合驅動(Shen, et al., 2023b)。在此基礎上，此次研究考察了節律結構的神經追蹤在生物運動多感覺加工中的作用及其機制。

實驗1對比了人類被試在加工視覺（V，行走運動）、聽覺（A，腳步聲）、視聽（AV，同步的行走運動和腳步聲）生物運動信息時的腦活動。視覺的行走運動和聽覺的腳步聲都包含了層級節律結構（圖1），即行走的每一步構成了基礎的腳步周期（step cycle），而左右腳的交替運動形成了高階的步態周期（gait cycle）。視聽信號之間存在天然的節律對應關系。

圖1. 視覺和聽覺生物運動中的層級節律結構

實驗1a發現，在視聽雙通道條件下，大腦皮層中的神經活動能夠追蹤人類行走運動中的層級節律結構，表現為步態周期頻率和腳步周期頻率上神經振蕩能量的增強（圖2a）。而且，在兩種頻率上，視聽條件下的神經追蹤效應均顯著大于單通道條件（AV>A; AV>V），產生了多感覺增益效應。更重要的是，不同頻率上的皮層追蹤效應表現出不同的多感覺整合模式：在步態周期頻率上(圖2b)表現為超加式整合（AV>A+V）；而在腳步周期頻率上(圖2c)，則表現為加和式整合（AV=A+V）。實驗1b證實，上述效應在不同運動速度的生物運動刺激上可穩定出現（圖2d-f）。不同于線性加和，超加式整合反映了視覺和聽覺信號的協同交互，可能通過增強神經激活帶來信息加工的增益，提示兩種層級的神經追蹤效應可能在功能上存在差異。

圖2. 人腦在生物運動步態周期（gait cycle）和腳步周期（step cycle）上不同的視聽整合模式

實驗2通過納入倒立的生物運動刺激作為控制（圖1a），進一步分離了上述不同層級的神經追蹤效應在生物運動特異性與一般性的視聽整合過程中的作用。對比正倒立條件下的視聽整合效應（以視聽一致和不一致條件間的皮層追蹤效應之差為指標）發現，在步態周期頻率上（1 Hz, 圖3a-b），正立條件下的視聽一致性效應顯著強于倒立條件，這說明較寬時間尺度下的皮層追蹤參與了特異于自然生物運動線索的視聽整合。而在腳步周期頻率上（2 Hz, 圖3d-e），盡管正立和倒立條件都觀察到了視聽一致性效應，但二者無顯著差異，這意味著較窄時間尺度下的皮層追蹤反映了領域通用的視聽整合過程。此外，由于對生物運動的多感覺整合能力損傷與自閉癥等社會認知障礙緊密相關，實驗2還進一步探究了生物運動視聽整合的神經編碼與自閉特質之間的潛在關聯。結果發現只有對步態周期的皮層追蹤效應與個體的自閉癥特質相關。上述結果提示了高階皮層追蹤效應對生物運動加工及社會認知能力的獨特貢獻。

圖3. 步態周期而非腳步周期與生物運動特異性視聽整合及個體自閉特質的關聯

綜上，如同交響樂中不同樂器的協奏，不同模態、不同時間尺度的皮層追蹤以各異的模式協同作用，實現了生物運動特異性和領域一般性的多感覺加工。此外，多模態生物運動皮層追蹤與自閉特質相關，提示進一步探究其作為自閉癥早期神經標志的可能性，或將為認知障礙疾患的早期診斷與干預提供潛在的客觀指標。

該研究及系列前期工作，從單通道到多通道、從行為到神經層面，深入闡明了多感覺生物運動信息加工的認知神經機制，揭示了不同層級皮層追蹤對應的潛在認知功能差異。這些發現為理解其他具有層級節律特征的自然刺激（如語言、音樂）的多感覺加工提供了啟示。同時，結合團隊關于節律信息調控視覺注意和意識的研究（Yuan et al., 2021; Hu et al., 2024），系統揭示了人腦自發利用層級時間結構優化信息加工、適應動態環境的普遍規律，也為發展新型神經調控技術提供了理論依據。

該研究獲得科技創新2030“腦科學與類腦研究”重大項目、國家自然科學基金、中國科學院先導專項、前沿科學重點研究項目、中國科學院青年創新促進會優秀會員項目、中國博士后科學基金等的支持。

相關成果已在線發表于eLife。中國科學院心理研究所博士后申莉為論文第一作者，心理所青年特聘研究員王瑩為通訊作者。

論文信息：

Shen, L., Li, S., Tian, Y., Wang, Y.*, & Jiang, Y. (2025). Cortical tracking of hierarchical rhythms orchestrates the multisensory processing of biological motion. eLife, 13, RP98701. https://doi.org/10.7554/eLife.98701

前期相關工作：

Shen, L., Lu, X., Yuan, X., Hu, R., Wang, Y.*, & Jiang, Y. (2023a). Cortical encoding of rhythmic kinematic structures in biological motion. NeuroImage, 268, 119893. https://doi.org/10.1016/j.neuroimage.2023.119893

Shen, L., Lu, X., Wang, Y.*, & Jiang, Y. (2023b). Audiovisual correspondence facilitates the visual search for biological motion. Psychonomic Bulletin & Review, 30(6), 2272–2281. https://doi.org/10.3758/s13423-023-02308-z

Yuan, P., Hu, R., Zhang, X., Wang, Y.*, & Jiang, Y.* (2021). Cortical entrainment to hierarchical contextual rhythms recomposes dynamic attending in visual perception.?eLife, 10, e65118. https://doi.org/10.7554/eLife.65118

Hu, R.#, Li, S.#, Yuan, P., Wang, Y.*, & Jiang, Y. (2024). Temporal integration by multi-level regularities fosters the emergence of dynamic conscious experience.?Annals of the New York Academy of Sciences, 1533(1), 156-168. ?https://doi.org/10.1111/nyas.15099