心理所研究使用強化學習模型發現抑郁癥患者的社會學習過程存在異常

　　在社會互動中，個體常常需要根據對方的行為來預測對方的態度、心理狀態以及未來的行為，從而靈活地調整自己在互動中如何回應他人，這種能力稱為社會學習。社會學習體現在生活的方方面面。在實驗室中，可以用博弈游戲來模擬。比如，在經典的信任博弈中，投資者將一筆錢投給被信任者，如果被信任者返回一部分收益，那么投資者會繼續選擇投資；反之，則不會繼續投資。在這個過程中通過社會學習，雙方建立了信任，投資得以繼續。因此，社會學習在社會互動中扮演重要地位。抑郁癥患者存在普遍而顯著的社會功能損傷。那么，抑郁癥患者是否存在社會學習異常呢？

　　既往研究使用非社會性的概率學習范式，發現抑郁癥患者的學習功能異常，比如對負面反饋的過度學習、對于預期偏差的編碼異常等。然而，在社會學習中，抑郁癥患者是否也存在同樣的學習障礙仍然未知。近期，中國科學院行為科學重點實驗室的周媛研究員帶領團隊使用重復信任博弈范式，構建了高生態效度的社會學習場景，搭建強化學習計算模型 (Rescorla-Wagner Reinforcement Learning Model, R-W RL Model)，探究了抑郁癥患者在社會學習過程中，對于他人守信與背叛行為的學習率與健康人之間是否存在差異，以及差異大小是否受到情景不確定程度的影響。

　　研究招募了68名未服藥抑郁癥患者和52名健康對照，作為投資者完成了改編的重復信任博弈。在實驗中，研究者操控了對手返還概率（10%，30%，50%，70%，90%）和是否事先披露對手可信度信息，來增加實驗場景的生態效度（圖1）.

圖1.實驗流程

　　對投資行為的分析發現，在未知對手可信度信息條件下，抑郁癥患者的投資行為顯著低于健康被試；在已知對手可信度信息條件下，只有面對50%和70%返還概率對手時抑郁癥患者的投資行為顯著低于健康被試（圖2）。這一結果表明高情景不確定性（未知對手信息和對手返還概率趨于基線）時抑郁癥患者更難以與對手建立信任關系。

圖2.被試類型、對手返還概率和是否事先披露可信度信息對投資行為影響的交互作用圖

（a）沒有事先披露可信度信息條件；(b)事先披露了可信度信息條件

　　為了刻畫信任建立背后的學習過程，研究者構建了4種候選模型。模型1是基線R-W模型；模型2在基線R-W模型的基礎上區分了對于對手（正性）守信返還結果以及（負性）背叛不返還結果的學習率；模型3在基線R-W模型基礎上添加了可信度判斷的心理結構；模型4在模型3的基礎上區分了對于對手（正性）守信返還結果以及（負性）背叛不返還結果的學習率。研究發現，模型2在每種實驗條件中都具有最好的擬合度（圖3a），且模型2在Parameter Recovery中具有良好的復現穩定性表現（圖3b），在Model Recovery中生成的模擬數據能夠很好的復刻原始數據特征（圖3c）。

圖3.最優模型（M2）的模型評估

　　基于模型2的學習率估計，進一步進行2（被試類型，組間）*2（是否已知對手可信度，組內）混合方差分析，結果發現：（1）抑郁癥患者與健康被試的正性結果學習率沒有組間差異；（2）抑郁癥患者對負性結果的學習率顯著高于健康被試，在未知對手可信度條件下組間差異呈現出更大的趨勢；（3）抑郁癥患者的選擇溫參顯著高于健康被試，這說明抑郁癥患者的投資行為更加隨機并更少依賴于選項效價（圖4）。在Rstan中使用分層貝葉斯估計方法對上述模型評估與參數組間比較結果進行重復驗證，可以得出一致結論。

圖4.對個體參數估計的方差分析結果

　　該研究使用強化學習模型，首次揭示了抑郁癥患者在社會學習過程中存在異常，體現在對于負性人際背叛的學習率較健康人更高，且在高不確定性情境下表現出更大的學習率差異。該研究為抑郁癥社會功能復健提供了新的候選干預目標，啟示社會功能復健可以針對如何降低患者對于人際背叛結果的敏感性，以及如何降低環境不確定性等方面入手，來促進患者信任關系的建立，從而改善其社會功能。

　　該研究受國家自然科學基金面上項目（81771473, 82171535, 72033006）以及心理所“揭榜掛帥”科學基金項目（E2CX3815CX）資助。第一作者是博士生金悅寧，通訊作者是心理所研究員周媛。首都醫科大學附屬北京安定醫院王赟副研究員和肖樂主任醫師，Aarhus大學Martin Dietz助理教授和Vibeke Bliksted副教授, 心理所已畢業碩士生高青林、在讀碩士生蔡雨洋，對該研究工作也有重要貢獻。研究成果已在線發表于臨床心理學期刊International Journal of Clinical and Health Psychology。

　　論文信息：

　　Jin, Y., Gao, Q., Wang, Y., Dietz, M., Xiao, L., Cai, Y., Bliksted, V. & Zhou, Y. (2023). Impaired social learning in patients with major depressive disorder revealed by a reinforcement learning model. International Journal of Clinical and Health Psychology, 23(4), 100389. https://doi.org/10.1016/j.ijchp.2023.100389

　　相關文章：

　　高青林, & 周媛. (2021). 計算模型視角下信任形成的心理和神經機制——基于信任博弈中投資者的角度. 心理科學進展, 29(1), 178-189. https://dx.doi.org/10.3724/SP.J.1042.2021.00178