心理所創建第三代高生態效度的深度微表情數據庫 - CAS(ME)³

　　作為重要的非語言交流線索，微表情可以揭示一個人的真實情緒狀態。特別是隨著深度學習方法在微表情分析領域的蓬勃發展，微表情分析的發展得到了關注。然而，心理學和人工智能的研究都受到了微表情小樣本的限制。 　　  

　　中國科學院心理研究所微表情應用研究中心建立了CAS(ME)³數據庫，這是一個大規模、自發的微表情數據庫，包含了樣本的深度信息，并且具有高生態效度。該數據庫有望引領下一代微表情分析的發展。   

　　數據規模對于基于人工智能的微表情分析至關重要。CAS(ME)³提供了約80小時的視頻，超過800萬幀，包括1109個人工標注的微表情和3490個宏觀表情。CAS(ME)³的大樣本量可以有效地進行微表情分析方法驗證，同時避免數據庫偏差。   

　　CAS(ME)³的亮點之一是數據庫中的樣本包含深度信息。引入深度信息這一模態的靈感來自于基于人類視覺感知的微表情識別心理學實驗。受試者被要求觀看2D和3D微表情視頻，并回答關于視頻的情緒價值、情緒類型和情緒強度的三個問題。被試在觀看3D視頻的情況下，反應時間更短、強度評分更高，這表明深度信息可以促進個體對微表情的識別。在證明了深度信息對人類視覺感知的有效性后，研究團隊繼續進行智能微表情分析的工作，并且證明了在深度信息的幫助下，算法對微表情的連續變化更加敏感。 

圖1.微表情樣本：RGB圖像和深度信息（Part A - spNO.216：AU R1+R2，驚喜）

　　CAS(ME)³的另一個亮點是它的高生態效度。在微表情誘發的過程中，研究者優化了采集環境，設計了模擬犯罪的誘發范式，使之盡可能接近現實。并且，在數據采集的過程中，同時通過攝像機和可穿戴設備收集視頻、語音和生理信號，包括皮膚電活動、心率/指尖脈搏、呼吸和脈搏等。實驗表明，高風險場景（如犯罪）中的被試比低風險場景（如無罪）中的被試泄露更多的微表情。這種高生態效度的樣本為真實場景中微表情分析和情緒理解提供了基礎。 

　　此外，在算法層面，緩解微表情小樣本問題的手段之一是無監督學習。作為無監督學習的一個研究方向，自監督學習已經成為一個熱門話題。使用額外的深度信息或更多的微表情幀來生成標簽并構建微表情分析的自監督學習模型是很自然的一種設想。CAS(ME)³提供了1,508個無標簽的視頻，超過4,000,000幀，搭建了基于無監督學習的微表情分析的數據平臺。   

　　心理所傅小蘭研究員帶領的研究團隊此前已經發布了三個微表情數據庫：CASME、CASME II和CAS(ME)²。這些數據庫被來自50多個國家的600多個研究團隊申請試用，并且超過80%的微表情分析文章至少使用了其中一個數據庫進行方法驗證。 

　　基于CAS(ME)³與之前的CASME系列數據庫，未來有望出現基于自監督學習和基于深度信息、生理和語音信號的多模態微表情分析研究。 

　　隨著數據驅動的科研范式的形成，研究所越來越重視心理學研究中的科學數據工作，正在積極建設中國科學院心理研究所科學數據中心。該數據庫未來可通過科學數據中心提供的平臺申請使用。 

　　該研究獲得國家自然科學基金、中國博士后科學基金和國家重點研發計劃的資助，并于近期發表在IEEE Transactions on Pattern Analysis and Machine Intelligence上。 

　　論文信息：Li, J., Dong, Z., Lu, S., Wang, S. J. *, Yan, W. J., Ma, Y., Liu, Y., Huang, C., & Fu, X.* (2022). CAS (ME) ³: A Third Generation Facial Spontaneous Micro-Expression Database with Depth Information and High Ecological Validity. IEEE Transactions on Pattern Analysis and Machine Intelligence. DOI: 10.1109/TPAMI.2022.3174895.