近日，醫(yī)學部生物醫(yī)學工程學院教授梁臻在情感計算頂級期刊IEEE Transactions on Affective Computing（影響因子9.6）上發(fā)表題為“Semi-Supervised Dual-Stream Self-Attentive Adversarial Graph Contrastive Learning for Cross-Subject EEG-based Emotion Recognition”的學術論文。深圳大學研究生葉煒珊同學和哈爾濱工業(yè)大學（深圳）張治國教授為共同第一作者，深圳大學副教授梁臻和電子科技大學教授徐鵬為共同通訊作者。深圳大學為第一作者單位和通訊單位。

腦電（EEG）是一種用于情感識別的客觀工具，因其提供的高時間分辨率和非侵入性檢測特性，在情感計算領域具有廣闊的前景。然而，盡管EEG具有巨大的潛力，其廣泛應用卻面臨著一個主要挑戰(zhàn)，即標簽數(shù)據(jù)的稀缺。這種數(shù)據(jù)稀缺性限制了現(xiàn)有模型在情感識別任務中的性能表現(xiàn)。為了解決這一問題，本研究提出了一種新穎的半監(jiān)督雙流自注意對抗圖對比學習框架，簡稱DS-AGC，用于基于EEG信號的跨被試情感識別。DS-AGC框架設計了一種智能的雙流結構，通過這種結構，能夠有效地提取并融合EEG信號中的非結構化和結構化信息。雙流結構包含兩個并行的子網(wǎng)絡：一個用于處理原始的非結構化EEG數(shù)據(jù)，另一個則用于處理基于圖結構提取的EEG特征。隨后，這兩個子網(wǎng)絡的輸出通過自注意機制進一步融合，以提升模型對情感狀態(tài)的識別能力。

為了驗證DS-AGC框架的有效性，研究者在多個benchmark數(shù)據(jù)庫上進行了全面的實驗。這些實驗結果顯示，DS-AGC框架不僅能夠有效利用有標簽的數(shù)據(jù)，還能充分挖掘無標簽數(shù)據(jù)的信息，顯著提升情感識別的準確性和魯棒性。尤其在有標簽數(shù)據(jù)稀缺或獲取成本高昂的情況下，成為一種有前景的解決方案。

該研究獲得國家自然科學基金等項目資助。

原文鏈接：https://doi.org/10.1109/TAFFC.2024.3433470