目的 基于深度学习的脑电图-功能性近红外光谱技术(electroencephalogram-functional near-infrared spectroscopy, EEG-fNIRS)多模态脑机接口在康复工程中具有广泛的应用前景,但存在数据量不足的问题。为此,本文提出一种基于改进条件生成式对抗网络(conditional generative adversarial network, CGAN)的EEG-fNIRS多模态信号数据增广方法,以解决EEG-fNIRS多模态脑机接口与深度学习结合时面临的数据量匮乏的问题。方法 首先,对EEG和fNIRS数据进行滤波、归一化和下采样等预处理。然后,针对EEG的非平稳特点,在CGAN生成器和判别器中增加自注意力机制,获得EEG数据增广模型CGANE,加强捕捉和学习时变关键信息的能力。同时,针对fNIRS采样率低、信息量不充分问题,在CGAN生成器和判别器中增加上采样卷积层,获得fNIRS数据增广模型CGANf,加强模型的信息挖掘能力,并将CGANE和CGANf
|