设为首页 |  加入收藏
首页首页 期刊简介 消息通知 编委会 电子期刊 投稿须知 广告合作 联系我们
一种基于知识蒸馏和注意力损失的时间增量学习系统

作者: 李明爱;徐裕超; 
单位:1.北京工业大学信息科学技术学院2.计算智能与智能系统北京市重点实验室3.数字社区教育部工程研究中心
关键词: 脑电信号;运动想像;增量学习;知识蒸馏;注意力机制; 
分类号:
出版年·卷·期(页码):2024·43·6(575-583)
摘要:

目的 基于深度学习的运动想像脑机接口技术在智能康复领域具有很好的发展前景。然而,运动想像脑电信号(motor imagery-electroencephalogram, MI-EEG)是一种非平稳信号,其数据分布和特征空间会随着康复进程的推进而发生变化,这会导致卷积神经网络(convolutional neural network, CNN)模型的识别能力下降。为改善运动想像解码模型对时间的自适应性,本文提出一种基于知识蒸馏和注意力损失的时间增量学习系统(session-incremental learning system, SILS)。方法 首先,对运动想象脑电信号进行带通滤波和下采样等预处理,以增强与运动想象相关的信息;其次,设计一种多分支双注意力多模块卷积神经网络对多导联MI-EEG进行多尺度时间特征和空间特征的提取与整合,并基于注意力机制增强通道和空间维度的关键信息;然后,利用知识蒸馏技术及注意力损失改善增量时期解码模型持续学习新知识和保留旧知识的能力;进一步,基于最近邻法挑选少量优质旧样本进行数据回放,提升增量模型的抗遗忘性能力;最后,基于BCI Competition IV Dataset 2b公开数据集进行大量实验研究,通过可塑性和稳定性两项指标验证SILS性能。结果 SILS对第1~5阶段的数据依次取得79.21%、79.05%、89.06%、88.38%和88.47%的平均准确率,第5阶段的SILS对第1~4时段(session)数据的平均遗忘率分别为9.72%、9.10%、9.88%和6.04%。结论 SILS具有自动调整模型参数,保持持续学习和自我更新的能力,表现出很好的时间适应性和性能稳定性。

参考文献:

服务与反馈:
文章下载】【加入收藏
提示:您还未登录,请登录!点此登录
 
友情链接  
地址:北京安定门外安贞医院内北京生物医学工程编辑部
电话:010-64456508  传真:010-64456661
电子邮箱:llbl910219@126.com