基于注意力机制和深度学习的运动想象脑电信号分类方法

doi:10.13232/j.cnki.jnju.2022.01.004

基于注意力机制和深度学习的运动想象脑电信号分类方法

张玮¹, 赵永虹², 邱桃荣^,¹

1.南昌大学信息工程学院，南昌，330029

2.四川开放大学工程技术学院，成都，610073

Classification of motor imagery EEG signals based on attention mechanism and deep learning

Zhang Wei¹, Zhao Yonghong², Qiu TaoRong^,¹

1.Information Engineering School of Nanchang University, Nanchang, 330029, China

2.Engineering and Technology School, The Open University of Sichuan, Chengdu, 610073, China

通讯作者: E⁃mail： qiutaorong@ncu.edu.cn

收稿日期: 2021-06-28

基金资助:

国家自然科学基金. 61662045. 61762045. 61841201

Received: 2021-06-28

摘要

脑机接口（Brain Computer Interface，BCI）作为一种新型的信息沟通与控制手段，是一个涉及神经科学、信号处理以及模式识别等多个学科的交叉研究课题.基于运动想象的BCI系统被认为是最具发展前景的一种脑机接口系统.针对基于机器学习方法构建脑电特征与运动想象之间的映射关系进行分类时，现有方法仍存在无法兼顾脑电信号的时⁃空域特征并且分类精度难以提高的问题，提出一种基于注意力机制的双向长短时记忆网络（ABiLSTM）和卷积神经网络（Convolutional Neural Network，CNN）的运动想象脑电分析方法，通过ABiLSTM和CNN相结合的方式提取更具表征性的脑电信号深层特征.综合上述研究，最终构建的ABiLSTM⁃CNN分类模型在公共数据集上取得了90.72%的平均准确率，证明ABiLSTM⁃CNN运动想象脑电信号分类模型具有很理想的分类性能.

关键词： 深度学习 ; 注意力机制 ; 双向长短时记忆 ; 卷积神经网络 ; 脑电信号 ; 运动想象

Abstract

As a new means of information communication and control，brain computer interface (BCI) is an interdisciplinary research topic involving neuroscience，signal processing and pattern recognition. The BCI system based on motor imagination is regarded as one of the most promising BCI systems. The traditional electroencephalogram (EEG) classification methods based on machine learning complete the classification task by constructing the mapping relationship between EEG features and motor imagery. However，the existing methods still have problems that cannot take into account the time⁃spatial feature of EEG signals，and the classification accuracy is difficult to improve. In this paper，a motor imagery EEG classification method is constructed based on deep learning，and through the way of combining Bi⁃directional Long Short⁃Term Memory (LSTM) based on attention mechanism (ABiLSTM) with Convolutional Neural Network （CNN） to extract more in⁃depth characteristic of EEG signals. Based on the above research，the ABiLSTM⁃CNN has achieved an average accuracy of 90.72% on EEG Motor Imagery dataset. The results show that the ABiLSTM⁃CNN motor imagery EEG signal classification model has ideal classification performance.

Keywords： deep learning ; attention mechanism ; BiLSTM ; CNN ; EEG signal ; motor imagery

PDF (711KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

张玮, 赵永虹, 邱桃荣. 基于注意力机制和深度学习的运动想象脑电信号分类方法. 南京大学学报（自然科学）[J], 2022, 58(1): 29-37 doi:10.13232/j.cnki.jnju.2022.01.004

Zhang Wei, Zhao Yonghong, Qiu TaoRong. Classification of motor imagery EEG signals based on attention mechanism and deep learning. Journal of nanjing University[J], 2022, 58(1): 29-37 doi:10.13232/j.cnki.jnju.2022.01.004

作为支配人类活动的中枢神经系统，大脑有控制运动、产生感觉及实现高级脑功能的高级中枢神经的功能^［1］，然而在当今社会中，有许多患者患有破坏与外界进行交流的神经肌肉通路的疾病，如脑干中风、肌萎缩性侧索硬化症（卢伽雷氏病）、脑瘫、脊髓损伤等闭锁综合征^［2］.对于患闭锁综合征但大脑认知功能正常的患者来说，神经肌肉通路功能丧失，无法正常控制自身肌肉活动是一件煎熬的事情^［3］.因此，研究者致力于帮助这类患者重新获得对自身肌体的控制和同外界沟通的能力，并希望由此推进人类的健康和发展.

随着脑认知科学研究的不断深入和信号处理技术的飞速发展，人们发现脑电信号（Electroencephalogram，EEG）与人类思维存在必然联系.1987年Gandevia and Rothwell^［4］的研究表明仅通过想象运动的过程就可以在对应的脑区中检测到对应的生物电信号，并且电信号也会跟随想象进行运动的肢体动作的不同而产生不同的变化，基于运动想象的脑机接口系统（Brain Computer Interface，BCI）就在此结论的基础上实现^［5］.除康复医学领域外，各国还致力于将BCI系统应用到军事、娱乐、无人驾驶、环境控制等领域^［6-7］中，并取得了令人兴奋的研究成果.

BCI系统的关键在于对脑电信号的分析和处理.为了推动BCI系统的发展，研究者们希望有一种泛化能力强、分类精度高的脑电信号分类模型^［8］.因此，如何将基于深度学习的方法应用于脑电信号分析当中，并在高度复杂的脑电信号数据中捕获更具辨识性和代表性的深层特征是今后BCI研究中极具应用价值的研究方向.

1 相关工作

1.1　基于机器学习的脑电信号分类方法

传统的脑电信号分析方法一般通过手动提取脑电信号的特征信息，然后采用机器学习的方法建立脑电信号特征和运动想象之间的映射关系^［9］.

Ye et al^［10］引入核主成分分析（Kernel Principal Component Analysis，KPCA）等方法分析脑电信号的多种熵特征，提出基于熵结合KPCA的疲劳驾驶状态识别算法.Anderson et al^［11］利用延时嵌入（Time⁃Delay Embedding，TDE）来获取脑电信号的时空间特征.Lemm et al^［12］使用共空间模式（Common Spatial Pattern，CSP）进行特征提取，配合线性判别分析算法（Linear Discriminant Analysis，LDA）完成运动想象信号分类任务，分类性能不错.Subasi and Gursoy^［13］引入主成分分析（Principal Component Analysis，PCA）以及线性判别分析等方法完成特征提取并选择支持向量机实现EEG分类，实验获得了高达98%的准确率.Alomari et al^［14］将Coiflet小波分析与不同幅度的估计器相结合，从运动想象脑电信号中提取小波系数的许多特征，分别结合支持向量机（Support Vector Machine，SVM）以及人工神经网络（Artificial Neural Network，ANN）在二分类与四分类的运动想象任务中实现了良好的分类性能.Kalavani et al^［15］将离散小波变换（Discrete Wavelet Transform，DWT）方法应用于分解脑电信号，并提取EEG信号的时频域特征配合K⁃means聚类方法用于检测大脑是否正常，测试实验中该方法得到的最高准确率为83.3%.Kim et al^［16］提出共空间模式结合线性判别分析的脑电信号分析方法，可以从空间域描述脑电信号携带的内在信息，并达到74.7%的平均准确率.

综上所述，传统的基于机器学习的脑电信号分析方法已经取得了一定的研究成果，但也展现了传统算法的局限性.传统的机器学习方法需要大量的先验知识寻找数据的特征，导致其性能不能完全适用于实时在线的BCI系统.

1.2　基于深度学习的脑电信号分类方法

深度学习（Deep Learning，DL）作为传统机器学习算法的一个新领域，具有许多传统机器算法无法比拟的优势.这类方法往往拥有自主获取数据中更具区分度的深层特征的学习能力，并得益于深层次的神经网络结构，理论上可以通过映射任意函数来解决大多数非线性数据问题.近年来，在人工智能大热的背景下，基于深度学习的方法在脑电信号分析研究领域中也逐渐得到研究者的关注.

Pinheiro et al^［17］提出一种快速傅里叶变换（Fast Fourier Transform，FFT）与ANN结合的运动想象脑电信号分类方法，通过ANN针对FFT提取的特征信息进行训练并完成分类识别任务，最终得到74.96%的平均准确率.Dose et al^［18］提出一种端到端的深层卷积神经网络实现运动想象脑电信号分类，其中的网络使用一维卷积核获取多通道脑电信号中的时⁃空域特征，该模型在基准数据集上也得到了较高的分类精度.Qiao and Bi^［19］提出一种卷积神经网络（Convolutional Neural Networks，CNN）与双向门控递归单元（Bidirectional Gated Recurrent Unit，BGRU）结合的混合模型，借助BGRU能学习上下文信息的特点从CNN提取的特征图中提取更具区分度的时⁃空域特征，实验结果表明该方法可以实现较好的脑电信号分类精度.王薇^［20］为了实现运动想象脑电信号的鲁棒分类提出基于长短时记忆网络（Long Short⁃Term Memory，LSTM）和门控循环单元（GRU）的集成网络.

随着针对脑电信号分析算法研究的不断深入，证明基于深度学习的方法在脑电信号分析问题中有极大的可行性，因此在未来的研究中深度学习和脑电信号分析间的联系会越来越紧密^［21］.

2 基于ABiLSTM⁃CNN的运动想象脑电分类模型

2.1　模型概述

传统的EEG信号特征提取往往受制于EEG信号的复杂性，提取过程尤为复杂，存在识别准确率低和泛化能力较弱的问题.与传统方法相比，CNN和基于注意力机制的双向长短时记忆网络（Bidirectional LSTM，BiLSTM）有更好的容错能力，更适合提取EEG信号的空间和时域特征.因此，本文以运动想象EEG信号中的时⁃空域特征为研究基础构建一个ABiLSTM⁃CNN运动想象信号分类模型.ABiLSTM⁃CNN网络结构由一系列不同的层组成，第一层到第四层为输入层、BiLSTM层、注意力机制层和全连接层，构成针对EEG的时域特征进行提取的ABiLSTM模块；第五层到第十层为三层卷积层和三层池化层交替出现的特征提取和下采样模块；最后将获取的抽象特征输入全连接层和Softmax分类器，完成特征融合及分类任务.整个运动想象EEG信号分类模型拓扑结构如图1所示.

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 基于ABiLSTM⁃CNN的运动想象脑电信号分类模型

Fig.1 The structure of motor imagery EEG signal classification model based on ABiLSTM⁃CNN

2.2　ABiLSTM模块

2.2.1　ABiLSTM层

得益于共享参数机制，传统循环神经网络(Rerrent Neural Network，RNN)模型的输入可以是长度不定的序列数据，但随着模型深度的不断增加，RNN往往不能很好地处理数据间的长期依赖问题.LSTM网络^［22］作为RNN的一种变体，能够解决该问题的核心在于引入记忆单元保存长期状态和历史信息，利用门控记忆单元对信息进行管理.门控记忆单元不提供额外信息，只控制信息的流动，共有三种类型：输入门、遗忘门和输出门.LSTM对信息的存储和更新由这些门控单元实现，在网络中加入门控单元是一种多层次的特征选择方式，如图2所示.门控单元中各个门和记忆单元的表达式如下：

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 LSTM cell结构示意图

Fig.2 The structure of LSTM cell

LSTM遗忘门表达式：

f_{t} = s i g m o i d (w_{f} ∙ [x_{t}, h_{t - 1}] + b_{f})

(1)

LSTM输入门表达式：

i_{t} = s i g m o i d (w_{i} ∙ [x_{t}, h_{t - 1}] + b_{i})

(2)

{\tilde{C}}_{t} = t a n h (w_{C} ∙ [x_{t}, h_{t - 1}] + b_{C})

(3)

LSTM细胞更新表达式：

C_{t} = f_{t} \times C_{t - 1} + i_{t} \times {\tilde{C}}_{t}

(4)

o_{t} = s i g m o i d (w_{o} ∙ [x_{t}, h_{t - 1}] + b_{o})

(5)

LSTM最后的输出表达式：

Y (t) = h_{t} = o_{t} \times t a n h (C_{t})

(6)

其中， ${\tilde{C}}_{t}$ 为当前输入单元状态； $i_{t}$ 表示输入门，主要负责存储输入脑电信号 $x_{t}$ 并控制输入信号 $x_{t}$ 中某一部分可存储至长期状态 $C_{t}$ 内；由 $f_{t}$ 控制的遗忘门决定长期状态 $C_{t}$ 中的信号哪些要丢弃，哪些要保留，并避免梯度随时间反向传播时引发的梯度消失问题；输出门由 $o_{t}$ 控制，负责决定长期状态 $C_{t}$ 中的特定特征信号是否应该作为输出，表示为 $Y (t)$ ，也称为 $t$ 时间点的短期状态 $h_{t}$ ， $h_{t - 1}$ 则表示上一层的短期状态； $w_{f}$ ， $w_{i}$ ， $w_{C}$ ， $w_{o}$ 分别代表遗忘门、输入门、当前输入单元状态和输出门的权重矩阵； $b_{f}$ ， $b_{i}$ ， $b_{C}$ ， $b_{o}$ 分别代表遗忘门、输入门、当前输入单元和输出门的偏置项.

LSTM网络有良好的序列建模能力，尤其是时间序列数据在沿着网络流动时，通过增加线性干预可使LSTM对信息有选择地进行添加或删减.但LSTM在处理脑电信号时还存在无法有效联系相邻通道之间信息的问题，BiLSTM网络结合前向和后向的LSTM来获取相邻采集信道之间的序列信息，在一定程度上克服了单向LSTM网络的弊端，获取了更具解释性的脑电特征信息.BiLSTM本质上属于RNN，它通过重复的链式神经元的形式在网络内部构成一个有向循环，并利用序列输入中的时间信息对脑电信号进行建模.因此，本研究使用BiLSTM替代LSTM，在解决梯度爆炸或者梯度消失的问题的同时，又充分考虑相邻信道之间的联系.

2.2.2　注意力机制

注意力机制是受人类视觉系统的启发而来，可以使神经网络具备聚焦于某种特定子集（输入或特征）的能力，在计算机视觉、自然语言处理和神经机器翻译等领域都有重要的作用.Bahdanau et al^［23］引入注意力机制，通过自上而下的信息选择机制来过滤大量的无关信息，对重要特征增加权重来衡量重要程度.在针对脑电信号的研究中并非所有特征信息的重要性都是相同的，因此在BiLSTM网络中引入注意力机制，对BiLSTM层的输出赋予不同的权值可以更好地聚焦到脑电信号的重要特征信息上，从而有效地提升模型的分类效果.

基于注意力机制的BiLSTM的最终特征 $S (t)$ ，计算过程如式（7）至式（9）所示：

u (t) = t a n h (W_{w} \times h_{t} + b_{w})

(7)

α (t) = \frac{e x p (u^{T} (t) u_{w})}{\sum_{t} e x p (u^{T} (t) u_{w})}

(8)

S (t) = \sum_{t} α (t) h_{t}

(9)

其中， $W_{w}$ ， $u_{w}$ 和 $b_{w}$ 分别表示可训练权值和偏置项， $u (t)$ 是学习特征的BiLSTM层输出 $h_{t}$ ， $α (t)$ 是权重系数经过Softmax函数归一化处理后得到的概率分布.通过概率分布 $α (t)$ 来选择和获取Bi⁃LSTM提取的特征信息 $h_{t}$ 中更重要的特征信息，最后通过特征值加权求和得到最终的特征信息.

2.2.3　全连接层

对Attention层提取的特征矩阵实现进一步特征提取整合，再通过激活函数将特征信息映射到隐层空间，以便于分类识别.具体地，将Attention层输出的特征 $S = \{S_{j}^{α}| j = 1,$

$2, \dots, n; α = 1,2, \dots, v\}$ 作为第一个全连接层的输入.其中， $v$ 表示BiLSTM层的隐藏层神经元数目，本文BiLSTM层的隐藏层神经元数设置为256.全连接层的输出如式（10）所示：

z = w_{s} \times S + b_{s}

(10)

其中，本文全连接层的输出神经元数为64， $w_{s}$ 和 $b_{s}$ 分别表示当前全连接层的权重和偏置项.

本文构建的ABiLSTM网络结构如图3所示，包括输入层、BiLSTM层、Attention层、全连接层四个部分.

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 ABiLSTM模块结构图

Fig.3 The network structure of ABiLSTM module

2.3　CNN模块

ABiLSTM⁃CNN模型巧妙地结合ABiLSTM和CNN两种网络的特点，在ABi⁃LSTM运动想象脑电信号分类模型网络中引入CNN模块来补足ABiLSTM网络无法准确学习空间特征信息的问题，提取更具表征性的抽象特征.其中，CNN模块的网络结构如图4所示.

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 CNN模块结构图

Fig.4 The network structure of CNN module

CNN模块输入的是经过BiLSTM层以及注意力机制通过加权计算后提取的64个信号采集通道以及时间片为0.4 s的运动想象任务的特征矩阵，每个输入矩阵的大小为 $64 \times 64$ ，记作 $a_{j}^{0}$ .

卷积层：第一层卷积层与输入层通过局部连接方式相连，并通过 $1 \times 5$ 卷积核对ABiLSTM模块输出的脑电信号时⁃空域特征数据进行一维空间卷积计算，且每一个卷积层的激活函数均为Leaky ReLU.其中，第一层卷积层有32个 $1 \times 5$ 的卷积核，第二层卷积层有64个 $1 \times 5$ 的卷积核，第三层有128个 $1 \times 5$ 的卷积核.根据卷积层的特点，在处理EEG数据时，数学上如式（11）所示：

a_{j}^{l} (m) = L e a k y R e L U (\sum_{i \in N_{e}} a_{i}^{l - 1} (m) \times w_{j}^{l} + b_{j}^{l})

(11)

其中， $l$ 代表卷积层在网络层数的序号， $w_{j}^{l}$ 和 $b_{j}^{l}$ 分别表示卷积核权重和偏置项.

池化层：池化层在不损失信息的前提下通过池化核在不同通道上分别以下采样的方式对特征进行压缩，通过减少网络训练参数的方式简化网络复杂度.本文在ABiLSTM⁃CNN中引入的CNN模块共含三层池化层，池化层的数学表达如式（12）所示：

a_{j}^{k} (m) = m a x (\sum_{i \in N_{e}} a_{i}^{k - 1} (m) \times w_{j}^{k} + b_{j}^{k})

(12)

其中， $k$ 代表池化层在网络中的序号， $w_{j}^{k}$ 代表第 $k$ 层池化层的第 $j$ 个池化核的权重， $b_{j}^{k}$ 表示对应的偏置项， $m a x (\cdot)$ 表示最大值池化函数.每个池化层的池化核大小为 $2 \times 2$ ，且每层池化层的池化核个数与前一层卷积层保持一致.

全连接层：本文搭建的CNN模块采用两层全连接层结构.第一个全连接层有512个输出神经元，与前后层的连接方式均为全连接；第二个全连接层有四个神经元，主要对前一层提取的特征矩阵实现进一步特征提取整合，再通过激活函数将特征信息映射到隐层空间，以便于分类识别.

输出层：实现网络的分类步骤.将时⁃空域特征信息输入分类器中完成分类步骤，具体实现过程如式（13）所示：

a^{11} (m) = S o f t m a x (\sum_{i \in N_{e}} a^{10} (m) \times w^{11} + b^{11})

(13)

其中， $w^{11}$ 和 $b^{11}$ 分别代表输出层的权重和偏置项， $a^{11} (m)$ 代表FC2层的输出， $S o f t m a x (∙)$ 为激活函数，计算过程如式（14）所示：

S o f t m a x (x_{i}) = \frac{e^{x_{i}}}{\sum_{1 \in N} e^{x_{n}}}

(14)

最后的输出为向量 $a^{11} = {[a_{0}^{11}, a_{1}^{11}, a_{2}^{11}, a_{3}^{11}]}^{T}$ ，预测分类：

g_{i} = a r g m a x (\frac{e^{a_{i}^{11}}}{\sum_{1}^{4} e^{a_{i}^{11}}})

(15)

需要说明的是，为了在训练过程中尽可能增强模型的泛化能力，提升模型的学习效率，本文提出的ABiLSTM⁃CNN模型还采用Dropout技术和 $l_{1}$ 正则化（ $l_{1}$ Regularization）来尽可能消除过拟合现象发生的风险.其中Dropout取值0.5，以50%的概率随机让部分神经元节点停止学习，以此消除神经元节点之间的联合适应性； $l_{1}$ 正则化对网络原始损失函数引入额外信息，弱化无效信息对训练过程的影响，提高模型的泛化能力.

3 实验结果与分析

3.1　实验数据集的准备

为了深入研究脑电信号的特点和验证本文提出的脑电信号分析方法的有效性，实验选用PhysioNet提供的EEG Motor Movement/Imagery Dataset（EEG⁃MID）^［24］.该数据集使用BCI2000系统记录受试者被64个电极采集的基于视觉刺激的四分类运动想象脑电信号数据，即左拳、右拳、双拳和双脚.为了方便后续实验，需要对原始数据进行重构.每次运动想象实验均持续4 s，采样率为160 Hz，即单次想象实验的采样点为640个.考虑到脑电信号的应激反应集中在标志物出现后不久的时间段，因此将此样本数据重构为多个 $64 \times 64$ 的二维矩阵，即64个信道中持续时长为0.4 s的信号，每个矩阵作为一个对应标签的样本数据.

使用一组20名受试者的数据（S1~S20，记为MID⁃a）来训练和验证提出的方法；再使用一组五名受试者的数据（S21~S25，记为MID⁃b），分别进行训练以验证ABiLSTM⁃CNN的个体适应性.对于所有实验，数据集被随机分成10个部分，其中80%是训练集，用于学习并构建最优运动想象分类模型；10%为验证集，用于对模型调整验证，构建最优网络结构；10%为测试集，用于对模型的识别准确率进行评估，验证模型的性能.所有的实验都在Windows10系统下，使用NVIDIA Quadro P4000显卡，在深度学习架构Tensorflow上实现.

3.2　ABiLSTM⁃CNN最优参数

首先针对多种基于RNN网络的脑电信号分类模型在数据集MID⁃a中进行训练和预测.MID⁃a包含20名受试者基于视觉刺激的运动想象脑电信号样本数据，其中四个模型的输入大小均为 $64 \times 64$ ，表示原始脑电信号的64个采集信道且持续时长为0.4 s的脑电信号，实验结果如图5所示.

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 四种基于LSTM改进网络的脑电信号分类准确率对比

Fig.5 Classification accuracy of EGG by different algorithms based on four improved LSTM networks

由图5可见，和单一的LSTM分类模型相比，BiLSTM分类模型通过增加后向传播单元可以有效地融合相邻通道的特征，分类准确率达到了67.56%（较LSTM提升3.99%），分类性能略优于单一的LSTM网络.然而，不论是LSTM还是BiLSTM，在引入注意力机制后均能更好地捕捉脑电信号中的局部特征，准确率得到显著提高.其中，基于注意力机制的BiLSTM分类模型的分类性能明显优于基于注意力机制的LSTM分类模型，分辨准确率达78.62%.综上所述，基于注意力机制的双向长短时记忆网络脑电信号分类模型能够通过双向LSTM网络层以及注意力机制相结合的方式，对不同特征施以不同的权重，使网络聚焦到更具有区分度的脑电信号特征中.

3.2.1　ABiLSTM隐藏层神经元

对于ABi⁃LSTM模型，隐藏层神经元数目的设置十分重要，会直接影响网络模型的分类性能.为了得到更好的分类性能，对ABiLSTM的超参数进行调整.在数据集MID⁃a中进行训练，在验证集中以分类准确率作为评价指标验证模型的分类效果，从而获得最优的网络结构.其中，为了消除复杂网络结构对模型执行效率的影响，将ABiLSTM模型隐藏层数设置为1.表1为不同隐藏层神经元数目下ABiLSTM网络的脑电信号分类准确率，其中的黑体字表示最优的三个结果.

表1 不同隐藏层神经元数目的ABiLSTM网络分类准确率

Table 1 Classification accuracy of ABiLSTM network with different number of neurons in hidden layer

Num of Cell	Epoch
Num of Cell	20	40	60	80	100
16	46.37%	48.53%	50.39%	51.01%	52.24%
32	48.85%	51.92%	55.02%	55.11%	56.43%
64	52.18%	56.11%	58.87%	60.26%	71.62%
128	56.29%	62.42%	67.08%	70.15%	71.28%
256	61.23%	71.02%	74.16%	77.27%	78.62%
512	65.36%	76.93%	77.91%	77.09%	78.73%
1024	74.21%	77.65%	79.52%	78.23%	79.33%

新窗口打开| 下载CSV

由表可见，不同的隐藏层神经元数目对ABi⁃LSTM网络运动想象EEG数据分类准确率的影响，增加BiLSTM模型的隐藏层神经元数可以获得更高的精度，即神经元数目与分类准确率正相关.但值得注意的是，当隐藏层神经元数目超过256个时，模型的计算量会增大，运行时间也变长，而且更容易造成模型复杂性的增加导致的过拟合问题.因此，为了兼顾分类性能与算法的执行效率，本研究采用256个隐藏神经元来构建ABiLSTM网络.

3.2.2　注意力层神经元

除了隐藏层神经元外，注意力层的神经元个数同样对ABiLSTM网络的分类性能及模型效率存在影响.为了找到ABi⁃LSTM网络的最优注意力层神经元数，用不同神经元数的ABiLSTM网络在数据集MID⁃a上进行训练，在验证集中进行预测.以分类准确率为评价指标，表2给出了注意力层神经元数目不同时ABiLSTM网络的脑电信号分类准确率，表中黑体字是最优结果.

表2 不同注意力层神经元数目的ABiLSTM模型分类准确率

Table 2 Classification accuracy of ABiLSTM with different number of neurons in attention layer

Num of Cell	Epoch
Num of Cell	20	40	60	80	100
4	57.03%	65.50%	72.90%	74.61%	76.80%
8	61.23%	71.02%	74.16%	77.27%	78.62%
16	57.24%	68.52%	72.61%	74.32%	73.56%
32	57.64%	65.45%	71.28%	74.29%	76.01%
64	59.09%	66.53%	70.65%	73.34%	75.39%
128	55.21%	64.19%	69.33%	73.84%	72.73%
256	55.54%	63.41%	68.45%	71.63%	72.28%

新窗口打开| 下载CSV

由表可见，不同注意力层神经元数目对ABi⁃LSTM脑电信号分类模型分类准确率的影响.对于不同注意力层神经元数目的ABiLSTM脑电信号分类模型，在相同数据集下训练的注意力层神经元数目为8的ABiLSTM脑电信号分类模型在验证集中的分类准确率达78.62%，明显优于其他模型，且更少的神经元数也意味着更少的网络参数和更快的执行效率.因此，本文采用256个隐藏层神经元、8个注意力层神经元为超参数，以此构建ABiLSTM运动想象脑电信号分类模型.

3.2.3　CNN模块卷积层的层数与卷积核

卷积层和池化层作为CNN网络的重要组成部分，主要对输入数据进行特征提取及特征降维.特征提取过程对后续分类步骤有至关重要的作用，因此卷积层以及池化层的层数设置会直接影响网络模型的分类性能.为了得到更好的分类性能，本实验针对CNN网络模块中的最优网络结构组合进行调参：首先，分别使用一至五层卷积来构建CNN网络，同时分别针对不同卷积层数的CNN网络使用四种尺寸的卷积核在数据集MID⁃a中进行训练，在验证集中以分类准确率作为评价指标验证模型的分类效果，从而获得最优的网络结构.表3给出不同拓扑结构下CNN网络模型在数据集MID⁃a的单次训练分类准确率，表中黑体字为最优的两个结果.

表3 不同卷积层数的ABiLSTM⁃CNN的分类准确率

Table 3 Classification accuracy of ABiLSTM⁃CNN with different convolution layers

卷积层数	卷积核大小
卷积层数	$1 \times 3$	$1 \times 5$	$1 \times 7$	$1 \times 9$
1	83.12%	83.35%	83.24%	83.09%
2	84.75%	85.10%	85.47%	86.33%
3	88.82%	89.24%	89.35%	88.67%
4	88.48%	88.96%	87.61%	88.02%
5	87.34%	86.84%	87.80%	87.73%

新窗口打开| 下载CSV

由表可见，卷积层数为3时模型的分类效果最佳，且卷积核大小为 $1 \times 5$ 的模型与卷积核大小为 $1 \times 7$ 的模型的分类准确率仅相差0.11%.卷积核的作用在于对特征的提取，更大的卷积核意味着更大的感受野，但伴随的是更多的参数与计算量的增加，因此，在符合精度要求的情况下，网络结构应尽可能紧凑.综上所述，为了减少计算量，提升网络效率，本研究采用三层卷积核大小为 $1 \times 5$ 的卷积层与三层池化核大小为 $2 \times 2$ 的池化层相互叠加，并在最后添加两层全连接层以完成特征整合和脑电信号分类.

3.3　对比实验

进一步探索空间与时间特征对运动想象脑电信号分类性能的影响.使用ABi⁃LSTM⁃CNN网络模型结构在公共数据集MID⁃a中进行训练，并分别在测试集中进行五次预测实验，实验结果如表4所示.同时，针对同样的训练集和测试集，分别将ABiLSTM⁃CNN分类模型以及四种现有分类方法应用于MID⁃a的20名受试者的运动想象EEG数据，最终得到的分类准确率对比如表5所示，可见该方法的结果最优（黑体字）.

表4 ABiLSTM⁃CNN在MID⁃a上的分类准确率、精确率、召回率和F1 score

Table 4 Classification accuracy,Precision,Recall and F1 score of ABiLSTM⁃CNN on MID⁃a dataset

编号	Accuracy	Precision	Recall	F1⁃score
平均	90.52%	90.35%	90.56%	90.46%
1	89.05%	88.40%	89.96%	89.17%
2	92.81%	92.31%	92.07%	92.19%
3	90.24%	90.39%	90.04%	90.21%
4	91.31%	91.12%	91.68%	91.40%
5	89.21%	89.53%	89.07%	89.30%

新窗口打开| 下载CSV

表5 ABiLSTM⁃CNN与对比算法在MID⁃a上的分类准确率对比

Table 5 Classification accuracy of ABiLSTM⁃CNN and other algorithms on MID⁃a dataset

	特征提取	分类器	平均准确率
Kalaivani et al^[15]	DWT	K⁃means	72.60%
Pinheiro et al^[17]	FFT	ANN	74.96%
Alomari et al^[14]	Coif4+IEEG	ANN	71.6%
Wang^[20]	—	Em⁃RNN	88.27%
Ours	—	ABiLSTM	78.62%
Ours	—	ABiLSTM⁃CNN	90.52%

新窗口打开| 下载CSV

由表4和表5可见，ABiLSTM⁃CNN的分类准确率比ABiLSTM模型提升了11.9%，说明基于注意力机制的BiLSTM网络可以改进CNN脑电信号分类模型的有效性，证明利用ABiLSTM和CNN两种网络相结合的脑电信号特征提取方法能分别从时域特征和空间特征两个方面准确地描述运动想象脑电信号.同时，ABiLSTM⁃CNN脑电信号分类模型的分类性能也明显优于基于机器学习的分类方法，分类准确率比Wang的基于集成学习的Em⁃RNN高2.25%.结合模型结构和实验结果分析可知：和其他脑电信号分类方案相比，ABiLSTM⁃CNN充分了利用运动想象脑电信号的时⁃空域特性，不需要手动进行特征提取，便可以实现端到端的训练实验，能更准确地描述脑电信号蕴含的深层信息，从而得到更精确的分类结果.

最后，为了验证ABiLSTM⁃CNN模型的实际分类性能，分别针对单一实验对象S21~S25的运动想象数据集进行训练，得到各自的ABiLSTM⁃CNN模型，在测试集上完成预测.取80%的样本数据作训练集，10%的样本数据为验证集，10%的样本数据为测试集，实验结果如表6所示.

表6 ABiLSTM⁃CNN在MID⁃b上的分类准确率、精确率、召回率和F1 score

Table 6 Classification accuracy,Precision,Recall and F1 score of ABiLSTM⁃CNN on MID⁃b dataset

编号	Accuracy	Precision	Recall	F1⁃score
平均	89.96%	89.97%	89.73%	89.85%
S21	89.05%	89.20%	89.32%	89.26%
S22	91.43%	91.06%	91.06%	91.06%
S23	93.62%	92.33%	92.08%	92.20%
S24	85.48%	86.30%	86.11%	86.20%
S25	90.24%	90.96%	90.06%	90.51%

新窗口打开| 下载CSV

由表6可知，在大部分情况下ABiLSTM⁃CNN都保持了良好的分类性能，即使是针对噪声干扰较大的受试者S24的数据集进行训练时，各项指标也保持了良好的识别效果.由此可以证明，ABiLSTM⁃CNN分类模型在一定的噪声干扰下仍然能保持良好的表现，具有良好的鲁棒性.

4 结论

本文以运动想象脑电信号的时⁃空域特征为研究基础，将CNN和基于注意力机制的BiLSTM应用于脑电信号的特征提取，提出一种通过结合基于注意力机制的BiLSTM和CNN网络的运动想象脑电信号分类方法.具体地，首先通过ABi⁃LSTM网络从数据集提取原始脑电信号的时域特征，并生成时域特征矩阵；其次，将时域特征矩阵作为CNN模块的输入，通过卷积运算和池化降维的方式提取相关的空域特征，构成时⁃空域特征矩阵；最后，添加分类层对提取的特征进行分类.本文构建的ABiLSTM⁃CNN通过深度学习的方式避免了复杂的特征提取过程，实现了端到端的训练过程，并具有良好的鲁棒性以及优秀的泛化能力，在公共数据集上取得了90.72%的平均准确率，分类性能优于现有方法.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

Son

，Ku

. Development of brain computer interface based action observation program with functional electrical stimulation device (FES)∥2019 7^th International Winter Conference on Brain⁃Computer Interface. Gangwon，Korea (South)：IEEE，2019：1-2.