基于时空特征学习Transformer的运动想象脑电解码方法

图1 数据采集的计时方案

Fig.1 Data acquisition timing scheme

图2

图2 EEG电极位置的示意图

Fig.2 Schematic diagram of EEG electrodes

1.2　FBCSP空间滤波器

为消除工频干扰，原始EEG数据通过50 Hz的陷波滤波器滤波.与运动想象相关的信息在频谱上是局部化的，大多数脑电信息出现在 $μ$ （8~12 Hz）和 $β$ （12~32 Hz）波段，而眼电噪声频率范围主要存在于较低频.为了进一步提高脑电信号的信噪比，将数据带通滤波至 $[4,40] H z$ ，并去除基线漂移、眼动、头动等伪迹干扰.因此，为了定位该鉴别信息，使用滤波器组共空间模式（FBCSP）来构建空间滤波器，通过CSP算法来改善原始信号的空间差异并保持时间信息.

CSP算法是常用的对EEG信号进行空间滤波的方法，在EEG信号的分类识别中应用广泛^［17］.CSP算法的主要目的是设计空间滤波器，将原始多维数据投影到低维空间，使滤波处理后两类数据之间的方差最大化^［18］.FBCSP算法是CSP算法的进一步扩展，能有效提取不同频带的特征.由于传统的FBCSP只适用于二分类，本文使用一对多（One Vs Rest，OVR）的分类策略来处理多分类的任务，将多类任务中的每一类都分别与其他类区分.基于FBCSP的空间滤波过程如下.

首先，FBCSP使用由Chebyshev Ⅱ型滤波器构成的滤波器组将其分解成 $b (1 \leq b \leq 9)$ 个频带的信号.例如，以带宽为4 Hz在 $[4,40] H z$ 将MI⁃EEG信号分解为4~8，8~12，12~16，…，36~40 Hz共九个频带上的信号，得到九组不同频带范围的MI⁃EEG信号.第 $b (1 \leq b \leq 9)$ 个带通滤波器得到的MI⁃EEG用 $E_{b}$ 表示，然后分别对每个频带成分计算“二分类”CSP投影矩阵 $W_{b}$ ，得到滤波器 $Z_{b} = W_{b}^{T} E_{b}$ ，每类MI任务包含 $n (n = 72)$ 个实验数据.具体过程如下：

（1）首先，计算第 $b$ 个滤波器的“两类”MI⁃EEG中每个实验的协方差矩阵：

C_{b} = \frac{E_{b} E_{b}^{T}}{t r a c e (E_{b} E_{b}^{T})}

(1)

其中， $t r a c e (X)$ 代表矩阵 $X$ 的对角线元素之和， $T$ 为转置运算符.

（2）通过一类和“剩余”类的平均协方差 $\sum_{i = 1}^{n} C_{b o, i}$ 和 $\sum_{i = 1}^{N} C_{b r, i}$ ，得到所有实验的混合空间协方差 $C_{b c}$ ：

C_{b c} = \sum_{i = 1}^{n} C_{b o, i} + \sum_{i = 1}^{N} C_{b r, i}

(2)

其中， $C_{b o}$ 为其中一类的协方差矩阵， $C_{b r}$ 为“剩余”类的协方差矩阵， $N$ 为“剩余类别”的实验数据.

（3）对混合空间协方差矩阵进行特征值分解：

C_{b c} = U_{b c} Λ_{b c} U_{b c}^{T}

(3)

其中， $U_{b c}$ 为特征向量矩阵， $Λ_{b c}$ 为特征值对角矩阵.

（4）构造白化矩阵 $P_{b}$ 和空间系数矩阵 $S_{b}$ ：

P_{b} = Λ_{b c}^{\frac{1}{2}} U_{b c}^{T}

(4)

S_{b o} = P_{b} C_{b o} P_{b}^{T}

(5)

S_{b r} = P_{b} C_{b r} P_{b}^{T}

(6)

其中， $S_{b o}$ 为其中一类的空间系数矩阵， $S_{b r}$ 为“剩余”类的空间系数矩阵.

（5）利用 $S_{b o}$ 和 $S_{b r}$ 具有的相同的特征向量构成矩阵 $B_{b}$ 对其进行分解：

S_{b o} = B_{b} Λ_{b o} B_{b}^{T}

(7)

S_{b r} = B_{b} Λ_{b r} B_{b}^{T}

(8)

其中， $Λ_{b o}$ 和 $Λ_{b r}$ 为特征值对角阵.

（6）计算投影矩阵 $W_{b}$ ，得到经过空间滤波后的脑电信号 $Z_{b}$ ：

W_{b} = (B_{b}^{T} P_{b})^{T}

(9)

Z_{b} = W_{b}^{T} E_{b}

(10)

2 模型结构

如图3所示，模型的总体框架包括四部分，分别是数据预处理、空间模块、时间模块和分类.首先对原始数据进行空间滤波处理，然后，空间模块利用点积注意力机制对特征通道进行加权，时间模块采用多头注意力机制（Multihead Attention，MHA）进行时间变换，从不同的角度感知脑电信号的全局时间依赖关系，最后使用Softmax函数进行分类^［12］.

图3

图3 模型结构

Fig.3 The architecture of our model

2.1　空间模块

该模块使用缩放的点积注意力机制对特征通道进行加权.先将输入数据分别与三个不同的权重矩阵相乘得到查询（Query）向量 $Q$ 、键（Key）向量 $K$ 和值（Value）向量 $V$ ，三个矩阵大小相同，按式（11）计算加权值. $Q$ 与 $K$ 点乘的结果除以缩放因子 $\sqrt[]{d_{k}}$ 进行归一化，通过Softmax函数，对应的就是各个通道之间的相互关联程度，然后乘上对应的矩阵 $V$ ，得到最后的加权结果，即通道加权的表示.矩阵 $Q$ 代表将用于匹配的每个通道，矩阵 $K$ 代表使用点积的所有其他通道.

A t t e n t i o n (Q, K, V) = S o f t m a x (\frac{Q K^{T}}{\sqrt[]{d_{k}}}) V

(11)

2.2　时间模块

EEG信号的时间信息对于提高运动想象脑电解码的性能至关重要.该模块采用多头注意力机制，可以从不同的角度感知脑电信号的全局时间依赖关系.为了降低计算的复杂度，对经过空间模块压缩的数据进行切片，然后分成 $h$ 个更小的部分，即头部.将各部分的输出线性变换并进行串联连接，最后将得到的注意力向量作为输出.具体如下：

\begin{array}{l} M u t i H e a d (Q, K, V) = \\ C o n c a t (h e a d_{1}, \dots, h e a d_{h}) W^{0} \end{array}

(12)

h e a d_{i} = A t t e n t i o n (Q W_{i}^{Q}, K W_{i}^{K}, V W_{i}^{V})

(13)

其中，Concat是矩阵拼接函数， $h e a d_{i}$ 是第 $i$ 个head的输出结果， $h$ 是head的个数， $W^{0}$ 是最终输出的线性变换， $W_{i}^{Q}, W_{i}^{K}, W_{i}^{V}$ 分别为 $Q$ ， $K$ ， $V$ 在第 $i$ 个head上的线性变换.

全连接前馈神经网络是对多头注意力层的输出结果进行两次线性变换和一次Gelu （Gaussian Error Linear Units）激活操作.MHA和前向反馈子层都包含一个残差链接结构，然后再做一个规范化操作作为子层的最终输出.该模型的MHA和全连接前馈模块重复三次，以获得更好的效果.为了让模型利用脑电采样之间的序列关系，即位置信息，在压缩和切片之前，利用卷积层对脑电采样之间的序列进行编码，卷积层的内核大小设为51，步长设为1.

2.3　分类输出模块

采用全局平均池化层（Global Average Pooling，GAP）来代替卷积神经网络中传统的全连接层.GAP层通过平均池化操作将时间模块输出的每个特征向量的平均值映射到一个类别标签或输出节点，连接到一个完全连接层，最后使用Softmax函数获得预测概率.

2.4　训练过程及策略

为了保证模型的稳定性，使用五折交叉验证的方法进行训练.在有限的数据集下，将每个受试者的训练集和测试集随机打乱放到一起，每个受试者有576个样本.将它们随机分为五个相等的部分，选择其中四份作为训练集，剩下的一份作为测试集对模型进行测试，得到分类准确率.最后，将得到的五个准确率取平均值作为模型的分类结果.

在Transformer的多头注意力机制中，多头数目设置为5.同时，使用Adam优化器^［4］，它是常用的优化器之一，实现简单，计算效率高，占用的内存少.经过偏置矫正后，优化器的每次迭代学习率都保持在一定范围内，使参数更稳定.选择的损失函数为交叉熵损失函数，该损失函数适用于多分类网络^［19］，如式（14）所示.交叉熵可以衡量同一随机变量中两种不同概率分布的差异，在机器学习中表现为真实概率分布与预测概率分布的差异.

L o s s = - \sum p_{i} (x) l g q_{i} (x), i = 1,2, \dots, n

(14)

其中， $p_{i} (x)$ 表示第 $i$ 个目标概率分布， $q_{i} (x)$ 表示第 $i$ 个预测概率分布.交叉熵损失值越小，模型的预测效果越好.

设置训练批次为1000次，每批次训练数据大小为64.为了得到更好的训练结果，两个模块均使用0.5的Dropout技术以防止网络过拟合和梯度爆炸，并使用GeLU函数作为激活函数，如式（15）所示：

f (x) = 0.5 x (1 + t a n h [\sqrt[]{\frac{2}{π}} (x + 0.044715 x^{2})])

(15)

2.5　评价指标

采用准确率（Accuracy，Acc）、精确率（Precision，P）、召回率（Recall，R）、F⁃score和Kappa系数（ $P_{k}$ ）等指标来评价模型性能.

准确率指通过训练集训练得到的分类模型在测试集上进行预测时，能够被正确分类的样本数与总的样本数的比值，如式（16）所示：

A c c = \frac{T P + T N}{T P + T N + F P + F N}

(16)

其中， $T P = t r u e p o s i t i v e s$ ，表示将正类预测为正类； $T N = t r u e n e g a t i v e s$ ，表示将负类预测为负类； $F P = f a l s e p o s i t i v e s$ ，表示将负类预测为正类； $F N = f a l s e n e g a t i v e s$ ，表示将正类预测为负类.

精确率是分类为真实正类样本数与分类为正类样本数之比，召回率是分类为真实正类样本数与所有真实正类样本数之比.计算式分别为：

P = \frac{T P}{T P + F P}, R = \frac{T P}{T P + F N}

(17)

F⁃score是识别率的延伸，结合了精确率和召回率，如式（18）所示：

F - s c o r e = \frac{2 \times R}{P + R}

(18)

Kappa系数用于一致性检验，也用于衡量分类精度，如式（19）所示：

P_{k} = \frac{A c c - P_{0}}{1 - P_{0}}

(19)

其中， $P_{0}$ 代表随机正确率.

3 实验结果

3.1　其他方法与结果对比

为了评估该模型在运动想象的四种分类任务上的性能，在BCI竞赛IV⁃2a公开数据集上进行对比实验，选用一些经典或前沿的基于深度学习的方法.如经典的基于深度可分离卷积构建的EEGNet网络^［20］，它设计了一种紧凑实用的具有深度和可分离卷积的CNN网络；一些前沿的网络模型包括Sakhavi et al^［21］的C2CM，引入CSP的时态表示并利用CNN体系结构进行分类；Chen et al^［22］提出滤波器组时空卷积网络FBSF⁃TSCNN，FBSF提供了仍有时间表示的中间脑电信号，并利用TSCNN对中间EEG信号进行解码；Song et al^［2］提出基于时空微型的Transformer （S3T）模型，是依靠注意力机制感知脑电信号的空间和时间特征的脑电解码方法.表1给出了本文方法与这些方法的对比实验结果，这些方法的参数和实验结果均来自文献.

表1 本文方法与其他方法测试不同受试者的正确率与Kappa系数

Table 1 Accuracy and Kappa coefficient of our method and other methods for different subjects

Subject	C2CM^[21]		S3T^[2]		EEGNet^[20]		FBSF⁃TSCNN^[22]		Our method
Subject	Acc	P_k	Acc	P_k	Acc	P_k	Acc	P_k	Acc	P_k
Average	74.46%	-	82.59%	-	64.60%	0.734	62.70%	0.720	84.16%	0.844
A01	87.50%	-	91.67%	-	79.20%	0.844	81.00%	0.858	94.50%	0.930
A02	66.28%	-	71.67%	-	33.50%	0.501	46.80%	0.601	79.76%	0.836
A03	90.28%	-	95.00%	-	84.10%	0.881	83.80%	0.878	93.70%	0.913
A04	66.67%	-	78.33%	-	50.90%	0.631	52.30%	0.642	84.39%	0.788
A05	62.50%	-	61.67%	-	54.30%	0.657	31.60%	0.486	58.67%	0.692
A06	45.49%	-	66.67%	-	47.00%	0.602	42.60%	0.569	70.80%	0.772
A07	89.85%	-	96.67%	-	82.20%	0.866	77.30%	0.830	94.14%	0.920
A08	83.33%	-	93.33%	-	73.20%	0.799	75.50%	0.816	90.88%	0.880
A09	79.51%	-	88.33%	-	77.00%	0.827	73.60%	0.802	90.67%	0.873

新窗口打开| 下载CSV

为了进一步分析本文方法对MI脑电信号的分类性能，图4给出了受试者A03，A07，A08，A09分类结果的混淆矩阵，横轴代表所用方法预测的MI类别，纵轴代表实际的MI类别，最右边颜色条的深浅程度代表分类正确率的大小，主对角线和非主对角线分别表示每个类别的正确分类和错分类到其他类别的概率.四种类别的精确率、召回率和F⁃score如图5所示.由图4可以看出，本文方法的整体性能是可信的，对于不同类别具有良好的分类能力，并且没有太多的偏差.

图4

图4 受试者A03，A07，A08，A09四种类型的MI（左手、右手、双脚、舌头）在测试集上的分类精度混淆矩阵

Fig.4 Confusion matrix of classification accuracy of subjects A03，A07，A08 and A09 on the test set of four types of MI (left，right，feet and tongue)

图5

图5 BCI竞赛IV⁃2a数据集上四种类型的MI（左手、右手、双脚、舌头）在测试集上的分类精度柱状图

Fig.5 Histogram of classification accuracy of four types of MI (left，right，feet and tongue) on test set of BCI competition IV⁃2a dataset

图6展示了本文方法对四个受试者（A03，A07，A08，A09）的训练损失和准确率，训练epoch的数量为1000.由图可见，在训练损失下降的同时精度提高，大约在前50个训练epoch中准确率快速提高，训练500个epoch左右训练损失基本稳定，证明本文方法可以很好地用于MI分类任务.

图6

图6 受试者A03，A07，A08，A09的训练损失和准确率

Fig.6 Training loss and accuracy of subjects A03，A07，A08 and A09

3.2　分类性能分析

利用t⁃SNE对不同层提取的脑电特征进行降维并可视化^［23］.图7展示了受试者A03在不同模块上的可视化结果.图7a是原始脑电信号的数据分布，图7b为空间变换后的数据分布，图7c为第一层时间变换后的数据分布，图7d为第二层时间变换后的数据分布，图7e为第三层时间变换后的数据分布.由图可见，随着网络层的不断深入，模型的分类效果越来越明显.通过第三层时间变换后，由图7e可以看出，四个类别的区分非常清晰.

图7

图7 针对受试者A03提取的脑电特征经t⁃SNE降维后的二维分量的分布情况

Fig.7 Distribution of two⁃dimensional components of EEG features extracted by subject A03 after dimension reduction by t⁃SNE

4 结论

本文利用注意力机制构建了一种基于FBCSP的时空特征学习的Transformer的运动想象脑电解码方法，可以学习数据量较少的MI⁃EEG的

特征，并取得了良好的分类精度.使用FBSCP空间滤波器对脑电信号进来滤波处理，采用缩放的点积注意力机制对通道特征进行加权，以获取信

号的空间特征，并利用多头注意力机制从不同的角度感知脑电信号的全局时间依赖关系.实验表明，与其他主流网络相比，本文提出的网络性能更优.但该网络模型的泛化能力不足，后期将从迁移学习的角度来改进网络模型以提升模型的泛能力.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

Emami

， Chau

Investigating the effects of visual distractors on the performance of a motor imagery brain-computer interface

Clinical Neurophysiology，2018，129(6)：1268-1275.

[2]

Song

Y H

， Jia

X Y

， Yang

，et al.

Transformer⁃based spatial⁃temporal feature learning for EEG decoding

2021，arXiv:.

[本文引用: 3]

[3]

李婷婷，姬东鸿.

基于SVM和CRF多特征组合的微博情感分析

计算机应用研究，2015，32(4)：978-981.

T T

， Ji

D H

Sentiment analysis of micro⁃blog based on SVM and CRF using various combinations of features

Application Research of Compu⁃ters，2015，32(4)：978-981.

[4]

Zhao

X F

， Liu

， Ma

，et al.

Deep CNN model based on serial⁃parallel structure optimization for four⁃class motor imagery EEG classification

Biomedical Signal Processing and Control，2022，72：103338.

[5]

H L

， Ding

， Zhang

R H

，et al.

Motor imagery EEG classification algorithm based on CNN⁃STM feature fusion network

Biomedical Signal Processing and Control，2022(72)：103342.

[6]

Tang

Z C

， Li

， Sun

S Q

Single⁃trial EEG classifi⁃cation of motor imagery using deep convolutional neural networks

Optik，2017(130)：11-18.

[7]

Güler

N F

， Übeyli

E D

， Güler

Recurrent neural networks employing Lyapunov exponents for EEG signals classification

Expert Systems with Applications，2005，29(3)：506-514.

[8]

Alhagry

， Fahmy

A A

， El⁃Khoribi

R A

Emotion recognition based on EEG using LSTM recurrent neural network

International Journal of Advanced Computer Science and Applications，2017，8(10)：355-358.

[9]

， Zhao

L N

， Yang

H W

，et al.

HSI⁃BERT：Hyperspectral image classification using the bidirectional encoder representation from transformers

IEEE Transactions on Geoscience and Remote Sensing，2020，58(1)：165-178.

[10]

Socher

， Pennington

， Huang

E H

，et al.

Semi⁃supervised recursive autoencoders for predicting sentiment distributions

∥Proceedings of the Conference on Empirical Methods in Natural Language Processing. Edinburgh，UK：ACL，2011：151-161.

[11]

Xin

， Liu

Y C

， Sun

C J

，et al.

Predicting polarities of tweets by composing word embeddings with long short⁃term memory

∥Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1：Long Papers). Beijing，China：ACL，2015：1343-1353.

[12]

Vaswani

， Shazeer

， Parmar

，et al.

Attention is all you need

∥Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach，CA，USA：Curran Associates Inc.，2017：6000-6010.

[13]

Sun

J Y

， Xie

， Zhou

H H

EEG classification with transformer⁃based models

∥2021 IEEE 3^rd Global Conference on Life Sciences and Technologies. Nara，Japan：IEEE，2021：92-93.

[14]

Pedoeem

， Abittan

， Yosef

G B

，et al.

TABS：Transformer based seizure detection

∥2020 IEEE Signal Processing in Medicine and Biology Symposium. Philadelphia，PA，USA，2020：1-6.

[15]

Guo

J Y

， Cai

， An

J P

，et al.

A transformer based neural network for emotion recognition and visualizations of crucial EEG channels

Physica A：Statistical Mechanics and its Applications，2022（603)：127700.

[16]

Tangermann

， Müller

， Aertsen

A R

，et al.

Review of the BCI competition IV

Frontiers in Neuroscience，2012(6)：55.

[17]

Blankertz

， Müller

K R

， Krusienski

D J

，et al.

The BCI competition III：Validating alternative approaches to actual BCI problems

IEEE Transactions on Neural Systems and Rehabilitation Engineering，2006，14(2)：153-159.

[18]

Cho

， Chang

， Song

J W

Application of instance⁃based entropy fuzzy support vector machine in peer⁃to⁃peer lending investment decision

IEEE Access，2019(7)：16925-16939.

[19]

Tortora

， Ghidoni

， Chisari

，et al.

Deep learning⁃based BCI for gait decoding from EEG with LSTM recurrent neural network

Journal of Neural Engineering，2020，17(4)：046011.

[20]

Lawhern

V J

， Solon

A J

， Waytowich

N R

，et al.

EEGNet：A compact convolutional neural network for EEG⁃based brain⁃computer interfaces

Journal of Neural Engineering，2018，15(5)：056013.

[21]

Sakhavi

， Guan

， Yan

S C

Learning temporal information for brain⁃computer interface using convo⁃lutional neural networks

IEEE Transactions on Neural Networks and Learning Systems，2018，29(11)：5619-5629.

[22]

Chen

J J

， Yu

Z L

， Gu

Z H

，et al.

Deep temporal⁃spatial feature learning for motor imagery⁃based brain⁃computer interfaces

IEEE Transactions on Neural Systems and Rehabilitation Engineering，2020，28(11)：2356-2366.

[23]

Van Der Maaten

Accelerating t⁃SNE using tree⁃based algorithms

The Journal of Machine Learning Research，2014，15(1)：3221-3245.