一种新型结合下肢动觉运动想象和视觉运动想象的脑机接口

图1 实验总体方案

Fig.1 The overall scheme of the experiment

从12名招募者中选取MIQ⁃R得分较高的八名被试参加实验1，以KMI方式执行屈膝和伸膝想象，分别以KMI，VMI和VKMI方式执行行走想象，采集5导联EEG数据进行离线分析以获得分类精度.根据实验1的分类精度和问卷调查，从八名被试中选取六名表现较好的被试进行实验2，要求被试以不同方式想象（KMI，VMI，VKMI）行走，对采集的64导联EEG数据进行溯源分析以得到脑激活程度差异，结合实验1的分类结果，选择最佳的想象行走实验范式.招募的12名被试均参与实验3（包含实验1的八名和实验2的六名），采集5导联EEG，在线测试离线实验选择的实验范式（本研究选择VKMI），计算分类精度、Kappa系数和信息传输率.

实验过程中，首先对选择的被试进行运动想象相关的较详细的科普；实验之前对被试进行VKMI的训练；每次训练完成后询问被试对执行任务的理解和执行时的操作和状态，若有理解错误或者执行偏差，就及时进行矫正.经过多轮的训练和执行矫正，达到被试执行正确的目的.

1.2.2　实验范式

1.2.2.1　实验1运动想象任务和时序

实验1中，八名被试分别进行三组实验.如图2a所示，每组实验首先执行屈膝和伸膝的KMI各20个trials，然后分别以KMI，VMI，VKMI方式执行行走想象各20个trials，执行VMI时提示为步行时的动图.每个trial的时序如图2b所示.每组实验约20 min，实验之间休息20 min，实验总时长100 min.

图2

图2 实验1的运动想象任务和时序：(a)运动想象任务；(b) 一个trial的时序

Fig.2 The MI tasks and timing of experiment 1：(a) MI task，(b) a trial timing

1.2.2.2　实验2想象任务和时序

实验2中，六名被试分别以VMI，KMI和VKMI方式执行行走想象各20个trials.在执行VMI时提示为步行时的动图，如图3a所示，每个trial的时序如图3b所示，实验时长约为20 min.

图3

图3 实验2的运动想象任务和时序：(a)运动想象任务；(b) 一个trial的时序

Fig.3 The MI task and timing of experiment 2：(a) MI task，(b) a trial timing

1.2.2.3　实验3流程和时序

离线分析实验1和实验2采集的数据，比较并选择实验范式，在实验3进行测试，测试流程和时序如图4所示，包括训练模型、匹配模型和在线测试.由图可见，训练模型时12名被试以KMI方式执行想象屈膝和伸膝各10个trials，以VKMI方式执行想象行走10个trials；然后提取EEG特征，训练六个分类模型（详见1.4.3）；在模型匹配时，以KMI方式执行屈膝与伸膝各两个trials，以VKMI执行想象行走一个trial，由模型的识别结果来选择最佳模型进行测试.选择出最佳模型后，每名被试以KMI方式执行想象屈膝和伸膝各五个trials，以VKMI方式执行想象行走五个trials，在想象结束输出指令.

图4

图4 实验3的流程及其实验范式

Fig.4 The process of experiment 3 and experimental paradigm

1.3　数据采集

被试进行三次EEG数据采集.实验1和实验3采用16导联EEG信号放大设备（Mipower⁃UC，EEG Collection_V2，清华大学神经工程实验室），采样率为1000 Hz，记录电极为C3，Cz，C4，FP1和FP2^［17］.实验2采用64导联EEG信号放大设备（Neuroscan SynAmps2，Charlotte，NC，USA），采样率为500 Hz，记录电极为国际标准64导联.所有实验接地电极均为Apz，参考电极均为Cz.

1.4　数据处理

1.4.1　离线分类 1.4.1.1　特征提取

首先截取实验1中3 s的MI数据，采用巴特沃斯带通（8~30 Hz）滤波器对截取的数据进行滤波，然后按式（1）提取EEG信号的包络线：

F (t) = \frac{d x (t)}{d t}

(1)

其中， $x (t)$ 为EEG信号， $F (t)$ 为所求的包络线^［18］.接着按式（2）计算包络线的L1范数：

‖L‖ = \sum_{t = 0}^{n} F (t)

(2)

其中， $‖L‖$ 为所求L1范数值.左右大脑半球导联信号包络线的L1范数值之和分别为L₁和L₂，按式（3）相减作为特征Y：

Y = L_{1} - L_{2}

(3)

中线通道按式（1）和式（2）提取特征.

1.4.1.2　分类方法

提取特征后，离线采用朴素贝叶斯分类器进行分类，在线采用朴素贝叶斯、二次线性判别分析和决策树分类.

(1)朴素贝叶斯分类器（NBC）：NBC在给定的训练集上学习从输入到输出的联合概率分布模型.首先定义脑电特征集 $X = \{x_{i}\}$ ，X为特征提取部分的特征，按式（4）求出后验概率最大的输出类别集合 $Y = \{y_{i}\}$ ^［19］：

P_{p o s t} = P (Y| X) = \frac{P (Y) \prod_{i = 1}^{d} P (x_{i}| Y)}{P (x)}

(4)

其中，P_post为后验概率， $P (x)$ 为脑电特征集的联合概率.在比较后验概率时，由于 $P (x)$ 恒定，故只比较分子，测试样本数据属于类别y_i 的计算为：

P (y_{i}| x_{1}, x_{2}, \dots, x_{d}) = \frac{P (y_{i}) \prod_{j = 1}^{d} P (x_{j}| y_{i})}{\prod_{j = 1}^{d} P (x_{j})}

(5)

(2)二次线性判别分析（QDA）:QDA用训练数据集确定判别函数中待定系数与判别指标，据此判别样本属于哪一类^[20].可以把QDA建模为多变量高斯分布模型，定义本次实验的类别数 $k = 3$ ，p为特征的数量，即特征集X的维数， $X = \{x_{1}, x_{2}, \dots, x_{p}\}$ 为脑电特征集，Σ为类别k的协方差矩阵，μ_k 为X和第k类的特征向量距离的平方，概率密度按式(6)计算:

\begin{array}{l} P (X| y = k) = \\ \frac{1}{{(2 π)}^{p / 2} {|Σ_{k}|}^{1 / 2}} e x p (- \frac{1}{2} {(X - μ_{k})}^{T} {Σ_{k}}^{- 1} (X - μ_{k})) \end{array}

(6)

其中， $P (X| y = k)$ 为三类MI的先验概率.之后，QDA判别系数按式（7）计算：

\begin{array}{l} d_{k} = \frac{1}{2} l n |Σ| - \frac{1}{2} X^{T} Σ^{- 1} X + {μ_{k}}^{T} Σ^{- 1} X - \\ \frac{1}{2} {μ_{k}}^{T} Σ^{- 1} {μ_{k}}^{T} + l n P_{k} \end{array}

(7)

(3)决策树：首先定义脑电数据集为S根节点，目标属性即分类类别c有三种，则信息熵按式（8）计算；之后定义A为脑电特征集，采用信息增益来划分决策树节点，信息增益为划分节点前后信息熵的差值，信息增益IG由式（9）计算^［21］：

H (S) = H (p_{1}, p_{2}, \dots, p_{c}) = - \sum_{i = 1}^{c} p_{i} l o g_{2} p_{i}

(8)

I G (S, A) = H (S) - H_{A} (S)

(9)

以上计算均基于Matlab 2019a（Mathworks，美国）实现.

1.4.2　离线溯源分析

使用LORETA软件.首先采用实验1的滤波方法对实验2的EEG数据进行滤波，然后导入LORETA，对六个被试以毫秒为单位统计布罗德曼（Broadmann）分区数据.

1.4.3　在线系统测试

采用Matlab 2019a结合E⁃prime3.0（Psychology Software Tools，美国）构建在线系统，数据传输采用TCP/IP协议.

为了提高系统的准确性并减小时间漂移，实验3提取每个trial 90%的数据点和全部数据点（两个数据点集）训练模型以减缓因被试的反应时间带来的影响.在线训练模型阶段，采用时空开销较小的朴素贝叶斯分类器、二次线性判别和决策树，在两个数据点集上分别训练得到两个分类模型，共六个模型.匹配模型阶段，通过在线反馈的分类结果与真实的运动想象意图标签（KMI屈膝、KMI伸膝和VKMI行走）相比较以计算准确率，由准确率选择一个最优的分类模型，并按照图4进行在线系统测试.

2 结果

2.1　离线分类结果

实验1中八名被试（S1~S8）进行三组实验：第1组实验，以KMI方式分别进行屈膝、伸膝和行走，三分类；第2组实验，以KMI方式分别进行屈膝和伸膝，VMI行走，三分类；第3组实验，以KMI方式分别进行屈膝和伸膝，VKMI行走，三分类.实验的分类精度如表1所示.第1组、第2组和第3组实验的平均准确率分别为69.4%±0.12%，70.38%±26.9%和71.21%±0.19%.

表1 三组实验的离线分类精度

Table 1 Offline classification accuracy of three groups of experiments

被试	第1组实验	第2组实验	第3组实验
S1	93%	83%	70%
S2	63%	56.7%	63%
S3	63%	76.7	80%
S4	86.7%	83.8%	90%
S5	46.7%	73.3%	76.7%
S6	90%	80%	76.7%
S7	53.3%	46.7%	53.3%
S8	60%	63.3%	60%
Mean	69.4%	70.38%	71.21%
SD	0.12	26.9	0.19

新窗口打开| 下载CSV

2.2　溯源分析结果

对实验2采集到的EEG数据进行溯源分析，以布罗德曼分区的4，5，6，7和8区（这些大脑分区均与运动有关，5和7区为体感皮层，4，6和8区为运动皮层）为参考.以KMI，VMI和VKMI三种方式想象行走期间激活的布罗德曼分区总数分别为19，25和26；分区4，5，6，7和8在KMI，VMI和VKMI期间激活持续时间占比分别为65.24%，73.07%和72.41%，如表2所示.

表2 以三种方式想象行走期间激活脑区数量和4~8区激活持续时间占比

Table 2 Number of activated brain areas and active duration of areas 4 to 8 by three ways of walking imagery

类型	激活脑区数量	4、5、6、7和8区激活持续时间占比
KMI	19	65.24%
VMI	25	73.07%
VKMI	26	72.41%

新窗口打开| 下载CSV

图5a显示VKMI行走期间在4，6和8区（运动皮层）的激活持续时间占比高于VMI行走期间，在5和7区（视觉⁃运动体感联合皮层）的激活持续时间占比高于KMI行走期间.图5b、图5c和图5d分别显示以KMI，VMI和VKMI方式行走想象期间布罗德曼分区激活持续时间占比.

图5

图5 溯源分析结果：(a) 不同运动想象方式期间脑区激活持续时间占比；(b) 以KMI方式行走想象期间布罗德曼分区激活持续时间占比；(c) 以VMI方式行走想象期间布罗德曼分区激活持续时间占比；(d) 以VKMI方式行走想象期间布罗德曼分区激活持续时间占比

Fig.5 Source analysis results：(a) Proportion of brain activation duration at different ways of imagination；(b) Proportion of Brodmann area activation duration during walking with KMI；(c) Proportion of Brodmann area activation duration during walking with VMI；(d) Proportion of Brodmann area activation duration during walking with VKM

图6a、图6b和图6c分别显示六名被试在KMI，VMI和VKMI下的脑激活图.可以看出被试之间个体差异较小.

图6

图6 六名被试的大脑激活图

Fig.6 Brain activation map of six subjects

2.3　在线测试结果

根据离线分类准确率和溯源所得脑区激活持续时间占比选择较好的第3组运动想象实验（以KMI方式分别进行屈膝和伸膝，VKMI方式行走，三分类）进行在线测试.按式（10）和式（11）分别计算ITR^［22］和Kappa系数^［23］：

\begin{array}{l} I T R = \\ [l o g_{2} N + P l o g_{2} P + (1 - P) l o g_{2} \frac{(1 - P)}{(N - 1)}] \cdot \frac{60}{t_{s} + t_{b}} \end{array}

(10)

其中，N为类别数，P为分类准确率，t_s 为执行MI时间，t_b 为输出指令时间.

K a p p a = \frac{P_{o} - P_{e}}{1 - P_{e}}

(11)

其中，P_o 为分类准确率，P_e 为随机分类准确率.

表3为12名被试的在线准确率、ITR和Kappa系数，其中最高准确率为86.7%，最低为53.3%，平均分类准确率达到63.29%±0.09%；ITR最高可达17.24，最低为2.37，平均为5.73±3.93；Kappa系数最高为0.8，最高为0.3，平均为0.45±0.13.

表3 12名被试运动想象（以KMI方式分别进行屈膝和伸膝，VKMI方式行走，三分类）的在线准确率、ITR和Kappa系数

Table 3 Online accuracy，ITR and Kappa coefficients of 12 subjects' motor imagery (knee flexion and extension with KMI and walking with VKMI, 3 classes)

被试	准确率	ITR	Kappa
S1	66.7%	6.49	0.5
S2	60%	4.17	0.4
S3	60%	4.17	0.42
S4	60%	4.17	0.4
S5	86.7%	17.24	0.8
S6	66.7%	6.49	0.5
S7	66.7%	6.49	0.51
S8	53.3%	2.37	0.3
S9	53.3%	2.37	0.3
S10	60%	4017	0.38
S11	66.7%	6.49	0.5
S12	60%	4.17	0.4
Mean	63.29%	5.73	0.45
SD	0.09	3.93	0.13

新窗口打开| 下载CSV

3 讨论

由于VMI与KMI的心理活动过程不同，VMI激活的脑区及其强度与KMI也不同.与VMI相比，KMI激活相关脑区的强度较大，可能是因为KMI任务的难度比VMI大，需要更多的神经元参与.有研究表明，以KMI方式想象伸髋、伸屈膝和伸踝对缺血性脑卒中偏瘫患者下肢运动功能障碍康复训练（在开始站立之前）的效果优于VMI方式^［24］.因此，本实验设计要求被试以KMI方式想象屈膝和伸膝.此外，在设计实验范式时，有的研究没有考虑KMI和VMI激活脑区的差异，所以没能利用KMI和VMI各自的优势.因此，本研究将KMI和VMI相结合，提出VKMI范式.由于不同想象方式的脑激活程度不同，所以在实验2中比较了三种不同方式的想象行走.

在实验2中，通过溯源分析比较了KMI，VMI和VKMI三种不同想象方式下脑区激活数量与激活程度.在想象行走期间，VKMI方式在运动皮层的激活持续时间占比高于VMI方式，在体感皮层的激活持续时间占比高于KMI方式，所以VKMI可能更有利于促进这些脑区的可塑性，对下肢运动功能障碍的康复训练有益.值得注意的是，对于VMI激活的是哪些脑区尚无明确定论，一些研究发现KMI主要激活运动区及其顶叶，而VMI的激活区域在枕叶和上顶叶^［25-26］；另有研究发现KMI与VMI激活的区域在顶叶的重叠度很高^［27］，但还有研究得出了不同的结果^［28］.本研究采用64导溯源分析，得到了与唐万等^［23］相似的结果.在实验1和实验3中，还构建了少导联的BCI系统，结果表明其分类准确率优于单一VMI或KMI，而且，采用导联数较少，有利于系统的便携性和实用化.同时，通过图6的大脑激活图可以看出，六名被试之间的差异性较小.

本研究存在的问题：基于EEG的溯源分析混合范式下脑区的激活分布和强度可能有误差，需要结合空间分辨率高的fMRI深入探查；12名被试少导联在线测试得到的三分类平均准确度为63.29%±0.09%，分类精度不高.

当前具体解码下肢运动的研究较少，也没有统一的指标或标准来衡量系统的优劣性，这导致没有参照系统来形成对比.Liu et al^［29］在下肢康复系统中采用想象左右脚运动来重塑患者运动功能的策略，所得平均Kappa系数为0.34，本研究所得平均Kappa系数为0.45，

未来的工作：（1）为了进一步完善下肢KMI与VMI混合的BCI范式，拟采用fMRI^［25］对VKMI步行想象期间的脑激活进行深入分析；

（2）为了提高在线系统的分类精度和快速性，拟采用元学习与生成式对抗网络相结合的方法对小样本提取特征.

4 结论

与传统单一的KMI范式和单一的VMI范式不同，本研究针对下肢MI，提出了一种VMI与KMI相结合的混合BCI范式.通过溯源分析表明，在想象行走期间，VKMI方式在运动皮层的激活持续时间占比高于VMI方式，在体感皮层的激活持续时间占比高于KMI方式，VKMI可能更有利于促进这些脑区的可塑性.此外，通过构建的少导联在线系统测试表明，混合BCI范式三分类平均准确度达到了63.29%±0.09%，需要进一步提高，这也是未来的工作.期望本研究为下一步研发下肢运动功能障碍康复训练BCI系统提供启发.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

Blankertz

， Tangermann

， Müller

K R

BCI Applications for the General population

∥Brain⁃Computer Interfaces：Principles and Practice. Oxford：Oxford University Press，2012.

[2]

Patel

N S

， Hughes

D E

Revolutionizing human⁃computer interfaces

Interactions，2012，19(1)：34-37.

[3]

田贵鑫，陈俊杰，丁鹏，等.

脑机接口中运动想象的执行与能力的评估和提高方法

生物医学工程学杂志，2021，38(3)：434-446.

Tian

G X

， Chen

J J

， Ding

，et al.

Execution,assessment and improvement methods of motor imagery for brain⁃computer interface

Journal of Biomedical Engineering，2021，38(3)：434-446.

[4]

Pichiorri

， Morone

， Petti

，et al.

Brain–computer interface boosts motor imagery practice during stroke recovery

Annals of Neurology，2015，77(5)：851-865.

[5]

Ramos‐Murguialday

， Broetz

， Rea

，et al.

Brain–machine interface in chronic stroke rehabilitation：A controlled study

Annals of Neurology，2013，74(1)：100-108.

[6]

Gomez⁃Rodriguez

， Peters

， Hill

，et al.

Closing the sensorimotor loop：Haptic feedback facilitates decoding of motor imagery

Journal of Neural Engineering，2011，8(3)：036005.

[7]

R R

， Zheng

M X

， Li

，et al.

Motor imagery based brain⁃computer interface control of continuous passive motion for wrist extension recovery in chronic stroke patients

Neuroscience Letters，2020(718)：134727.

[8]

Bobrova

E V

， Reshetnikova

V V

， Frolov

A A

，et al.

Use of imaginary lower limb movements to control brain–computer interface systems

Neuroscience and Behavioral Physiology，2020，50(3)：585-592.

[9]

Allison

B Z

， Dunne

， Leeb

，et al. Towards practical brain⁃computer interfaces：Bridging the gap from research to real⁃world applications. Berlin：Springer，2013：131-148.

[10]

Neuper

， Scherer

， Reiner

，et al.

Imagery of motor actions：Differential effects of kinesthetic and visual⁃motor mode of imagery in single⁃trial EEG

Cognitive Brain Research，2005，25(3)：668-677.

[11]

Feng

Z Q

， He

Q H

， Zhang

J N

，et al.

A hybrid BCI system based on motor imagery and transient visual evoked potential

Multimedia Tools and Applications，2019，79(2)：10327-10340.

[12]

Lee

M H

， Kwon

O Y

， Kim

Y J

，et al.

EEG dataset and OpenBMI toolbox for three BCI paradigms：An investigation into BCI illiteracy

GigaScience，2019，8(5)：giz002.

[13]

Kosmyna

， Lindgren

J T

， Lécuyer

Attending to visual stimuli versus performing visual imagery as a control strategy for EEG⁃based brain⁃computer interfaces

Scientific Reports，2018(8)：13222.

[14]

Chholak

， Niso

， Maksimenko

V A

，et al.

Visual and kinesthetic modes affect motor imagery classification in untrained subjects

Scientific Reports，2019，9(1)：9838.

[15]

Malouin

， Richards

C L

， Jackson

P L

，et al.

The kinesthetic and visual imagery questionnaire (KVIQ) for assessing motor imagery in persons with physical disabilities：A reliability and construct validity study

Journal of Neurologic Physical Therapy，2007，31(1)：20-29.

[16]

Hall

C R

， Martin

K A

Measuring movement imagery abilities：A revision of the Movement Imagery Questionnaire

Journal of Mental Imagery，1997，21(1-2)：143-154.

[17]

Koizumi

， Ueda

， Nakao

Development of a cognitive brain⁃machine interface based on a visual imagery method

∥2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Honolulu，HI，USA：IEEE，2018：1062-1065.

[18]

Bucci

， Galderisi

Physiologic basis of the EEG signal

∥Boutros N，Galderisi S，Pogarell O，et al. Standard electroencephalography in clinical psychiatry：A practical handbook. Hoboken，NJ，USA：John Wiley & Sons，Ltd，2011.

[19]

Domingos

， Pazzani

On the optimality of the simple bayesian classifier under zero⁃one loss

Machine Learning，1997，29(2-3)：103-130.

[20]

De'ath

， Fabricius

K E

Classification and regression trees：A powerful yet simple technique for ecological data analysis

Ecology，2000，81(11)：3178-3192.

[21]

Hermans

， Zomeren

B V

， Raatgever

J W

，et al.

Use of posterior probabilities to evaluate methods of discriminant analysis

Methods of Information in Medicine，1981，20(4)：207-212.

[22]

Wolpaw

J R

， Birbaumer

， Heetderks

W J

，et al.

Brain⁃computer interface technology：A review of the first international meeting

IEEE Transactions on Rehabilitation Engineering，2000，8(2)：164-173.

[23]

唐万，胡俊，张晖，等.

Kappa系数：一种衡量评估者间一致性的常用方法

上海精神医学，2015，27(1)：62-67.

Tang

， Hu

， Zhang

，et al.

Kappa coefficient：A polular measure of rate agreement

Shanghai Archives of Psychiatry，2015，27(1)：62-67.

[24]

钟林

知觉运动想象与视觉运动想象对脑梗死偏瘫患者下肢运动功能恢复的影响比较

中国临床新医学，2017，10(6)：537-539.

Zhong

A comparative study on lower limb motor function in the patients with cerebral infarction hemiplegia between kinesthetic motor imagery and visual motor imagery

Chinese Journal of New Clinical Medicine，2017，10(6)：537-539.

[25]

Guillot

， Collet

， Nguyen

V A

，et al.

Brain activity during visual versus kinesthetic imagery：An fMRI study

Human Brain Mapping，2009，30(7)：2157-2172.

[26]

Kilintari

， Narayana

， Babajani⁃Feremi

，et al.

Brain activation profiles during kinesthetic and visual imagery：An fMRI study

Brain Research，2016：249-261.

[27]

Hardwick

R M

， Caspers

， Eickhoff

S B

，et al.

Neural correlates of action：Comparing meta⁃analyses of imagery，observation，and execution

Neuroscience & Biobehavioral Reviews，2018(94)：31-44.

[28]

Yadav

， Yadav

， Veer

A comprehensive assessment of Brain Computer interfaces：Recent trends and challenges

Journal of Neuroscience Methods，2020(346)：108918.

[29]

Liu

， Chen

W H

， Lee

，et al.

An EEG⁃based brain⁃computer interface for gait training

∥2017 29^th Chinese Control and Decision Conference. Chongqing，China：IEEE，2017：6755-6760.