基于EEG脑网络下肢动作视觉想象识别研究

doi:10.13232/j.cnki.jnju.2020.04.015

基于EEG脑网络下肢动作视觉想象识别研究

李昭阳¹^,², 龚安民⁴, 伏云发^,¹^,²^,³

1.昆明理工大学信息工程与自动化学院，昆明，650500

2.昆明理工大学脑认知与脑机智能融合创新团队，昆明，650500

3.云南省计算机技术应用重点实验室，昆明，650500

4.中国人民武装警察部队工程大学信息工程学院，西安，710078

Identification of visual imagery of movements involving the lower limbs based on EEG network

Li Zhaoyang¹^,², Gong Anmin⁴, Fu Yunfa^,¹^,²^,³

1.School of Information Engineering and Automation，Kunming University of Science and Technology，Kunming，650500，China

2.Brain Cognition and Brain⁃Computer Intelligence Fusion Innovation Team，Kunming University of;Science and Technology，Kunming，650500，China

3.Yunnan Provincial Key Laboratory of Computer Technology Applications，Kunming，650500，China

4.School of Information Engineering，Engineering University of PAP，Xi'an，710078，China

通讯作者: E⁃mail：fyf@ynu.edu.cn

收稿日期: 2020-03-06 网络出版日期: 2020-08-05

基金资助:

国家自然科学基金. 81470084. 81771926. 61763022. 61463024

Received: 2020-03-06 Online: 2020-08-05

摘要

基于想象的脑机接口(Brain⁃Computer Interface,BCI)在运动障碍康复中有潜在的应用.传统的想象任务是运动想象(Motor Imagery，MI)，但MI不易习得和控制，且存在“BCI（Brain Computer Interface）盲”现象，使得该类BCI的实用化受限.为寻找下肢运动障碍的康复方法，采用一种较少被研究且易完成的心理想象，即“视觉想象（Visual Imagery，VI）”来构建BCI，但该类BCI的分类难度较大，需要探索有效的特征提取方法.招募18名被试参加两种动态图片的视觉想象任务并采集脑电(Electroencephalogram,EEG)数据；采用EEG互信息构建功能网络，利用图论分析方法计算脑网络的网络属性特征，分别以网络属性特征、不同维度邻接矩阵空间特征与网络属性与邻接矩阵组合特征构建特征向量；最后采用支持向量机(Support Vector Machine,SVM)对两类视觉想象任务进行分类.结果显示，采用八维互信息邻接矩阵构建的空间特征集具有较好的可分性，平均分类精度为90.12% $\pm$ 5.43%，表明基于EEG互信息邻接矩阵空间特征是识别所设计的VI任务的有效特征，可望为构建新型的在线视觉想象脑机接口用于下肢运动障碍康复提供思路.

关键词： 视觉想象 ; 脑机交互 ; 互信息 ; 邻接矩阵

Abstract

Imagery⁃based brain⁃computer interface (BCI) has potential applications in the rehabilitation of movement disorders. The traditional imagery task for BCI consists of motor imagery (MI). MI tasks are difficult for subjects，and there are even subjects who are incapable of MI. This makes MI⁃BCI difficult to implement in practice. This study aimed at finding a rehabilitation method for lower limb movement disorders. We used a less studied and more easily performed mental imagery (Visual Imagery，VI) to implement a BCI. However，classification of VI tasks is challenging. Therefore，effective feature extraction methods require further exploration for VI⁃BCI. In this study，18 subjects were recruited to participate in two kinds of dynamic pictures of visual imagery，during which EEG (Electroencephalogram) data were collected. Next，the mutual information based on EEG were used to construct a functional network,and graph theory analysis was used to calculate the network attribute features of the constructed brain network. The feature vectors were constructed by the network attribute features：the spatial features of adjacency matrix of different dimensions and the combination features of network⁃attribute and adjacency matrix. A support vector machine (SVM) was used to classify the two kinds of VI tasks. The results showed that the spatial characteristics constructed by an eight⁃dimensional (8⁃D) mutual information adjacency matrix has good separability，and the average classification accuracy was 90.12% $\pm$ 5.43%，which showed that spatial characteristics constructed by an adjacency matrix of EEG mutual information was effective features for identifying VI tasks. Hence，our findings may provide new ideas for the construction of a novel on⁃line VI⁃BCI for the rehabilitation of lower limb movement disorders.

Keywords： visual imagery ; brain⁃computer interface ; mutual information ; adjacency matrix

PDF (1268KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

李昭阳, 龚安民, 伏云发. 基于EEG脑网络下肢动作视觉想象识别研究. 南京大学学报（自然科学）[J], 2020, 56(4): 570-580 doi:10.13232/j.cnki.jnju.2020.04.015

Li Zhaoyang, Gong Anmin, Fu Yunfa. Identification of visual imagery of movements involving the lower limbs based on EEG network. Journal of nanjing University[J], 2020, 56(4): 570-580 doi:10.13232/j.cnki.jnju.2020.04.015

脑⁃机接口(Brain⁃Computer Interface，BCI)是一种变革性的人机交互方式，旨在绕过大脑外周神经和肌肉实现大脑与外部世界的直接通信与控制，可望为严重运动残疾患者或健康人群在特定情况下提供可选的、新的通信或控制方法.

基于想象(based on imagery)的BCI是一类重要的BCI^[1]，不仅可以控制轮椅来提高下肢严重运动障碍患者的移动性，还可以训练运动障碍患者，在一定程度上康复其运动功能.BCI中传统的想象任务是运动想象(Motor Imagery，MI)^[2]，要求被试以第一人称视角想象移动自己身体的某一部位或几个部位协调运动^[3].这种动觉想象（Kinesthetic Motor Imagery，KMI）任务有一定难度，需要一定量的训练，甚至存在运动想象盲^[4-5]，因为被试在日常生活中习惯了自然的实际运动（即公开的或显示的运动），不习惯在心里体验实际运动过程但又要阻止运动发生的隐蔽的想象运动.大约有20%的被试无法对MI或KMI进行有效的心理想象^[6]，MI可能不是控制BCI的最佳心理任务^[2].与MI相比，视觉想象(Visual Imagery,VI)是另一种较容易完成的心理想象任务，要求被试以第三人称视角在大脑中清晰地看到一幅画面.由于被试在日常生活中经常遇到该种心理想象活动，例如想象或回忆自己父母的形象、想象某个情景、想象某个运动画面等，所以VI通常不需要训练，或仅需要少量训练.然而，对基于VI这种心理活动的BCI(VI⁃BCI)的研究较少，目前尚处于起步阶段，其性能需要进一步提高.

与MI⁃BCI中的MI任务相比，VI⁃BCI中的VI任务比较广泛，可以是日常生活中的任意一幅画面或情景.如Kosmyna et al^[2]选择花和锤子作为视觉想象任务，Neuper et al^[7]选择被试以第三人称视角想象自己手部运动作为VI任务，Koizumi et al^[8]选择无人机在三个平面（上/下，左/右，前/后）上的运动为VI任务，Sousa et al^[9]选择静态点、垂直上下两个方向运动的动态点及上下左右四个方向运动的动态点为VI任务，Yamanoi^[10]选择机器人的十种不同动作为VI任务，Azmy and Safri^[11]选择想象顺时针旋转一颗星作为VI任务.与上述研究不同，为探索下肢运动障碍康复方法，本研究设计视觉想象抬腿动作与视觉想象落腿动作作为心理活动驱动BCI.下肢的抬腿和落腿动作想象训练有可能引起脑功能网络的可塑性，有利于下肢运动障碍的康复，为此，有必要研究基于下肢运动VI的BCI，该类BCI可望用于下肢运动障碍患者的康复训练.

虽然VI任务比MI任务更容易执行，但是基于EEG识别VI比识别MI的任务有更大的挑战，需要探索有效的特征提取方法.已有的VI⁃BCI研究采用的特征提取方法主要有功率谱^[2,8]、频带^[3,9,11]特征，特征有限，分类精度有限.虽然已有研究将EEG脑网络特征用于MI⁃BCI，但少有研究计算EEG脑网络特征用于VI⁃BCI.对基于EEG脑网络的构建，常用的方法主要有相关、互相关、相位锁定值、相干、互相干、部分定向相干、互信息、格兰杰等.考虑到EEG信号的非线性、非平稳的特征，本研究采用互信息计算关联系数构建脑功能网络.

1 材料和方法

1.1　被试、视觉想象任务、一个试次的时序与过程及实验设置

1.1.1　被　试

根据VI量表^[12-13]得分值招募被试，分值达到一定阈值(70%)的被试参加实验.18名右利手被试（男性，年龄24~28岁）参与了本研究，所有被试无感知觉和认知障碍，视力正常或矫正至正常.每个被试在实验前都签署了知情同意书，本研究遵照赫尔辛基宣言并获得了昆明理工大学医学院医学伦理委员会的批准.

1.1.2　视觉想象任务

视觉想象有静态图片的视觉想象^[2]和动态图片的视觉想象，本研究的目的是探索运动障碍康复的方法，故设计肢体运动的视觉想象（视觉运动想象）.为寻找下肢运动障碍康复的思路，本研究借鉴Neuper et al^[7]采用被试手部运动的视觉想象任务，设计了抬腿动作和落腿动作的视觉想象，如图1所示.图1a为抬腿动作的视觉提示，图1b为落腿动作的视觉提示.

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 本研究采用的两种VI任务：(a)视觉想象抬腿动作；(b)视觉想象落腿动作

Fig.1 Two visual imagery tasks used in this study: visually imagining lifting up one's leg (a) and visually imagining putting down one's leg (b)

正式实验前，对被试进行了抬腿和落腿的视觉运动想象训练，训练方法如下：首先观察抬腿动作或落腿动作，然后要求被试以第三人称视角在大脑中清晰地看到抬腿动作或落腿动作.

1.1.3　一个试次的时序与过程

一个试次的时序如图2所示:t=0 s时进入基线状态，要求被试清醒放松，持续时间3 s；t=3 s时屏幕上随机呈现抬腿或落腿的动态图片，要求被试观察并记忆该图片，持续时间3 s；t=6 s时提示图片消失，屏幕为黑屏，要求被试想象刚才提示的图片，持续时间3 s；t=9 s时屏幕上呈现“休息”，持续时间5 s；休息结束，开始下一个trail.每个被试执行200个trails，每个任务各100个trails.

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 一个trail时序示意图

Fig.2 The timing of a single trail

实验结束后，通过问卷调查被试执行下肢抬腿和落腿动作视觉想象任务的情况（优、良、中、差）和任务难易程度（非常难、较难、难、易、较容易、非常容易），该问卷调查结果可作为数据分析和实验范式设计改进的参考.

1.1.4　实验设置

采集脑电的设备为新拓NT9200（北京中科新拓仪器有限责任公司）.电极帽为32通道（根据国际10⁃20系统），接地电极为FPz，参考电极为A1和A2，电极阻抗保持在5 kΩ以下.采样率1000 Hz，带通滤波在0.1 Hz和100 Hz，并采用50 Hz陷波滤波器以避免线电污染.采集Fp1，Fp2，F7，F3，Fz，F4，F8，FT7，FC3，FCz，FC4，FT8，T7，C3，Cz，C4，T8，TP7，TP8，CP3，CP4，CPz，P7，P3，Pz，P4，P8，PO7，PO8，O1，O2和Oz通道的数据.

1.2　数据预处理

首先对脑电信号进行基线漂移校正，消除脑电信号中的直流分量（相对于基线的偏离）；然后用椭圆滤波器进行8~12 Hz的数字带通滤波；最后用独立成分分析(Independent Component Analysis，ICA)移除眼动伪迹、心电伪迹以及肌电伪迹等.

1.3　基于EEG的脑网络计算

基于图论的复杂脑网络分析技术是当前脑科学研究方法的热点，被广泛的应用于EEG，MEG (Magnetoencephalography)以及fMRI(functional Magnetic Resonance Imaging)研究中.大量研究表明^[14-16]，大脑不是一个完全随机的网络，也不是一个完全有序的网络，而是“经济性的”小世界网络，有较小的特征路径长度和较大的聚类系数.构建基于EEG的脑网络一般需要四个步骤^[17]：节点的定义、边的度量、阈值的选取和图论分析.

1.3.1　节点的定义

对于EEG信号，选取电极导联为节点.本研究采集EEG信号的电极导联为32导，因此选取这32个电极导联作为节点.

1.3.2　边的度量

脑网络节点之间的关联系数称为边.本研究采用互信息计算关联系数并构建脑功能网络.

互信息是衡量两个随机变量中一个变量携带另一个变量的测度，其值越大，表明两个信号越相关.假设一个随机系统可以用一个离散随机变量X来建模，那么这个随机系统总体信息量可以用信息熵H(X)来表示，如式(1)所示：

H (x) = - \sum_{x \in X} p (x) l g p (x) = E [l g \frac{1}{p (x)}]

(1)

其中， $p (x) ， x = 1,2 ， \dots, M$ 为事件 $\{X = x\}$ 的概率，且 $p (x) \geq 0$ ， $\sum p (x) = 1$ .

类似的，对于两个随机变量 $X$ 和 $Y$ ，可以通过联合熵度量它们联合分布的不确定度，联合熵的定义如式(2)所示：

\begin{array}{l} H (X, Y) = \\ - \sum_{x \in X} \sum_{y \in Y} p (x, y) l g p (x, y) = \\ E [l g \frac{1}{p (x, y)}] \end{array}

(2)

其中，p(x,y)为事件 $\{X = x, Y = y\}$ 的概率. $X$ 与 $Y$ 的互信息可定义如式(3)所示：

I (X; Y) = H (X) + H (Y) - H (X, Y)

(3)

式(3)表达了在已知 $X$ 的情况下有多少信息量传递给 $Y$ ，如果 $X$ ， $Y$ 相互独立则互信息为0.在EEG信号中， $X$ ，Y代表任意两个导联的脑电信号，该式可以测量一个导联传递到另一个导联的信息量.

1.3.3　阈值的选取

在对脑网络进行分析时可以采用权重网络，也可以采用二值网络^[18].在将具有权重的加权网络转化为只有0和1的二值网络时需要选择合适的阈值.二值化就是将加权网络中的每一个权重与选择的阈值作对比，若权重大于阈值将定义有连接，值为1；反之定义无连接，值为0.本研究采用两个限制条件来构建阈值^[19]：(1)保证15%~75%的脑网络密度；(2)保证脑网络的小世界性.最后把阈值设置为0.3，生成选定阈值下的邻接矩阵，得到了两类任务下的脑功能网络.

1.3.4　图论分析

为了更加详细地分析脑功能网络的连通性，选取五种网络属性（节点度、聚类系数、特征路径长度、全局效率和局部效率）对两类任务进行对比分析.节点度(degree)是对节点互相连接统计特性最重要的描述，定义为与节点直接相连的边数.对于一个节点，节点的度等于与这个节点相连接的边的总数或者权重之和.计算如式(4)所示：

k_{i} = \sum_{j \in N} w_{i j}, i \neq j

(4)

其中， $w_{i j}$ 为邻接矩阵中第 $i$ 行第 $j$ 列的值， $N$ 为网络中节点的集合.

聚类系数(clustering coefficient)表示某一节点的邻居间互为邻居的可能.节点的聚类系数值等于该节点邻居间实际连接的边的数目( $e_{i}$ )与可能的最大连接边数 $(\frac{k_{i} (k_{i} - 1)}{2})$ 的比值.计算如式(5)所示：

C_{i} = \sum_{i \in N} \frac{2 e_{i}}{k_{i} (k_{i} - 1)} = \frac{\sum_{j, m} a_{i j} a_{i m} a_{m j}}{k_{i} (k_{i} - 1)}

(5)

其中， $\sum_{j, m} a_{i j} a_{i m} a_{m j}$ 为节点 $i$ 和直连节点 $j$ 和 $m$ 所组成子网络包含的边的数量.

网络中所有节点聚类系数的平均值为网络的集群系数，计算如式(6)所示：

C = 〈C_{i}〉 = \frac{1}{N} \sum_{i \in N} C_{i}

(6)

其中， $0 \leq C \leq 1$ .

特征路径长度是测量网络功能整合能力的指标之一，特征路径长度数值越小表示网络的功能整合能力越强.一个网络的特征路径长度如式(7)所示：

L = \frac{1}{N} \sum_{i \in N} \frac{\sum_{j \in N, j \neq i} d_{i j}}{N - 1}

(7)

其中， $d_{i j}$ 为节点 $i$ 和 $j$ 之间的最短路径长度.

通常最短特征路径长度要在某一个连通图中进行运算，如果网络中存在不连通的节点会导致这两个节点间的最短路径长度值为无穷，因此提出了全局效率(global efficiency)的概念.最短路径长度和全局效率度量了网络的全局传输能力.最短路径长度越短，网络的全局效率越高，网络节点间传递信息的速率就越快.全局效率的计算如式(8)所示：

E_{g l o b} = \frac{1}{N (N - 1)} \sum_{i, j \in N, i \neq j} \frac{1}{d_{i j}}

(8)

局部效率 $E_{l o c}$ 衡量的是网络的局部传输能力，它是网络中所有节点对应子图的全局效率的均值，如式(9)所示：

E_{l o c} = \frac{1}{N} \sum_{i \in N} E_{g l o b} (G_{i})

(9)

其中， $G_{i}$ 表示与节点 $i$ 直接相连接的所有节点构成的子网络.

1.4　支持向量机

支持向量机(Support Vector Machine，SVM)是一种分类算法，它通过寻求结构风险最小来提高学习机泛化能力，实现经验风险和置信范围最小化，从而达到在统计样本量较少时也能获得良好统计规律的目的^[20].

SVM算法的核心在于^[21]：(1)在线性可分的情况下，利用间隔最大化的学习策略寻求一个间隔最大的超平面；(2)在线性不可分的情况下，通过核函数将低维的特征向量映射到高维来寻求线性可分.本研究采集的脑电信号正是小样本且是非线性的，因此选用SVM分类器.

本研究对32通道的脑电数据进行分析，把200个trials视觉想象数据划分为100个训练数据和100个测试数据，包括训练样本和测试样本的标签.首先用训练样本和标签训练模型，然后再用模型对测试样本进行标签预测，最后把预测标签与真实的标签进行对比，得到分类的准确率.

2 实验结果

表1呈现了两种VI任务脑电数据在每个频段的t检验值，显著性水平设为P<0.05.可以看到，15个被试数据的显著差异出现在alpha频带，四个被试数据在delta频带出现显著差异，三个被试数据在theta频带出现显著差异，在beta和gamma频带各有一个被试数据出现显著差异.因此，本研究的数字带通滤波选择alpha频段.

表1 两种VI任务脑电数据在每个频段的t检验值

Table 1 t⁃test values of EEG datas in each frequency band during two VI tasks

被试	delta	theta	alpha	beta	gamma
1	0.057	0.623	0.001^***	0.065	0.084
2	0.124	0.386	0.001^***	0.072	0.245
3	0.172	0.045^*	0.023^*	0.469	0.190
4	0.579	0.452	0.008^**	0.754	0.312
5	0.422	0.325	0.653	0.164	0.270
6	0.026^*	0.830	0.035^*	0.226	0.459
7	0.376	0.962	0.274	0.395	0.731
8	0.076	0.631	0.038^*	0.339	0.126
9	0.082	0.231	0.000^***	0.421	0.235
10	0.137	0.032^*	0.019^*	0.014^*	0.538
11	0.047^*	0.292	0.049^*	0.735	0.027^*
12	0.391	0.053	0.023^*	0.619	0.721
13	0.010^*	0.007^**	0.044^*	0.374	0.731
14	0.294	0.337	0.010^*	0.538	0.077
15	0.059	0.391	0.007^**	0.225	0.648
16	0.471	0.777	0.022^*	0.420	0.827
17	0.024^*	0.309	0.091	0.661	0.421
18	0.374	0.073	0.009^**	0.142	0.520

注：*P<0.05，** P<0.01，*** P<0.001

新窗口打开| 下载CSV

图3呈现了基于互信息抬腿和落腿动作视觉想象数据的总平均邻接矩阵.计算32个电极导联的时间序列相互之间的互信息作为功能网络的连接边，最后得到一个32 $\times$ 32的邻接矩阵，也就是基于互信息值的脑功能网络.图3a为抬腿动作视觉想象脑电数据的总平均邻接矩阵，图3b为落腿动作视觉想象脑电数据的总平均邻接矩阵.

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 基于互信息抬腿和落腿动作视觉想象脑电数据的总平均邻接矩阵：(a)基于互信息抬腿动作视觉想象脑电数据的总平均邻接矩阵;(b)基于互信息落腿动作视觉想象脑电数据的总平均邻接矩阵

Fig.3 Total average adjacency matrix of EEG datas based on mutual information during visually imagining lifting up and putting down one's leg: (a) total average adjacency matrix of EEG datas based on mutual information during visually imagining lifting up one's leg,(b) total average adjacency matrix of EEG datas based on mutual information during visually imagining putting down one's leg

表2呈现了基于互信息网络的视觉想象抬腿和落腿动作网络属性特征t检验值.可以看出，这两类VI任务在节点度、聚类系数和特征路径长度上存在较明显的差异，在全局效率和局部效率存在的差异不大.

表2 基于互信息网络视觉想象抬腿和落腿动作网络属性特征t检验值

Table 2 t⁃test values of network⁃attribute characteristics based on the mutual information network during visually imagining lifting up and putting down one's leg

VI任务

节点度

聚类

系数

特征路径长度

全局

效率

局部

效率

抬腿动作

0.00874

0.01310

0.03460

0.43394

0.3740

落腿动作

0.00351

0.04210

0.04710

0.67452

0.7160

新窗口打开| 下载CSV

图4是基于互信息的视觉想象抬腿与落腿动作脑功能网络，图4a是基于互信息的视觉想象抬腿动作脑功能网络.可以看出，脑网络主要的核心节点分别为FCz，FT8，P7，Pz和O1，即右前额到左枕叶的连接.图4b是基于互信息的视觉想象落腿动作脑功能网络.可以看出，脑网络主要的核心节点分别为Fp2，F3，FT7，T8，TP8，PO8和Oz，即右前额到右枕叶的连接.

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 基于互信息的视觉想象抬腿与落腿动作脑功能网络：(a)基于互信息视觉想象抬腿动作脑功能网络；(b)基于互信息视觉想象落腿动作脑功能网络

Fig.4 Brain function network based on mutual informationduring visually imagining lifting up and putting down one's leg: (a) brain function network based on mutual informationduring visually imagining lifting up one's leg，(b) brain function network based on mutual informationduring visually imaginingputting down one's leg

图5是用互信息构建脑功能网络提取的网络属性特征的平均分类精度.

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 采用互信息构建脑功能网络提取的网络属性特征的平均分类精度

Fig.5 Average classification accuracy of network⁃attribute features extracted with the brain function network constructed by mutual information

用互信息构建脑功能网络提取的网络属性特征节点度、聚类系数、特征路径长度、全局效率和局部效率的平均分类精度为82.04%±4.31%，75.13%±5.73%，77.63%±5.81%，65.61%±6.54%，62.24%±3.63%.

图6是用互信息构建脑功能网络提取不同维度邻接矩阵的平均分类精度.将得到的邻接矩阵通过空间滤波器CSP，分别提取邻接矩阵的2，4，6，8和10维空间特征集，最后利用SVM进行分类.采用互信息构建脑功能网络提取不同维度邻接矩阵的平均分类精度分别为84.87%±6.71%，86.89%±7.40%，88.82% $\pm$ 6.94%，90.12% $\pm$

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 采用互信息构建脑功能网络提取不同维度邻接矩阵的平均分类精度

Fig.6 Average classification accuracy of the adjacency matrix with different dimensions extracted with the brain network constructed by mutual information

5.43%，82.41%±5.89%.

图7是用互信息构建脑功能网络提取的网络属性与邻接矩阵组合特征的平均分类精度.特征1、特征2、特征3、特征4和特征5分别表示节点度+邻接矩阵、聚类系数+邻接矩阵、特征路径长度+邻接矩阵、全局效率+邻接矩阵、局部效率+邻接矩阵.采用互信息构建脑功能网络提取的网络属性与邻接矩阵组合特征节点度、聚类系数、特征路径长度、全局效率和局部效率的平均分类精度为87.12%±4.32%，81.83%±6.41%，83.27%±5.93%，77.18%±7.29%，72.41%±5.69%.

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 采用互信息构建脑功能网络提取的网络属性与邻接矩阵组合特征的平均分类精度

Fig.7 Average classification accuracy of the combination features of network⁃attribute and adjacency matrix extracted with the brain function network constructed by mutual information

3 讨论

基于MI的BCI在运动功能障碍康复训练中有潜在的应用前景^[22-24]，然而该类BCI存在BCI盲，MI任务不易完成，需要大量的训练.与MI⁃BCI相比，VI⁃BCI是一类相对较新的BCI，其VI任务较易完成，但VI任务的识别有更大的挑战性，这类BCI研究较少^[1,7-11]，需要进一步提高其性能.

已有VI⁃BCI的VI任务要么与肢体运动的视觉想象无关^{[1,7-8,10-11]}，要么与上肢运动的VI有关^[9]，而与下肢运动无关，因此不适合作为下肢运动功能障碍康复的训练.为了探索下肢运动功能障碍康复的新方法，有别于已有VI⁃BCI提出的VI任务^[1,7-11]，本研究设计了下肢抬腿和落腿动作的视觉想象任务，期望通过这种VI任务驱动的BCI训练下肢运动功能障碍患者，促使其运动功能网络向有利于康复的方向可塑.

与MI任务的识别相比，VI任务的识别难度较大，需要探索有效的特征提取方法.已有VI⁃BCI研究取得了一定的进展，但采用的分类特征有限，分类精度不高.Kosmyna et al^[2]对视觉想象花和锤子两类任务相关的脑电信号提取功率谱特征并采用功率谱加权共空间模式(Spectrally Weithted Common Spatial Patterns,SpecCSP)进行分类，但分类精度不高（52%）.Neuper et al^[7]对被试视觉想象自己手部运动和静息状态两类任务相关的脑电信号提取频带特征并采用差异敏感学习矢量量化(Distinction Sensitive Learning Vector Quantization,DSLVQ)方法进行分类，平均分类精度也不高（56%）.Koizumi et al^[8]对三类VI任务相关的脑电信号提取了频段的功率谱密度(Power spectral density ，PSD)特征并采用SVM进行分类，平均分类精度为84.6%.Sousa et al^[9]对三类VI任务相关的脑电信号提取功率谱能量特征并采用SVM进行分类，平均分类精度为87.64%.Yamanoi^[10]对机器人十种不同动作VI任务相关的脑电信号以25 ms的间隔，在400~900 ms的潜伏期对脑电数据进行采样的采样点作为特征向量，并采用jack knife判别分析进行分类，平均分类精度为89.92%.

有别于上述已有VI⁃BCI研究采用的功率谱^[2,9,11]和频带^[7-8]特征提取方法，本研究采用EEG互信息构建脑网络，计算脑网络属性和邻接矩阵作为特征来识别下肢运动视觉想象.脑网络特征已用于MI⁃BCI^[25-30]，取得一定的分类精度，但尚没有用于VI⁃BCI验证其有效性.本实验分别采用脑网络的属性特征、不同维度邻接矩阵空间特征和网络属性与邻接矩阵融合特征作为特征向量，利用SVM对抬腿和落腿动作的视觉想象诱发的EEG信号进行分类.从脑网络分析(图4)可以看出，脑功能连接主要发生在右前额，这应该是由于视觉想象和潜意识有关，并且是本能的行为，而本能和潜意识的行为主要激发右前额网络，所以在大脑右前额的连接比较多.比较表2的结果，基于相干和互信息构建脑网络在节点度、聚类系数和特征路径长度上存在较显著差异，在全局效率和局部效率存在的差异不大.比较图5的结果，图5中基于互信息构建脑网络提取节点度特征的分类精度最高(82.04%)，局部效率作为特征向量的分类精度最低(62.24%)，表明基于互信息构建脑网络提取的节点度可以作为识别下肢动作视觉想象的有效特征(分类精度可达82.04%)，也表明在选择网络属性作为特征的时候需要寻找最优属性.

进一步比较图6与图7的结果，图6中基于互信息构建脑网络提取的8维邻接矩阵空间特征的平均分类精度最高(90.12%)，10维邻接矩阵空间特征的平均分类精度最低(82.41%).这些结果表明基于互信息构建脑网络提取的邻接矩阵可以作为识别下肢动作视觉想象的有效特征(分类精度可达90.12%)，也表明在选择邻接矩阵作为特征的时候需要寻找最优维度.图7中基于互信息构建脑网络提取节点度+邻接矩阵特征的分类精度最高(87.12%)，局部效率+邻接矩阵作为特征向量的分类精度最低(72.41%).由图5、图6和图7比较可知，总体看来，采用不同维度邻接矩阵作为特征的分类结果优于网络属性与邻接矩阵组合特征的分类结果，更优于网络属性特征的分类结果，推测可能是由于邻接矩阵特征更能表征抬腿和落腿动作的视觉想象心理活动.

表3给出了VI⁃BCI研究中VI任务（范式）、特征提取方法、分类方法及分类精度.本研究对视觉想象抬腿和落腿动作的平均分类精度与Kosmyna et al^[2]对视觉想象花和锤子和Neuper et al^[7]对视觉想象自己手部运动和静息态的平均分类精度相比，网络属性特征、不同维度邻接矩阵特征和网络属性与邻接矩阵组合特征取得的分类结果均高于他们的分类结果，然而这些研究的特征提取和分类方法各不相同.本研究的平均分类精度与Koizumi et al^[8]对视觉想象无人机在三个平面（上/下，左/右，前/后）中运动的三类任务的平均分类精度相比，网络属性特征取得的分类结果均低于Koizumi et al^[8]的结果，而节点度+邻接矩阵组合特征、二维、四维、六维、八维互信息邻接矩阵作为特征向量取得的分类结果要高于Koizumi et al^[8]的结果.与Sousa et al^[9]对视觉想象静态点、垂直上下两个方向运动的动态点以及上下左右四个方向运动的动态点的三类VI任务的平均分类精度相比，网络属性特征与网络属性与邻接矩阵组合特征取得的分类结果均低于Sousa et al^[9]的结果，六维、八维互信息邻接矩阵作为特征向量取得的分类结果要高于Sousa et al^[9]的结果.与Yamanoi^[10]对视觉想象机器人十种不同动作的平均分类精度相比，网络属性特征与网络属性与邻接矩阵组合特征取得的分类结果均低于Yamanoi^[10]的结果，八维互信息邻接矩阵作为特征向量取得的分类结果要高于Yamanoi^[10]的结果.本研究和文献[8-10]的研究结果相比，分类精度有所提高.然而，这些研究的特征提取方法不同.

表3 VI⁃BCI研究中VI任务（范式）、特征提取方法、分类方法及分类精度

Table 3 VI tasks (paradigm), feature extraction methods, classification methods and classification accuracies from multiple VI⁃BCI studies

作者	VI任务	特征提取方法	分类方法	分类精度
Kosmyna et al^[2]	视觉想象花和锤子	功率谱特征	功率谱加权共空间模式	52%
Neuper et al^[7]	视觉想象自己手部的运动和静息态	频带特征	差异敏感学习矢量量化	56%
Koizumi et al^[8]	视觉想象无人机在三个平面（上/下，左/右，前/后）中运动	频段的功率谱密度特征	SVM	84.6%
Sousa et al^[9]	视觉想象静态点、垂直上下两个方向运动的动态点以及上下左右四个方向运动的动态点	功率谱能量特征	SVM	87.64%
Yamanoi^[10]	视觉想象机器人十种不同动作	以25 ms的间隔，在400~900 ms的潜伏期对脑电数据进行采样的采样点	jack knife判别分析	89.92%
本研究	视觉想象抬腿和落腿动作	互信息脑网络特征	SVM	90.12% $\pm$ 5.43%

新窗口打开| 下载CSV

4 结论

本文尝试探索下肢运动功能障碍康复训练方法，提出了下肢抬腿和落腿动作视觉想象范式，进而基于EEG互信息邻接矩阵空间特征、网络属性特征以及网络属性与邻接矩阵组合特征识别下肢动作视觉想象.结果表明基于EEG互信息邻接矩阵空间特征是识别所设计的VI任务的有效特征，八维互信息邻接矩阵构建的空间特征的平均分类精度为90.12% $\pm$ 5.43%.本研究可望为构建新型的在线视觉想象脑机接口用于下肢运动障碍康复提供思路.

未来的研究工作：(1)构建在线下肢运动VI⁃BCI验证本研究提出的方法，并通过视觉神经反馈训练被试的运动VI能力；(2)进一步完善VI⁃BCI实验范式，可以考虑增加空闲状态或新的VI任务.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

Pfurtscheller

，Neuper

Motor imagery and direct brain–computer communication

Proceedings of the IEEE，2001，89(7)：1123-1134.

[本文引用: 4]

[2]

Kosmyna

，Lindgren

J T

，Lécuyer

Attending to visual stimuli versus performing visual imagery as a control strategy for EEG⁃based brain⁃computer interfaces

Scientific Reports，2018，8：13222.

[本文引用: 9]

[3]

La Fleur

，Cassady

，Doud

，et al.

Quadcopter control in three⁃dimensional space using a noninvasive motor imagery⁃based brain⁃computer interface

Journal of Neural Engineering，2013，10(4)：046003.

[本文引用: 2]

[4]

Thompson

M C

Critiquing the concept of BCI illiteracy

Science and Engineering Ethics，2018，25(4)：1217-1233.

[本文引用: 1]

[5]

Vidaurre

，Blankertz

Towards a cure for BCI illiteracy

Brain Topography，2010，23(2)：194-198.

[本文引用: 1]

[6]

Blankertz

，Sannelli

，Halder

，et al.

Neuro⁃physiological predictor of SMR⁃based BCI performance

NeuroImage，2010，51(4)：1303-1309.

[本文引用: 1]

[7]

Neuper

，Scherer

，Reiner

，et al.

Imagery of motor actions：differential effects of kinesthetic and visual⁃motor mode of imagery in single⁃trial EEG

Cognitive Brain Research，2006，25(3)：668-677.

[本文引用: 9]

[8]

Koizumi

，Ueda

，Nakao

Development of a cognitive brain⁃machine interface based on a visual imagery method

∥2018 40^th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). Honolulu，HI，USA：IEEE，2018.

[本文引用: 10]

[9]

Sousa

，Amaral

，Andrade

，et al.

Pure visual imagery as a potential approach to achieve three classes of control for implementation of BCI in non⁃motor disorders

Journal of Neural Engineering，2017，14(4)：046026.

[本文引用: 9]

[10]

Yamanoi

Elucidation of Brain Activities by Electroencephalograms and its Application to Brain Computer Interface

∥2016 IEEE 46^th International Symposium on Multiple⁃Valued Logic. Sapporo，Japan：IEEE，2016.

[本文引用: 8]

[11]

Azmy

，Safri

N M

EEG Based BCI using visual imagery task for robot control

Jurnal Teknologi，2013，61(2)：7-11.

[本文引用: 6]

[12]

Malouin

，Richards

C L

，Jackson

P L

，et al.

The kinesthetic and visual imagery questionnaire (KVIQ) for assessing motor imagery in persons with physical disabilities：a reliability and construct validity study

Journal of Neurologic Physical Therapy，2007，31(1)：20-29.

[本文引用: 1]

[13]

Dijkstra

，Bosch

S E

，Van Gervenl

M A J

Vividness of visual imagery depends on the neural overlap with perception in Visual areas

Journal of Neuroscience，2017 37(5)：1367-1373.

[本文引用: 1]

[14]

Lee

J Y

，Park

H K

，Lee

H J

Accelerated small⁃world property of structural brain networks in preterm infants at term⁃equivalent age

Neonatology，2019，115(2)：99-107.

[本文引用: 1]

[15]

Huang

Y Q

，Liu

Y T

，Zhao

D D

，et al.

Small⁃world properties of the whole⁃brain functional networks in patients with obstructive sleep apnea‐hypopnea syndrome

Sleep Medicine，2019，62：53-58.

[16]

Hallquist

M N

，Hillary

F G

Graph theory approaches to functional network organization in brain disorders：a critique for a brave new small⁃world

Network Neuroscience，2019，3(1)：1-26.

[本文引用: 1]

[17]

黄嘉爽，梅雪，袁晓龙等.

脑功能网络的fMRI特征提取及脑部疾病机器识别

.智能系统学报,2015,10(2):248-254.

[本文引用: 1]

Huang

J S

,Mei

,Yuan

X L

,et al.

FMRI feature extraction and identification of brain diseases based on the brain function network

Journal of intelligent systems,2015,10(2)：248-254.

[本文引用: 1]

[18]

闫亚敏

. 运动想象脑电信号的脑网络特征分析与提取. 硕士学位论文. 郑州：郑州大学，2018.

[本文引用: 1]

Yan

Y M

. Brain network features analysis and extraction of motor imagery EEG signals. Master Dissertation. Zhengzhou：Zhengzhou University，2018.

[本文引用: 1]

[19]

彭尧

. 基于fMRI脑功能网络的分析方法研究. 硕士学位论文. 昆明：昆明理工大学，2018.

[本文引用: 1]

Peng

. Research on analysis method based on fMRI brain function network. Master Dissertation. Kunming：Kunming University of Technology，2018.

[本文引用: 1]

[20]

周志华

. 机器学习. 北京：清华大学出版社，2016，121-139，298-300.

[本文引用: 1]

[21]

李航

. 统计学习方法. 北京：清华大学出版社，2012，95-135.

[本文引用: 1]

[22]

江雨林，谢亮，袁翀等.

基于运动想象辅助的下肢康复系统

电脑与电信，2019（4）：5-7.

[本文引用: 1]

Jiang

Y L

,Xie

,Yuan

Lower limb rehabilitation control system based on motion imaging assistance

Computer & Telecommunication,2019(4)：5-7.

[本文引用: 1]

[23]

王鹤玮,贾杰,孙莉敏.

运动想象疗法在脑卒中患者上肢康复中的应用及其神经作用机制研究进展

.中华物理医学与康复杂志,2019,41(6)：473-476.

Wang

H W

,Jia

,Sun

L M

The application of motor imagery therapy in upper limb rehabilitation of stroke patients and the research progress of its neural mechanism

Chinese Journal of Physical Medicine and Rehabilitation,2019,41(6)：473-476.

[24]

徐博然,陈慧君.

步态运动想象疗法对脑卒中偏瘫患者步行功能的影响

.解放军护理杂志，2019,36(5)：16-20.

[本文引用: 1]

,Chen

Effect of gait imagery therapy on walking function in hemiplegic patients after stroke

Nursing Journal of Chinese People's Liberation Army,2019,36(5)：16-20.

[本文引用: 1]

[25]

Keogh

，Pearson

The blind mind：no sensory visual imagery in aphantasia

Cortex，2018，105：53-60.

[本文引用: 1]

[26]

El Haj

，Moustafa

A A

，Gallouj

，et al.

Visual imagery：the past and future as seen by patients with Alzheimer's disease

Consciousness and Cognition，2019，68：12-22.

[27]

Cochrane

B A

，Zhu

H Z

，Milliken

Strategic visual imagery and automatic priming effects in pop⁃out visual search

Consciousness and Cognition，2018，65：59-70.

[28]

Kilintari

，Narayana

，Babajani⁃Feremi

，et al.

Brain activation profiles during kinesthetic and visual imagery：an fMRI study

Brain Research，2016，1646：249-261.

[29]

Fulford

，Milton

，Salas

，et al.

The neural correlates of visual imagery vividness：an fMRI study and literature review

Cortex，2018，105：26-40.

[30]

Fourtassi

，Rode

，Tilikete

，et al.

Spontaneous ocular positioning during visual imagery in patients with hemianopia and/or hemineglect

Neuropsychologia，2016，86：141-152.

[本文引用: 1]

[31]

Anderson

R J

， Dewhursta

S A

，Dean

G M

Direct and generative retrieval of autobiographical memories：The roles of visual imagery and executive processes

Consciousness and Cognition，2017，49：163-171.

[32]

Lesourd

，Navarro

，Baumard

，et al.

Imitation and matching of meaningless gestures：distinct involvement from motor and visual imagery

Psychological Research，2017，81(3)：525-537.

Motor imagery and direct brain–computer communication

2001

... 基于想象(based on imagery)的BCI是一类重要的BCI^[1]，不仅可以控制轮椅来提高下肢严重运动障碍患者的移动性，还可以训练运动障碍患者，在一定程度上康复其运动功能.BCI中传统的想象任务是运动想象(Motor Imagery，MI)^[2]，要求被试以第一人称视角想象移动自己身体的某一部位或几个部位协调运动^[3].这种动觉想象（Kinesthetic Motor Imagery，KMI）任务有一定难度，需要一定量的训练，甚至存在运动想象盲^[4-5]，因为被试在日常生活中习惯了自然的实际运动（即公开的或显示的运动），不习惯在心里体验实际运动过程但又要阻止运动发生的隐蔽的想象运动.大约有20%的被试无法对MI或KMI进行有效的心理想象^[6]，MI可能不是控制BCI的最佳心理任务^[2].与MI相比，视觉想象(Visual Imagery,VI)是另一种较容易完成的心理想象任务，要求被试以第三人称视角在大脑中清晰地看到一幅画面.由于被试在日常生活中经常遇到该种心理想象活动，例如想象或回忆自己父母的形象、想象某个情景、想象某个运动画面等，所以VI通常不需要训练，或仅需要少量训练.然而，对基于VI这种心理活动的BCI(VI⁃BCI)的研究较少，目前尚处于起步阶段，其性能需要进一步提高. ...

... 基于MI的BCI在运动功能障碍康复训练中有潜在的应用前景^[22-24]，然而该类BCI存在BCI盲，MI任务不易完成，需要大量的训练.与MI⁃BCI相比，VI⁃BCI是一类相对较新的BCI，其VI任务较易完成，但VI任务的识别有更大的挑战性，这类BCI研究较少^[1,7-11]，需要进一步提高其性能. ...

... 已有VI⁃BCI的VI任务要么与肢体运动的视觉想象无关^{[1,7-8,10-11]}，要么与上肢运动的VI有关^[9]，而与下肢运动无关，因此不适合作为下肢运动功能障碍康复的训练.为了探索下肢运动功能障碍康复的新方法，有别于已有VI⁃BCI提出的VI任务^[1,7-11]，本研究设计了下肢抬腿和落腿动作的视觉想象任务，期望通过这种VI任务驱动的BCI训练下肢运动功能障碍患者，促使其运动功能网络向有利于康复的方向可塑. ...

... [1,7-11]，本研究设计了下肢抬腿和落腿动作的视觉想象任务，期望通过这种VI任务驱动的BCI训练下肢运动功能障碍患者，促使其运动功能网络向有利于康复的方向可塑. ...

Attending to visual stimuli versus performing visual imagery as a control strategy for EEG?based brain?computer interfaces

2018

... [2].与MI相比，视觉想象(Visual Imagery,VI)是另一种较容易完成的心理想象任务，要求被试以第三人称视角在大脑中清晰地看到一幅画面.由于被试在日常生活中经常遇到该种心理想象活动，例如想象或回忆自己父母的形象、想象某个情景、想象某个运动画面等，所以VI通常不需要训练，或仅需要少量训练.然而，对基于VI这种心理活动的BCI(VI⁃BCI)的研究较少，目前尚处于起步阶段，其性能需要进一步提高. ...

... 与MI⁃BCI中的MI任务相比，VI⁃BCI中的VI任务比较广泛，可以是日常生活中的任意一幅画面或情景.如Kosmyna et al^[2]选择花和锤子作为视觉想象任务，Neuper et al^[7]选择被试以第三人称视角想象自己手部运动作为VI任务，Koizumi et al^[8]选择无人机在三个平面（上/下，左/右，前/后）上的运动为VI任务，Sousa et al^[9]选择静态点、垂直上下两个方向运动的动态点及上下左右四个方向运动的动态点为VI任务，Yamanoi^[10]选择机器人的十种不同动作为VI任务，Azmy and Safri^[11]选择想象顺时针旋转一颗星作为VI任务.与上述研究不同，为探索下肢运动障碍康复方法，本研究设计视觉想象抬腿动作与视觉想象落腿动作作为心理活动驱动BCI.下肢的抬腿和落腿动作想象训练有可能引起脑功能网络的可塑性，有利于下肢运动障碍的康复，为此，有必要研究基于下肢运动VI的BCI，该类BCI可望用于下肢运动障碍患者的康复训练. ...

... 虽然VI任务比MI任务更容易执行，但是基于EEG识别VI比识别MI的任务有更大的挑战，需要探索有效的特征提取方法.已有的VI⁃BCI研究采用的特征提取方法主要有功率谱^[2,8]、频带^[3,9,11]特征，特征有限，分类精度有限.虽然已有研究将EEG脑网络特征用于MI⁃BCI，但少有研究计算EEG脑网络特征用于VI⁃BCI.对基于EEG脑网络的构建，常用的方法主要有相关、互相关、相位锁定值、相干、互相干、部分定向相干、互信息、格兰杰等.考虑到EEG信号的非线性、非平稳的特征，本研究采用互信息计算关联系数构建脑功能网络. ...

... 视觉想象有静态图片的视觉想象^[2]和动态图片的视觉想象，本研究的目的是探索运动障碍康复的方法，故设计肢体运动的视觉想象（视觉运动想象）.为寻找下肢运动障碍康复的思路，本研究借鉴Neuper et al^[7]采用被试手部运动的视觉想象任务，设计了抬腿动作和落腿动作的视觉想象，如图1所示.图1a为抬腿动作的视觉提示，图1b为落腿动作的视觉提示. ...

... 与MI任务的识别相比，VI任务的识别难度较大，需要探索有效的特征提取方法.已有VI⁃BCI研究取得了一定的进展，但采用的分类特征有限，分类精度不高.Kosmyna et al^[2]对视觉想象花和锤子两类任务相关的脑电信号提取功率谱特征并采用功率谱加权共空间模式(Spectrally Weithted Common Spatial Patterns,SpecCSP)进行分类，但分类精度不高（52%）.Neuper et al^[7]对被试视觉想象自己手部运动和静息状态两类任务相关的脑电信号提取频带特征并采用差异敏感学习矢量量化(Distinction Sensitive Learning Vector Quantization,DSLVQ)方法进行分类，平均分类精度也不高（56%）.Koizumi et al^[8]对三类VI任务相关的脑电信号提取了频段的功率谱密度(Power spectral density ，PSD)特征并采用SVM进行分类，平均分类精度为84.6%.Sousa et al^[9]对三类VI任务相关的脑电信号提取功率谱能量特征并采用SVM进行分类，平均分类精度为87.64%.Yamanoi^[10]对机器人十种不同动作VI任务相关的脑电信号以25 ms的间隔，在400~900 ms的潜伏期对脑电数据进行采样的采样点作为特征向量，并采用jack knife判别分析进行分类，平均分类精度为89.92%. ...

... 有别于上述已有VI⁃BCI研究采用的功率谱^[2,9,11]和频带^[7-8]特征提取方法，本研究采用EEG互信息构建脑网络，计算脑网络属性和邻接矩阵作为特征来识别下肢运动视觉想象.脑网络特征已用于MI⁃BCI^[25-30]，取得一定的分类精度，但尚没有用于VI⁃BCI验证其有效性.本实验分别采用脑网络的属性特征、不同维度邻接矩阵空间特征和网络属性与邻接矩阵融合特征作为特征向量，利用SVM对抬腿和落腿动作的视觉想象诱发的EEG信号进行分类.从脑网络分析(图4)可以看出，脑功能连接主要发生在右前额，这应该是由于视觉想象和潜意识有关，并且是本能的行为，而本能和潜意识的行为主要激发右前额网络，所以在大脑右前额的连接比较多.比较表2的结果，基于相干和互信息构建脑网络在节点度、聚类系数和特征路径长度上存在较显著差异，在全局效率和局部效率存在的差异不大.比较图5的结果，图5中基于互信息构建脑网络提取节点度特征的分类精度最高(82.04%)，局部效率作为特征向量的分类精度最低(62.24%)，表明基于互信息构建脑网络提取的节点度可以作为识别下肢动作视觉想象的有效特征(分类精度可达82.04%)，也表明在选择网络属性作为特征的时候需要寻找最优属性. ...

... 表3给出了VI⁃BCI研究中VI任务（范式）、特征提取方法、分类方法及分类精度.本研究对视觉想象抬腿和落腿动作的平均分类精度与Kosmyna et al^[2]对视觉想象花和锤子和Neuper et al^[7]对视觉想象自己手部运动和静息态的平均分类精度相比，网络属性特征、不同维度邻接矩阵特征和网络属性与邻接矩阵组合特征取得的分类结果均高于他们的分类结果，然而这些研究的特征提取和分类方法各不相同.本研究的平均分类精度与Koizumi et al^[8]对视觉想象无人机在三个平面（上/下，左/右，前/后）中运动的三类任务的平均分类精度相比，网络属性特征取得的分类结果均低于Koizumi et al^[8]的结果，而节点度+邻接矩阵组合特征、二维、四维、六维、八维互信息邻接矩阵作为特征向量取得的分类结果要高于Koizumi et al^[8]的结果.与Sousa et al^[9]对视觉想象静态点、垂直上下两个方向运动的动态点以及上下左右四个方向运动的动态点的三类VI任务的平均分类精度相比，网络属性特征与网络属性与邻接矩阵组合特征取得的分类结果均低于Sousa et al^[9]的结果，六维、八维互信息邻接矩阵作为特征向量取得的分类结果要高于Sousa et al^[9]的结果.与Yamanoi^[10]对视觉想象机器人十种不同动作的平均分类精度相比，网络属性特征与网络属性与邻接矩阵组合特征取得的分类结果均低于Yamanoi^[10]的结果，八维互信息邻接矩阵作为特征向量取得的分类结果要高于Yamanoi^[10]的结果.本研究和文献[8-10]的研究结果相比，分类精度有所提高.然而，这些研究的特征提取方法不同. ...

... VI tasks (paradigm), feature extraction methods, classification methods and classification accuracies from multiple VI⁃BCI studies

Table 3

作者	VI任务	特征提取方法	分类方法	分类精度
Kosmyna et al^[2]	视觉想象花和锤子	功率谱特征	功率谱加权共空间模式	52%
Neuper et al^[7]	视觉想象自己手部的运动和静息态	频带特征	差异敏感学习矢量量化	56%
Koizumi et al^[8]	视觉想象无人机在三个平面（上/下，左/右，前/后）中运动	频段的功率谱密度特征	SVM	84.6%
Sousa et al^[9]	视觉想象静态点、垂直上下两个方向运动的动态点以及上下左右四个方向运动的动态点	功率谱能量特征	SVM	87.64%
Yamanoi^[10]	视觉想象机器人十种不同动作	以25 ms的间隔，在400~900 ms的潜伏期对脑电数据进行采样的采样点	jack knife判别分析	89.92%
本研究	视觉想象抬腿和落腿动作	互信息脑网络特征	SVM	90.12% $\pm$ 5.43%

4 结论

Quadcopter control in three?dimensional space using a noninvasive motor imagery?based brain?computer interface

2013

Critiquing the concept of BCI illiteracy

2018

Towards a cure for BCI illiteracy

2010

Neuro?physiological predictor of SMR?based BCI performance

2010

Imagery of motor actions：differential effects of kinesthetic and visual?motor mode of imagery in single?trial EEG

2006

... ,7-11]，本研究设计了下肢抬腿和落腿动作的视觉想象任务，期望通过这种VI任务驱动的BCI训练下肢运动功能障碍患者，促使其运动功能网络向有利于康复的方向可塑. ...

... VI tasks (paradigm), feature extraction methods, classification methods and classification accuracies from multiple VI⁃BCI studies

Table 3

作者	VI任务	特征提取方法	分类方法	分类精度
Kosmyna et al^[2]	视觉想象花和锤子	功率谱特征	功率谱加权共空间模式	52%
Neuper et al^[7]	视觉想象自己手部的运动和静息态	频带特征	差异敏感学习矢量量化	56%
Koizumi et al^[8]	视觉想象无人机在三个平面（上/下，左/右，前/后）中运动	频段的功率谱密度特征	SVM	84.6%
Sousa et al^[9]	视觉想象静态点、垂直上下两个方向运动的动态点以及上下左右四个方向运动的动态点	功率谱能量特征	SVM	87.64%
Yamanoi^[10]	视觉想象机器人十种不同动作	以25 ms的间隔，在400~900 ms的潜伏期对脑电数据进行采样的采样点	jack knife判别分析	89.92%
本研究	视觉想象抬腿和落腿动作	互信息脑网络特征	SVM	90.12% $\pm$ 5.43%

4 结论

Development of a cognitive brain?machine interface based on a visual imagery method

2018

... [8]的结果，而节点度+邻接矩阵组合特征、二维、四维、六维、八维互信息邻接矩阵作为特征向量取得的分类结果要高于Koizumi et al^[8]的结果.与Sousa et al^[9]对视觉想象静态点、垂直上下两个方向运动的动态点以及上下左右四个方向运动的动态点的三类VI任务的平均分类精度相比，网络属性特征与网络属性与邻接矩阵组合特征取得的分类结果均低于Sousa et al^[9]的结果，六维、八维互信息邻接矩阵作为特征向量取得的分类结果要高于Sousa et al^[9]的结果.与Yamanoi^[10]对视觉想象机器人十种不同动作的平均分类精度相比，网络属性特征与网络属性与邻接矩阵组合特征取得的分类结果均低于Yamanoi^[10]的结果，八维互信息邻接矩阵作为特征向量取得的分类结果要高于Yamanoi^[10]的结果.本研究和文献[8-10]的研究结果相比，分类精度有所提高.然而，这些研究的特征提取方法不同. ...

... [8]的结果.与Sousa et al^[9]对视觉想象静态点、垂直上下两个方向运动的动态点以及上下左右四个方向运动的动态点的三类VI任务的平均分类精度相比，网络属性特征与网络属性与邻接矩阵组合特征取得的分类结果均低于Sousa et al^[9]的结果，六维、八维互信息邻接矩阵作为特征向量取得的分类结果要高于Sousa et al^[9]的结果.与Yamanoi^[10]对视觉想象机器人十种不同动作的平均分类精度相比，网络属性特征与网络属性与邻接矩阵组合特征取得的分类结果均低于Yamanoi^[10]的结果，八维互信息邻接矩阵作为特征向量取得的分类结果要高于Yamanoi^[10]的结果.本研究和文献[8-10]的研究结果相比，分类精度有所提高.然而，这些研究的特征提取方法不同. ...

... 的结果.本研究和文献[8-10]的研究结果相比，分类精度有所提高.然而，这些研究的特征提取方法不同. ...

... VI tasks (paradigm), feature extraction methods, classification methods and classification accuracies from multiple VI⁃BCI studies

Table 3

作者	VI任务	特征提取方法	分类方法	分类精度
Kosmyna et al^[2]	视觉想象花和锤子	功率谱特征	功率谱加权共空间模式	52%
Neuper et al^[7]	视觉想象自己手部的运动和静息态	频带特征	差异敏感学习矢量量化	56%
Koizumi et al^[8]	视觉想象无人机在三个平面（上/下，左/右，前/后）中运动	频段的功率谱密度特征	SVM	84.6%
Sousa et al^[9]	视觉想象静态点、垂直上下两个方向运动的动态点以及上下左右四个方向运动的动态点	功率谱能量特征	SVM	87.64%
Yamanoi^[10]	视觉想象机器人十种不同动作	以25 ms的间隔，在400~900 ms的潜伏期对脑电数据进行采样的采样点	jack knife判别分析	89.92%
本研究	视觉想象抬腿和落腿动作	互信息脑网络特征	SVM	90.12% $\pm$ 5.43%

4 结论

Pure visual imagery as a potential approach to achieve three classes of control for implementation of BCI in non?motor disorders

2017

... [9]的结果，六维、八维互信息邻接矩阵作为特征向量取得的分类结果要高于Sousa et al^[9]的结果.与Yamanoi^[10]对视觉想象机器人十种不同动作的平均分类精度相比，网络属性特征与网络属性与邻接矩阵组合特征取得的分类结果均低于Yamanoi^[10]的结果，八维互信息邻接矩阵作为特征向量取得的分类结果要高于Yamanoi^[10]的结果.本研究和文献[8-10]的研究结果相比，分类精度有所提高.然而，这些研究的特征提取方法不同. ...

... [9]的结果.与Yamanoi^[10]对视觉想象机器人十种不同动作的平均分类精度相比，网络属性特征与网络属性与邻接矩阵组合特征取得的分类结果均低于Yamanoi^[10]的结果，八维互信息邻接矩阵作为特征向量取得的分类结果要高于Yamanoi^[10]的结果.本研究和文献[8-10]的研究结果相比，分类精度有所提高.然而，这些研究的特征提取方法不同. ...

... VI tasks (paradigm), feature extraction methods, classification methods and classification accuracies from multiple VI⁃BCI studies

Table 3

作者	VI任务	特征提取方法	分类方法	分类精度
Kosmyna et al^[2]	视觉想象花和锤子	功率谱特征	功率谱加权共空间模式	52%
Neuper et al^[7]	视觉想象自己手部的运动和静息态	频带特征	差异敏感学习矢量量化	56%
Koizumi et al^[8]	视觉想象无人机在三个平面（上/下，左/右，前/后）中运动	频段的功率谱密度特征	SVM	84.6%
Sousa et al^[9]	视觉想象静态点、垂直上下两个方向运动的动态点以及上下左右四个方向运动的动态点	功率谱能量特征	SVM	87.64%
Yamanoi^[10]	视觉想象机器人十种不同动作	以25 ms的间隔，在400~900 ms的潜伏期对脑电数据进行采样的采样点	jack knife判别分析	89.92%
本研究	视觉想象抬腿和落腿动作	互信息脑网络特征	SVM	90.12% $\pm$ 5.43%

4 结论

Elucidation of Brain Activities by Electroencephalograms and its Application to Brain Computer Interface

2016

... [10]的结果，八维互信息邻接矩阵作为特征向量取得的分类结果要高于Yamanoi^[10]的结果.本研究和文献[8-10]的研究结果相比，分类精度有所提高.然而，这些研究的特征提取方法不同. ...

... [10]的结果.本研究和文献[8-10]的研究结果相比，分类精度有所提高.然而，这些研究的特征提取方法不同. ...

... -10]的研究结果相比，分类精度有所提高.然而，这些研究的特征提取方法不同. ...

... VI tasks (paradigm), feature extraction methods, classification methods and classification accuracies from multiple VI⁃BCI studies

Table 3

作者	VI任务	特征提取方法	分类方法	分类精度
Kosmyna et al^[2]	视觉想象花和锤子	功率谱特征	功率谱加权共空间模式	52%
Neuper et al^[7]	视觉想象自己手部的运动和静息态	频带特征	差异敏感学习矢量量化	56%
Koizumi et al^[8]	视觉想象无人机在三个平面（上/下，左/右，前/后）中运动	频段的功率谱密度特征	SVM	84.6%
Sousa et al^[9]	视觉想象静态点、垂直上下两个方向运动的动态点以及上下左右四个方向运动的动态点	功率谱能量特征	SVM	87.64%
Yamanoi^[10]	视觉想象机器人十种不同动作	以25 ms的间隔，在400~900 ms的潜伏期对脑电数据进行采样的采样点	jack knife判别分析	89.92%
本研究	视觉想象抬腿和落腿动作	互信息脑网络特征	SVM	90.12% $\pm$ 5.43%

4 结论

EEG Based BCI using visual imagery task for robot control

2013

... -11]，本研究设计了下肢抬腿和落腿动作的视觉想象任务，期望通过这种VI任务驱动的BCI训练下肢运动功能障碍患者，促使其运动功能网络向有利于康复的方向可塑. ...

The kinesthetic and visual imagery questionnaire (KVIQ) for assessing motor imagery in persons with physical disabilities：a reliability and construct validity study

2007

... 根据VI量表^[12-13]得分值招募被试，分值达到一定阈值(70%)的被试参加实验.18名右利手被试（男性，年龄24~28岁）参与了本研究，所有被试无感知觉和认知障碍，视力正常或矫正至正常.每个被试在实验前都签署了知情同意书，本研究遵照赫尔辛基宣言并获得了昆明理工大学医学院医学伦理委员会的批准. ...

Vividness of visual imagery depends on the neural overlap with perception in Visual areas

Accelerated small?world property of structural brain networks in preterm infants at term?equivalent age

2019

... 基于图论的复杂脑网络分析技术是当前脑科学研究方法的热点，被广泛的应用于EEG，MEG (Magnetoencephalography)以及fMRI(functional Magnetic Resonance Imaging)研究中.大量研究表明^[14-16]，大脑不是一个完全随机的网络，也不是一个完全有序的网络，而是“经济性的”小世界网络，有较小的特征路径长度和较大的聚类系数.构建基于EEG的脑网络一般需要四个步骤^[17]：节点的定义、边的度量、阈值的选取和图论分析. ...

Small?world properties of the whole?brain functional networks in patients with obstructive sleep apnea‐hypopnea syndrome

2019

Graph theory approaches to functional network organization in brain disorders：a critique for a brave new small?world

2019

脑功能网络的fMRI特征提取及脑部疾病机器识别

2015

脑功能网络的fMRI特征提取及脑部疾病机器识别

2015

2018

... 在对脑网络进行分析时可以采用权重网络，也可以采用二值网络^[18].在将具有权重的加权网络转化为只有0和1的二值网络时需要选择合适的阈值.二值化就是将加权网络中的每一个权重与选择的阈值作对比，若权重大于阈值将定义有连接，值为1；反之定义无连接，值为0.本研究采用两个限制条件来构建阈值^[19]：(1)保证15%~75%的脑网络密度；(2)保证脑网络的小世界性.最后把阈值设置为0.3，生成选定阈值下的邻接矩阵，得到了两类任务下的脑功能网络. ...

2018

2016

... 支持向量机(Support Vector Machine，SVM)是一种分类算法，它通过寻求结构风险最小来提高学习机泛化能力，实现经验风险和置信范围最小化，从而达到在统计样本量较少时也能获得良好统计规律的目的^[20]. ...

2012

... SVM算法的核心在于^[21]：(1)在线性可分的情况下，利用间隔最大化的学习策略寻求一个间隔最大的超平面；(2)在线性不可分的情况下，通过核函数将低维的特征向量映射到高维来寻求线性可分.本研究采集的脑电信号正是小样本且是非线性的，因此选用SVM分类器. ...

基于运动想象辅助的下肢康复系统

2019

基于运动想象辅助的下肢康复系统

2019

运动想象疗法在脑卒中患者上肢康复中的应用及其神经作用机制研究进展

2019

运动想象疗法在脑卒中患者上肢康复中的应用及其神经作用机制研究进展

2019

步态运动想象疗法对脑卒中偏瘫患者步行功能的影响

2019

步态运动想象疗法对脑卒中偏瘫患者步行功能的影响

2019

The blind mind：no sensory visual imagery in aphantasia

2018

Visual imagery：the past and future as seen by patients with Alzheimer's disease

2019

Strategic visual imagery and automatic priming effects in pop?out visual search

2018

Brain activation profiles during kinesthetic and visual imagery：an fMRI study

2016

The neural correlates of visual imagery vividness：an fMRI study and literature review

2018

Spontaneous ocular positioning during visual imagery in patients with hemianopia and/or hemineglect

2016

Direct and generative retrieval of autobiographical memories：The roles of visual imagery and executive processes

2017

Imitation and matching of meaningless gestures：distinct involvement from motor and visual imagery

2017

〈

〉