南京大学学报(自然科学版) ›› 2020, Vol. 56 ›› Issue (4): 570–580.doi: 10.13232/j.cnki.jnju.2020.04.015

• • 上一篇    下一篇

基于EEG脑网络下肢动作视觉想象识别研究

李昭阳1,2,龚安民4,伏云发1,2,3()   

  1. 1.昆明理工大学信息工程与自动化学院，昆明，650500
    2.昆明理工大学脑认知与脑机智能融合创新团队，昆明，650500
    3.云南省计算机技术应用重点实验室，昆明，650500
    4.中国人民武装警察部队工程大学信息工程学院，西安，710078
  • 收稿日期:2020-03-06 出版日期:2020-07-30 发布日期:2020-08-06
  • 通讯作者: 伏云发 E-mail:fyf@ynu.edu.cn
  • 基金资助:
    国家自然科学基金(81470084)

Identification of visual imagery of movements involving the lower limbs based on EEG network

Zhaoyang Li1,2,Anmin Gong4,Yunfa Fu1,2,3()   

  1. 1.School of Information Engineering and Automation，Kunming University of Science and Technology，Kunming，650500，China
    2.Brain Cognition and Brain?Computer Intelligence Fusion Innovation Team，Kunming University of;Science and Technology，Kunming，650500，China
    3.Yunnan Provincial Key Laboratory of Computer Technology Applications，Kunming，650500，China
    4.School of Information Engineering，Engineering University of PAP，Xi'an，710078，China
  • Received:2020-03-06 Online:2020-07-30 Published:2020-08-06
  • Contact: Yunfa Fu E-mail:fyf@ynu.edu.cn

RichHTML

27

PDF (PC)

781

摘要：

基于想象的脑机接口(Brain?Computer Interface,BCI)在运动障碍康复中有潜在的应用.传统的想象任务是运动想象(Motor Imagery，MI)，但MI不易习得和控制，且存在“BCI（Brain Computer Interface）盲”现象，使得该类BCI的实用化受限.为寻找下肢运动障碍的康复方法，采用一种较少被研究且易完成的心理想象，即“视觉想象（Visual Imagery，VI）”来构建BCI，但该类BCI的分类难度较大，需要探索有效的特征提取方法.招募18名被试参加两种动态图片的视觉想象任务并采集脑电(Electroencephalogram,EEG)数据；采用EEG互信息构建功能网络，利用图论分析方法计算脑网络的网络属性特征，分别以网络属性特征、不同维度邻接矩阵空间特征与网络属性与邻接矩阵组合特征构建特征向量；最后采用支持向量机(Support Vector Machine,SVM)对两类视觉想象任务进行分类.结果显示，采用八维互信息邻接矩阵构建的空间特征集具有较好的可分性，平均分类精度为90.12%±5.43%，表明基于EEG互信息邻接矩阵空间特征是识别所设计的VI任务的有效特征，可望为构建新型的在线视觉想象脑机接口用于下肢运动障碍康复提供思路.

关键词: 视觉想象, 脑机交互, 互信息, 邻接矩阵

Abstract:

Imagery?based brain?computer interface (BCI) has potential applications in the rehabilitation of movement disorders. The traditional imagery task for BCI consists of motor imagery (MI). MI tasks are difficult for subjects，and there are even subjects who are incapable of MI. This makes MI?BCI difficult to implement in practice. This study aimed at finding a rehabilitation method for lower limb movement disorders. We used a less studied and more easily performed mental imagery (Visual Imagery，VI) to implement a BCI. However，classification of VI tasks is challenging. Therefore，effective feature extraction methods require further exploration for VI?BCI. In this study，18 subjects were recruited to participate in two kinds of dynamic pictures of visual imagery，during which EEG (Electroencephalogram) data were collected. Next，the mutual information based on EEG were used to construct a functional network,and graph theory analysis was used to calculate the network attribute features of the constructed brain network. The feature vectors were constructed by the network attribute features：the spatial features of adjacency matrix of different dimensions and the combination features of network?attribute and adjacency matrix. A support vector machine (SVM) was used to classify the two kinds of VI tasks. The results showed that the spatial characteristics constructed by an eight?dimensional (8?D) mutual information adjacency matrix has good separability，and the average classification accuracy was 90.12%±5.43%，which showed that spatial characteristics constructed by an adjacency matrix of EEG mutual information was effective features for identifying VI tasks. Hence，our findings may provide new ideas for the construction of a novel on?line VI?BCI for the rehabilitation of lower limb movement disorders.

Key words: visual imagery, brain?computer interface, mutual information, adjacency matrix

中图分类号: 

  • TP391

图1

本研究采用的两种VI任务：(a)视觉想象抬腿动作；(b)视觉想象落腿动作"

图2

一个trail时序示意图"

表1

两种VI任务脑电数据在每个频段的t检验值"

被试deltathetaalphabetagamma
10.0570.6230.001***0.0650.084
20.1240.3860.001***0.0720.245
30.1720.045*0.023*0.4690.190
40.5790.4520.008**0.7540.312
50.4220.3250.6530.1640.270
60.026*0.8300.035*0.2260.459
70.3760.9620.2740.3950.731
80.0760.6310.038*0.3390.126
90.0820.2310.000***0.4210.235
100.1370.032*0.019*0.014*0.538
110.047*0.2920.049*0.7350.027*
120.3910.0530.023*0.6190.721
130.010*0.007**0.044*0.3740.731
140.2940.3370.010*0.5380.077
150.0590.3910.007**0.2250.648
160.4710.7770.022*0.4200.827
170.024*0.3090.0910.6610.421
180.3740.0730.009**0.1420.520

图3

基于互信息抬腿和落腿动作视觉想象脑电数据的总平均邻接矩阵：(a)基于互信息抬腿动作视觉想象脑电数据的总平均邻接矩阵;(b)基于互信息落腿动作视觉想象脑电数据的总平均邻接矩阵"

表2

基于互信息网络视觉想象抬腿和落腿动作网络属性特征t检验值"

VI任务节点度

聚类

系数

特征路径长度

全局

效率

局部

效率

抬腿动作0.008740.013100.034600.433940.3740
落腿动作0.003510.042100.047100.674520.7160

图4

基于互信息的视觉想象抬腿与落腿动作脑功能网络：(a)基于互信息视觉想象抬腿动作脑功能网络；(b)基于互信息视觉想象落腿动作脑功能网络"

图5

采用互信息构建脑功能网络提取的网络属性特征的平均分类精度"

图6

采用互信息构建脑功能网络提取不同维度邻接矩阵的平均分类精度"

图7

采用互信息构建脑功能网络提取的网络属性与邻接矩阵组合特征的平均分类精度"

表3

VI?BCI研究中VI任务（范式）、特征提取方法、分类方法及分类精度"

作者VI任务特征提取方法分类方法分类精度
Kosmyna et al[2]视觉想象花和锤子功率谱特征功率谱加权共空间模式52%
Neuper et al[7]视觉想象自己手部的运动和静息态频带特征差异敏感学习矢量量化56%
Koizumi et al[8]视觉想象无人机在三个平面（上/下，左/右，前/后）中运动频段的功率谱密度特征SVM84.6%
Sousa et al[9]视觉想象静态点、垂直上下两个方向运动的动态点以及上下左右四个方向运动的动态点功率谱能量特征SVM87.64%
Yamanoi[10]视觉想象机器人十种不同动作以25 ms的间隔，在400~900 ms的潜伏期对脑电数据进行采样的采样点jack knife判别分析89.92%
本研究视觉想象抬腿和落腿动作互信息脑网络特征SVM90.12%±5.43%
1 Pfurtscheller G，Neuper C. Motor imagery and direct brain–computer communication. Proceedings of the IEEE，2001，89(7)：1123-1134.
2 Kosmyna N，Lindgren J T，Lécuyer A. Attending to visual stimuli versus performing visual imagery as a control strategy for EEG?based brain?computer interfaces. Scientific Reports，2018，8：13222.
3 La Fleur K，Cassady K，Doud A，et al. Quadcopter control in three?dimensional space using a noninvasive motor imagery?based brain?computer interface. Journal of Neural Engineering，2013，10(4)：046003.
4 Thompson M C. Critiquing the concept of BCI illiteracy. Science and Engineering Ethics，2018，25(4)：1217-1233.
5 Vidaurre C，Blankertz B. Towards a cure for BCI illiteracy. Brain Topography，2010，23(2)：194-198.
6 Blankertz B，Sannelli C，Halder S，et al. Neuro?physiological predictor of SMR?based BCI performance. NeuroImage，2010，51(4)：1303-1309.
7 Neuper C，Scherer R，Reiner M，et al. Imagery of motor actions：differential effects of kinesthetic and visual?motor mode of imagery in single?trial EEG. Cognitive Brain Research，2006，25(3)：668-677.
8 Koizumi K，Ueda K，Nakao M. Development of a cognitive brain?machine interface based on a visual imagery method∥2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). Honolulu，HI，USA：IEEE，2018.
9 Sousa T，Amaral C，Andrade J，et al. Pure visual imagery as a potential approach to achieve three classes of control for implementation of BCI in non?motor disorders. Journal of Neural Engineering，2017，14(4)：046026.
10 Yamanoi T. Elucidation of Brain Activities by Electroencephalograms and its Application to Brain Computer Interface∥2016 IEEE 46th International Symposium on Multiple?Valued Logic. Sapporo，Japan：IEEE，2016.
11 Azmy H，Safri N M. EEG Based BCI using visual imagery task for robot control. Jurnal Teknologi，2013，61(2)：7-11.
12 Malouin F，Richards C L，Jackson P L，et al. The kinesthetic and visual imagery questionnaire (KVIQ) for assessing motor imagery in persons with physical disabilities：a reliability and construct validity study. Journal of Neurologic Physical Therapy，2007，31(1)：20-29.
13 Dijkstra N，Bosch S E，Van Gervenl M A J. Vividness of visual imagery depends on the neural overlap with perception in Visual areas. Journal of Neuroscience，2017 37(5)：1367-1373.
14 Lee J Y，Park H K，Lee H J. Accelerated small?world property of structural brain networks in preterm infants at term?equivalent age. Neonatology，2019，115(2)：99-107.
15 Huang Y Q，Liu Y T，Zhao D D，et al. Small?world properties of the whole?brain functional networks in patients with obstructive sleep apnea‐hypopnea syndrome. Sleep Medicine，2019，62：53-58.
16 Hallquist M N，Hillary F G. Graph theory approaches to functional network organization in brain disorders：a critique for a brave new small?world. Network Neuroscience，2019，3(1)：1-26.
17 黄嘉爽，梅雪，袁晓龙等. 脑功能网络的fMRI特征提取及脑部疾病机器识别.智能系统学报,2015,10(2):248-254.
Huang J S,Mei X,Yuan X L,et al. FMRI feature extraction and identification of brain diseases based on the brain function network. Journal of intelligent systems,2015,10(2)：248-254.
18 闫亚敏. 运动想象脑电信号的脑网络特征分析与提取. 硕士学位论文. 郑州：郑州大学，2018.
Yan Y M. Brain network features analysis and extraction of motor imagery EEG signals. Master Dissertation. Zhengzhou：Zhengzhou University，2018.
19 彭尧. 基于fMRI脑功能网络的分析方法研究. 硕士学位论文. 昆明：昆明理工大学，2018.
Peng Y. Research on analysis method based on fMRI brain function network. Master Dissertation. Kunming：Kunming University of Technology，2018.
20 周志华. 机器学习. 北京：清华大学出版社，2016，121-139，298-300.
21 李航. 统计学习方法. 北京：清华大学出版社，2012，95-135.
22 江雨林，谢亮，袁翀等.基于运动想象辅助的下肢康复系统. 电脑与电信，2019（4）：5-7.
Jiang Y L,Xie L,Yuan C. Lower limb rehabilitation control system based on motion imaging assistance. Computer & Telecommunication,2019(4)：5-7.
23 王鹤玮,贾杰,孙莉敏. 运动想象疗法在脑卒中患者上肢康复中的应用及其神经作用机制研究进展.中华物理医学与康复杂志,2019,41(6)：473-476.
Wang H W,Jia J,Sun L M. The application of motor imagery therapy in upper limb rehabilitation of stroke patients and the research progress of its neural mechanism. Chinese Journal of Physical Medicine and Rehabilitation,2019,41(6)：473-476.
24 徐博然,陈慧君. 步态运动想象疗法对脑卒中偏瘫患者步行功能的影响.解放军护理杂志，2019,36(5)：16-20.
Xu B,Chen H. Effect of gait imagery therapy on walking function in hemiplegic patients after stroke. Nursing Journal of Chinese People's Liberation Army,2019,36(5)：16-20.
25 Keogh R，Pearson J. The blind mind：no sensory visual imagery in aphantasia. Cortex，2018，105：53-60.
26 El Haj M，Moustafa A A，Gallouj K，et al. Visual imagery：the past and future as seen by patients with Alzheimer's disease. Consciousness and Cognition，2019，68：12-22.
27 Cochrane B A，Zhu H Z，Milliken B. Strategic visual imagery and automatic priming effects in pop?out visual search. Consciousness and Cognition，2018，65：59-70.
28 Kilintari M，Narayana S，Babajani?Feremi A，et al. Brain activation profiles during kinesthetic and visual imagery：an fMRI study. Brain Research，2016，1646：249-261.
29 Fulford J，Milton F，Salas D，et al. The neural correlates of visual imagery vividness：an fMRI study and literature review. Cortex，2018，105：26-40.
30 Fourtassi M，Rode G，Tilikete C，et al. Spontaneous ocular positioning during visual imagery in patients with hemianopia and/or hemineglect. Neuropsychologia，2016，86：141-152.
31 Anderson R J， Dewhursta S A，Dean G M. Direct and generative retrieval of autobiographical memories：The roles of visual imagery and executive processes. Consciousness and Cognition，2017，49：163-171.
32 Lesourd M，Navarro J，Baumard J，et al. Imitation and matching of meaningless gestures：distinct involvement from motor and visual imagery. Psychological Research，2017，81(3)：525-537.
[1] 程玉胜,陈飞,庞淑芳. 标记倾向性的粗糙互信息k特征核选择[J]. 南京大学学报(自然科学版), 2020, 56(1): 19-29.
[2] 刘　素, 刘惊雷. 基于特征选择的CP－nets结构学习[J]. 南京大学学报(自然科学版), 2019, 55(1): 14-28.
[3]  崔　晨，邓赵红*，王士同.  面向单调分类的简洁单调TSK模糊系统[J]. 南京大学学报(自然科学版), 2018, 54(1): 124-.
[4]  严丽宇1，魏　巍1，2*，郭鑫垚1，崔军彪1.  一种基于带核随机子空间的聚类集成算法[J]. 南京大学学报(自然科学版), 2017, 53(6): 1033-.
[5] 公冶小燕1，3，林培光1，2*，任威隆1，张　晨1，张春云1. 基于改进的TF－IDF算法及共现词的主题词抽取算法[J]. 南京大学学报(自然科学版), 2017, 53(6): 1072-.
[6] 李禾澍，王　栋*，王远坤. 基于信息熵的多目标水文站网优化探讨[J]. 南京大学学报(自然科学版), 2017, 53(2): 326-.
[7] 朱杰1,2, 刘博1,, 超木日力格1, 于剑1*. 基于对象颜色的图像特征加权表示方法[J]. 南京大学学报(自然科学版), 2016, 52(1): 167-174.
[8] 魏巍1,2*魏琪1王锋1,2. 粗糙集的不确定性度量比较研究[J]. 南京大学学报(自然科学版), 2015, 51(4): 714-722.
[9] 胡学钢*，许尧，李培培，张玉红. 一种过滤式多标签特征选择算法[J]. 南京大学学报(自然科学版), 2015, 51(4): 723-730.
[10] 许行1，梁吉业1,2，王宝丽1. 基于双向有序互信息的单调分类决策树算法[J]. 南京大学学报(自然科学版), 2013, 49(5): 628-636.
[11]  魏建香 1 ** , 孙越泓 2 , 朱云霞 1 , 徐厚明 3 , 孙? 俊 3 , 帅友良 1
.  一种基于互信息的药品不良反应信号检测方法*
[J]. 南京大学学报(自然科学版), 2010, 46(6): 705-712.
Viewed
Full text


Abstract

Cited
  Shared   
  Discussed   
[1] 缪长健, 施斌, 郑兴, 王湛, 魏广庆. 海上超长PHC管桩BOFDA内力测试[J]. 南京大学学报(自然科学版), 2018, 54(6): 1057 -1063 .
[2] 阚　威, 李　云. 基于LSTM的脑电情绪识别模型[J]. 南京大学学报(自然科学版), 2019, 55(1): 110 -116 .
[3] 曹　群，陈蓓蓓，宫辉力，周超凡，罗　勇，高明亮，王　旭，史　珉，赵笑笑，左俊杰. 基于SBAS和IPTA技术的京津冀地区地面沉降监测[J]. 南京大学学报(自然科学版), 2019, 55(3): 381 -391 .
[4] 罗　跃，严学新，杨天亮，叶淑君，吴吉春. 上海陆域地区地下水采灌与地面沉降的时空特征[J]. 南京大学学报(自然科学版), 2019, 55(3): 449 -457 .
[5] 徐扬,周文瑄,阮慧彬,孙雨,洪宇. 基于层次化表示的隐式篇章关系识别[J]. 南京大学学报(自然科学版), 2019, 55(6): 1000 -1009 .
[6] 刘作国,陈笑蓉. 汉语句法分析中的论元关系模型研究[J]. 南京大学学报(自然科学版), 2019, 55(6): 1010 -1019 .
[7] 黄华娟,韦修喜. 基于自适应调节极大熵的孪生支持向量回归机[J]. 南京大学学报(自然科学版), 2019, 55(6): 1030 -1039 .
[8] 郭小松,赵红丽,贾俊芳,杨静,孟祥军. 密度泛函理论方法研究第一系列过渡金属对甘氨酸的配位能力[J]. 南京大学学报(自然科学版), 2019, 55(6): 1040 -1046 .
[9] 李勤,陆现彩,张立虎,程永贤,刘鑫. 蒙脱石层间阳离子交换的分子模拟[J]. 南京大学学报(自然科学版), 2019, 55(6): 879 -887 .
[10] 王冬丽,申俊峰,邱海成,杜佰松,李建平,聂潇,王业晗. 辽宁五龙金矿黄铁矿标型特征研究及深部找矿预测[J]. 南京大学学报(自然科学版), 2019, 55(6): 898 -915 .

版权所有 © 2021 《南京大学学报(自然科学)》

地址：江苏省南京市鼓楼区汉口路22号，南京大学学报编辑部，210093

电话：025-83592704 , 传真：025-83592704        技术支持：北京玛格泰克科技发展有限公司