脑机接口（Brain⁃Computer Interface，BCI）技术为言语、运动障碍患者提供了一种新的交流或控制方式，这是一种不依赖于正常外周神经和肌肉通路直接通过大脑与外部辅助设备交互的通信系统^［1］.目前常见的有基于P300成分^［2］、稳态视觉诱发电位（Steady⁃State Visual Evoked Potentials，SSVEP）^［3］和运动想象^［4］的BCI系统，其中基于P300成分与SSVEP的BCI系统需要外部视觉刺激，使用者在使用过程中长时间注视屏幕容易导致视觉疲劳.而基于运动想象的BCI系统存在部分被试不能执行这一心理任务，即BCI盲现象.为了克服这些局限性，学者们提出了基于言语想象的BCI系统，即人们在心中默读或想象某些特定的字符或语句，BCI系统通过识别大脑言语想象时的信号特征，即可输出对应的控制指令.这种范式既不需要持续存在的视觉刺激，也避免了运动想象BCI盲现象，为BCI系统的发展提供了更多选择^［5］.

对言语产生时脑神经信号的研究可追溯至1967年，Schafer^［6］发现在阅读不同字母的前525 ms期间，同一大脑皮层区域有不同的皮层电位.Hiraiwa et al^［7］利用阅读五个日语元音时的准备电位进行分类.Suppes et al^［8］发现在不同单词的听觉刺激及想象过程中，可以利用脑神经信号进行分类.在随后的研究中，越来越多的学者关注言语想象过程中对脑神经信号的分类，并逐渐将其发展为BCI系统中一个重要的范式.

基于言语想象的BCI系统是一种新兴范式，尚未形成规范统一的实验范式，相关文献都是探究性的设计及研究.在提示材料呈现方式方面，Zhang et al^［9］在对汉语音节四种音调的研究中指出，采用视听结合的方式呈现提示材料的分类准确率要高于仅使用视觉提示.在想象材料选择方面，Alsaleh et al^［10］根据语义上的变化选择11个材料，包括无语义的音节/ba/和/ku/，方向词“left”“right”“up”“down”，回答词“yes”“no”，情绪词“happy”“sad”“help”，研究结果表明想象不同类型的单词与空闲状态的分类准确率没有差异.

虽然前人研究已充分说明言语想象能够成为一种BCI控制的重要范式，但在以往的言语想象研究中，仍然存在实验范式设计差异性大、标准尚未统一等问题.特别是被试在执行言语想象期间，一部分实验范式的言语想象期和提示期是重合的，即在想象过程中提示材料持续存在^［11-12］，而另一部分实验范式言语想象期和提示期是相互独立的^［13-14］.这两种范式的差异是否会对分类效果产生影响，提示材料对视觉活动的影响是否会干预到言语想象过程，这些问题都还不清楚，亟待研究.因此，通过对言语想象实验范式及其背后神经机制的研究，能够规范实验范式设计方法，进而促进这一范式的推广应用.

针对上述问题，本文重点研究在言语想象任务执行过程中，提示材料的存在是否会对脑神经机制及言语想象的分类效果产生影响，即大脑在执行言语想象任务时，电脑屏幕呈现黑屏或提示材料，何种呈现形式能够产生更加明显的脑电（Electroencephalography，EEG）特征，通过研究实验范式可对后续言语想象范式设计、异步系统开发及模型训练有积极作用.为此，本文选择“吃”和“右”两个汉字作为言语想象材料，由于这两个汉字有不同的发音、字形和意义，并在日常生活中常用，因此选择这两个汉字作为言语想象材料，分别比较两种不同实验范式条件下的EEG数据，并进行时域、时频、空域分析及分类.

12名来自本团队的研究生参加了此次实验，包括八名男生和四名女生，身体健康且都为右利手，年龄24~26岁.所有被试都能说流利的普通话，有正常或矫正至正常的视力，并且心理健康.其中八名被试之前曾参加相关的BCI实验，在实验之前均签署了《知情同意书》.实验前一晚被试都没有熬夜，进行了良好的休息，实验前没有饮酒、抽烟及喝茶.实验数据采集过程中，被试坐在舒适的椅子上，距离显示器0.5 m，手自然地放在椅子扶手上.整个实验流程通过了昆明理工大学伦理委员会的批准.

本实验有两个目的：第一，探究在言语想象任务执行过程中，提示材料的存在是否对言语想象状态的脑神经机制及言语想象与空闲状态的分类效果产生影响；第二，探究在言语想象任务执行过程中，提示材料的存在是否对两种不同言语想象任务的分类效果产生影响.

为此，设计了两种范式来探究提示材料对言语想象的影响.第一种实验范式的时序图如图1a所示，时间轴上方标注了单个试次的各个时期，时间轴下方对应各个时期屏幕呈现的内容.首先在屏幕显示3 s的“+”，提示被试准备进入实验，期间要求被试双眼注视“+”，身体尽量不发生移动；然后屏幕显示1 s的视觉提示，提示期随机显示“吃”或“右”，接着是为期3 s的想象期，屏幕呈黑屏状态；最后在屏幕显示3 s的“休息”，提示被试休息，此时被试可以小幅度移动身体.在想象期，要求被试以第一人称的角度想象提示期呈现的材料，并在心里默读提示的材料，但是不能发出声音，发音器官与面部器官也要保持静止.第二种实验范式的时序图如图1b所示，与第一种实验范式相比，唯一的区别是在想象期存在持续的视觉提示.无论何种范式，实验开始前屏幕都会出现“欢迎进入实验 按空格开始”的字样，提醒被试在准备好后主动进入实验.

每名被试在两种范式下各做五组实验，每组实验包含30个试次（“吃”和“右”各15个试次），则试验结束时每名被试的每种范式有150次实验.对于两种实验范式，在执行言语想象与空闲状态分类识别时均选择准备期与想象期的EEG数据进行分类，而在执行两种不同言语想象任务分类识别时，选择两种状态下想象期的EEG数据进行分类.

使用清华大学的Mipower16导联脑电放大器，采样率为1000 Hz；格林泰克公司的生理盐水脑电帽，脑电帽电极排列方式为10⁃20系统国际标准，16个电极的位置如图2所示.选择头顶的两个电极作为参考电极与接地电极，并且所有电极阻抗均降至5kΩ以下.EEG数据由运行于Windows 10上的EEGCollection软件记录.

由于人总是会眨眼，这对EEG信号影响较大，因此要通过EEGLAB^［15］中的Adjust插件去除EEG信号中的眼电干扰成分以及由电极噪声引起的伪迹.Jahangiri and Sepulveda^［16］通过言语想象分类任务发现α波（8~13 Hz）及β波（14~30 Hz）能产生较高的分类性能，因此在空域分析及执行分类任务时选择8~30 Hz带通滤波器进行滤波，在时域分析及时频分析过程中根据不同的需求选择不同的波段进行滤波.

和自发的EEG节律相比，事件相关电位（Event Related Potential，ERP）是某种心理活动出现时脑区产生的电位变化，或是由某种刺激诱发的电位^［17］.目前对ERP的相关研究大都关注某种刺激诱发的ERP成分，对某种心理活动诱发的研究较少，尤其是对新兴范式的言语想象关注甚少.在对言语想象的ERP研究中，Dasallal et al^［11］与杨晓芳和江铭虎^［18］有不同的绘制方式.Dasallal et al^［11］选择在执行言语想象任务时与控制条件下（屏幕白屏，不执行任何言语想象任务）分别绘制ERP，发现在执行言语想象任务时有明显的ERP波形.杨晓芳和江铭虎^［18］在控制条件下不执行任何言语想象任务，但屏幕选用与言语想象任务相当的符号作为视觉提示，绘制言语想象和控制条件的ERP波幅差异.由于大脑活动具有非线性特性，不能将两种条件下的波幅差异表征为言语想象的ERP，因此在本研究中选择执行言语想象任务时绘制ERP.

在ERP时域分析过程中，为消除低频噪声及工频干扰，选择0.5~40 Hz带通滤波器进行滤波，然后进行基线校正和分段叠加处理.这一系列操作均在EEGLAB中完成.

EEG信号是一种不平稳的时变信号，会因外界刺激或心理活动而发生改变，通过时频分析可以了解EEG信号各频率成分随时间的变化情况.为探究言语想象期间EEG信号频段能量的相对变化，本研究采用事件相关谱扰动（Event Related Spectral Perturbation，ERSP）进行时频分析.ERSP表示相对于基线水平EEG频谱能量随时间变化的情况^［19］.

ERSP算法是将同一事件多次实验数据的能量谱叠加，如果执行言语想象任务时的能量谱有提高或降低，则证明EEG信号能量的变化对事件有锁时关系.在ERSP时频分析过程中，为了保留θ波（4~7 Hz）、α波（8~13 Hz）、β波（14~30 Hz）及γ波低频段（30~45 Hz）的信息，选择5~45 Hz带通滤波器进行滤波，滤波后使用EEGLAB绘制时频图.利用时频分析可以观察到与言语想象相关的EEG时间与频率范围.

共空间模式（Commom Spatial Patterns，CSP）算法可以实现空间滤波并提取两类信号特征，通过设计空间滤波器来提取两类模式间方差最大的EEG数据成分^［20］.本研究主要针对二分类任务，下面简要描述CSP算法.

XaN×T表示一类EEG数据矩阵，其中，N为EEG数据的电极数，T为每个电极采集的样本数.同理，Xb表示另一类EEG数据矩阵.两类数据的协方差矩阵分别为：

其中，traceXaXaT是指矩阵XaXaT的对角元素之和.然后，将两类数据的协方差矩阵相加得到混合协方差矩阵，如式（2）所示：

对混合协方差矩阵进行特征分解，如式（3）所示：

通过下式进行白化变换：

将Ca和Cb经过白化变换后分别得到矩阵Sa和Sb，并且得到的两个矩阵具有相同的特征向量，再分别对其进行特征分解，如式（6）所示：

矩阵ya和yb的和为单位矩阵，并且矩阵Sa和Sb具有相同的特征向量B.由此可知，对一类数据特征值最大的特征向量对另一类数据特征值最小，反之亦然.将EEG信号进行白化变换，再选取矩阵B的前m列及后m列构成空间滤波器，按照式（7）可以得到映射矩阵，即空间滤波器：

矩阵W-1的列是共空间模式，即两类条件下的EEG源分布向量.最后，将每次试验的EEG数据按式（8）进行分解：

得到的新矩阵Z，其方差能最大化区分两类任务.

虽然这一算法被广泛应用于运动想象和言语想象分类任务，但其对噪声较为敏感，因此在分类中还使用了Jin et al^［21］提出的正则化CSP（Regularized RCSP）算法，并将其与CSP算法进行对比，确定其是否可以提高言语想象任务分类性能，这一算法主要通过引入两个正则化参数并计算两种协方差矩阵来实现正则化.

本文使用支持向量机（Support Vector Machine，SVM）来实现两类EEG数据分类，因为SVM具有较好的泛化能力，并且对维度灾难和过拟合问题有较强的适应能力^［22］.SVM处理二分类问题的基本原理是寻找一个最优化的分类超平面使两类数据间的分类间隔最大，适用于解决小样本、非线性和高维度模型等问题，由于EEG数据具有样本量少、非线性等特点，所以本文选择SVM作为分类器.

本文的实验平台为MATLAB 2019 a，所有实验内容均在该平台内运行.

在视觉提示后被试便开始执行言语想象任务，此时视觉提示也会诱发相应的ERP，但视觉刺激诱发的ERP主要集中于枕叶和顶叶区域，因此在视觉提示后言语想象ERP波形集中在其他脑区，将同一被试的EEG信号进行叠加平均就得到执行言语想象任务时的ERP波形.由于两种范式都是在视觉提示后由被试开始执行言语想象任务，且对ERP的分析仅关注执行言语想象任务后的前0.8 s，因此没有对两种不同范式下的ERP进行对比分析.

图3a为被试12在范式一条件下执行言语想象任务“右”时不同电极处的ERP波形，通过观察不同脑区的ERP波形容易发现，在执行言语想象任务时前额叶皮层有更明显的ERP波形.图3b为前额叶皮层位置处电极FP1的ERP波形，可见在视觉提示后出现负波趋势，随后在240 ms处出现上升趋势，这一波形与Dasallal et al^［11］发现的元音想象时的ERP波形类似.通过观察言语想象时的ERP波形，可以发现枕叶和顶叶区域的波形呈无规律变化，造成这一现象的原因是否是视觉提示与言语想象的叠加仍需不断探究.图3c为被试6在范式一条件下执行两种不同言语想象任务时的ERP波形，其中蓝色曲线为想象“吃”的ERP波形，红色曲线为想象“右”的ERP波形，由图可见，两种不同言语想象任务有相似的ERP波形.

为了分析言语想象任务执行时各频段信号能量的变化、比较两种不同实验范式之间的差异及两种言语想象任务之间的差异，对预处理之后的EEG信号应用ERSP分析言语想象期间其能量的时频分布.言语想象BCI系统的脑区选择大都关注大脑左侧的布洛卡区与韦尼克区及前额叶皮层，并且这些脑区都与语言的加工处理存在密切联系.由于电极F7与FP1靠近这些区域，所以选择这两个电极进行对比分析.被试12在执行言语想象任务“右”期间，两种不同实验范式下的时频分析如图4a所示，被试6在范式一条件下执行两种言语想象任务时的时频分析如图4b所示.图中横坐标为时间，单位是ms，纵坐标为EEG频率，其中0时刻与图１中第3 s相对应.从图4a可以发现，在执行言语想象任务“右”时不同电极的差异小于同一电极不同范式的差异，范式一中两个电极EEG信号能量在8~13 Hz的频率范围内和基线相比有明显的降低，而在范式二中却不存在这一现象，且其他被试也有类似结果.从图4b可以发现，在范式一条件下执行两种不同言语想象任务时，同一通道的差异不太明显，这也与时域分析结果相一致.

在空域分析中，利用CSP算法计算执行言语想象与空闲状态的空间模式即W-1，其列向量的第一列与最后一列最具有差异性，能够反映区分两类任务的难易程度^［23-24］.图5展示了被试1在两种不同范式下想象“右”与空闲状态的空间模式.在执行言语想象任务“右”时的空间模式中，左侧布洛卡区和前额叶处存在激活，在空闲状态时的空间模式由于准备期“+”的持续存在，刺激诱发枕叶视觉皮层激活.执行言语想象任务时，在范式一条件下能激活更多的脑区.由于执行两种不同言语想象任务时不同被试间的空间模式不尽相同，因此在空域分析中没有展示执行两种不同言语想象任务时的空间模式.

在分类过程中，首先利用CSP及RCSP计算两种状态EEG数据的特征，然后利用SVM进行两种状态间的分类.在两种范式下区分言语想象与空闲状态时，都是选择言语想象期和准备期的EEG数据进行分类，准备期数据截取被试注视“+”时前2 s片段，想象期数据截取被试执行言语想象任务时前2 s片段.将每名被试的数据分为训练集与测试集，表1给出了两种范式下言语想象与空闲状态的分类结果.

大部分被试在范式一中的言语想象与空闲状态的分类准确率明显高于范式二，少部分被试在两种范式中取得了接近一致的准确率，仅被试2在范式二中的准确率明显高于范式一（如表1所示）.因此，在后续言语想象研究中，为了更好地区分言语想象与空闲状态，在执行言语想象任务时可以在屏幕呈现黑屏状态.

其次，选择执行两种不同言语想象任务时的EEG数据进行分类，想象期数据截取被试执行言语想象任务时前2 s片段.在两种不同范式下，将每名被试的数据分为训练集与测试集，表2展示了得到的分类结果.由表可见，在两种范式下，区分两种不同言语想象任务时的准确率不及言语想象与空闲状态的高，且范式一下的准确率略高于范式二.

综合表1和表2的实验结果可见，正则化方法的使用可以提高CSP的分类性能.

本研究设计了两种不同的言语想象实验范式，用于比较不同范式下执行言语想象任务时的脑神经机制及分类效果，其结果可为后续基于言语想象研究的实验范式设计提供参考.实验过程中，被试完成言语想象任务，并同步记录EEG数据.在数据分析过程中为了全面了解言语想象的神经机制，选择了时、频、空多种方法进行分析，并提取了言语想象的空域特征进行分类.

时域分析表明，在执行言语想象任务时前额叶皮层有更明显的ERP波形，这也与Koizumi et al^［25］通过言语想象分类任务得到的结论类似，他们认为前额叶皮层对分类任务有较大的贡献.在执行不同汉字言语想象任务时，同一电极位置处有相似的ERP波形，这使利用言语想象时的ERP特征进行分类存在一定的难度.执行言语想象时的ERP波形与真实语音的准备电位也相似^［26］，表明言语想象这一心理活动与真实语音之间有部分相同的脑神经机制.本文绘制的ERP电位与杨晓芳和江铭虎^［18］的报告存在差异，造成这一现象的原因是绘制方式不同.杨晓芳和江铭虎^［18］绘制的是发音想象和控制条件的ERP波幅差异，本文及Dasallal et al^［11］都是选择想象期绘制ERP.

通过时频分析，一方面可以选择合适的时间及滤波范围，进而提取明显的分类特征，另一方面，可分析不同范式下特征的明显程度.时频分析结果表明，在执行言语想象任务时大脑左侧的布洛卡区与韦尼克区及前额叶皮层的EEG信号在8~13 Hz的频率范围内和基线相比有明显的能量降低，由于个体差异性，时间、频率范围对不同的个体也会存在些许差距.在执行言语想象任务时，与范式二相比，范式一在时频分析中有更明显的特征变化，但在执行两种不同言语想象任务时的差异却不太明显，这也与时域分析的结果一致.执行心理想象任务时特定节律能量的变化即为同步/去同步现象，其中运动想象范式就是基于这种电生理想象设计开发的实验范式，而言语想象也存在此种现象，对特定脑区这一现象的分析将会促进言语想象多分类任务的发展.

CSP算法作为空域特征提取方法，得到的空间滤波器向量中元素的数值可以反映不同电极对分类的贡献.通过前面的分析可发现，执行言语想象任务会激活左侧布洛卡区和前额叶，但执行两种不同言语想象任务时，空域分析结果存在较大的个体差异性，产生这一现象的原因可能是每个人对言语信息处理有不同的方式.

从分类结果来看，在范式一条件下，言语想象与空闲状态的分类准确率明显高于范式二.造成这一现象的原因可能是黑屏使被试有意地去执行言语想象任务，而当屏幕显示提示汉字时，被试不必刻意地执行言语想象任务，注意力的集中程度也比范式一差；也可能是因为在执行言语想象任务时，视觉提示材料的持续呈现会刺激并激活大脑对视觉信息的处理，同样在准备期也存在持续的“+”视觉提示，使得在准备期和言语想象期的EEG有相似的模式，进而导致范式二中的分类准确率不及范式一.在两种不同言语想象状态分类任务中，虽然两种范式下的准确率差别不大，但在后续设计实验范式时仍建议参考范式一的形式，即在言语想象期屏幕呈现黑屏.由于这样的范式设计对异步系统比较友好，被试可以根据自己的意愿随时执行言语想象任务，避免了特定视觉提示存在的局限性.

郭苗苗等^［23］在默读汉字分类任务中，默读汉字与空闲状态的平均准确率为85.1%，区分默读两个不同汉字的平均准确率均达到了70.0%.杨晓芳和江铭虎^［18］在音位想象分类任务中，执行音位想象与空闲状态的平均准确率为76.0%.Wang et al^［13］在汉字言语想象分类任务中，汉字想象与空闲状态的平均准确率为83.6%，区分想象两个不同汉字的平均准确率为66.9%.

综合来看，言语想象任务的分类性能比运动想象低，产生这一结果的原因可能有两种：一是上述文献都使用经典的CSP进行空域特征提取，没有使用较新颖的算法；二是言语想象作为一种直观范式，产生的特征不太明显.因此，在后续的言语想象研究中可使用较新颖的算法对其进行特征提取及分类.

基于言语想象的BCI研究还处于初期阶段，对其范式及神经机制的研究有重要意义.12名被试参与了本次实验研究，并且，在实验结束后，部分被试指出言语想象和运动想象相比，执行起来也相对容易.言语想象作为一种对被试较为友好的范式，未来在语言功能恢复、多自由度控制领域将有广阔的应用空间.

Xu et al^［27］在其最新的BCI评述中指出，基于EEG的BCI面临的挑战及未来的研究方向是设计认知负荷较低且自然的脑机交互范式，而言语想象范式就能满足这一需求，因此对言语想象范式的探究具有重要意义.Xu et al^［27］还指出，未来的研究方向之一应是以EEG的机制及特征为指导，选择合适的BCI算法，因此对EEG信号进行时、频、空域分析确实存在必要性.

本文设计了两种不同的言语想象范式，从时域、时频、空域进行分析，并对不同状态间的EEG信号进行分类.实验结果表明，执行言语想象任务时屏幕呈现黑屏能激活更多的脑区，并且大脑左侧的布洛卡区与韦尼克区及前额叶皮层的EEG信号在8~13 Hz的频率范围内和基线相比有明显的能量降低.执行言语想象任务时屏幕呈现黑屏时，言语想象与空闲状态的平均分类准确率为80.6%，当屏幕呈现提示材料时为73.1%.在两种不同言语想象状态分类任务中，两种范式下的准确率差别不大，分别为74.2%和72.5%.这些研究结果不但揭示了不同言语想象实验范式过程中的EEG神经机制，还为后续言语想象BCI的实验范式设计提供了一定的参考依据.