基于三维视觉指导的运动想象训练性能分析

胡 敏，李 冲，路荣荣，黄宏程

(重庆邮电大学 通信与信息工程学院，重庆 400065)

0 引言

近些年，脑机接口(Brain-Computer Interface, BCI)利用其不依赖于常规大脑信息输出通路的特点，直接实现人脑对电子设备进行信息交流和控制的特点，已被用于康复医疗、交互控制、虚拟现实(Virtual Reality, VR)等领域[1-2]。

运动想象(Motor Imagery, MI)是BCI中一种常见类型，是指用户自主地想象做特定动作，且不引发肢体、肌肉的运动。当人们在想象肢体运动(如想象左手或右手运动等)时，在大脑的感觉运动皮层会产生事件相关去同步(Event-Related Desynchronization, ERD)或事件相关同步(Event-Related Synchronization, ERS)的节律性脑电(ElectroEncephaloGram, EEG)变化，这种EEG节律性变化可以被应用在BCI系统中。对于基于运动想象的脑机接口，其使用之前需要通过实验设计方式对用户进行训练，且性能较大程度取决于训练样本的质量或者主体参与度[3]。因此，如何设计合理的实验设计以提高训练性能，是关乎运动想象脑机接口成功的关键。

运动想象的实验设计一般包括准备、提示、运动想象以及反馈等阶段。研究发现在引入一定的视觉指导有助于用户的训练，提高训练效率[4]。目前，视觉指导的运动想象训练的研究主要集中在两个方面：一是呈现环境方面的研究，比如，文献[5]发现在三维立体显示器的环境下，感觉运动皮质上的Alpha(10～12 Hz)波段有着更明显的ERD现象。相似地，文献[6]发现虚拟现实环境能够引发更为明显的EEG的节律性变化。然而上述研究中，未对运动想象训练效果作出说明，无法明确这些呈现环境是否有利于训练。另外，文献[7]将反馈阶段置于虚拟现实环境下，对用户的想象脚运动的训练效果有一定提升；但是其对比中内容形式是不同的，忽略了内容形式对训练效果的影响。二是内容形式方面的研究，比如，研究者广泛采用Graz-BCI实验范式[8]，其主要是以箭头指向为提示。在此基础上，文献[9]对比了视频和箭头方式的训练效果，结论表明两者运动想象训练性能并未有显著性差异，但是只是考虑了短时间的训练效果，缺乏长时间测试时，视频方式可能带来优势分析。文献[10]对比了动态手与动态立方体的三维视觉，发现动态手引起中央Beta节律(13～30 Hz)变化有着更强的ERD现象。而后，文献[11]进一步研究发现有交互对象的三维动画，其在分类准确性表现相对更好。这些研究表明，生动形象且有交互对象的视觉指导内容有利于运动想象的训练。

从以上研究可以得出，一些视觉指导的呈现环境和内容形式对运动想象训练效果有着一定积极影响，尤其以虚拟现实为呈现环境或三维动画为内容形式为代表的视觉指导，但是目前视觉指导的运动想象训练仍存在以下问题：1)虚拟现实的呈现环境对能否改善运动想象训练效果，提高分类准确率、延长训练时间等仍缺乏明确结论。2)当前研究所使用的训练样本和测试样本，一般为相同视觉指导内容下获取的脑电数据。而在实际BCI应用环境下，用户所执行运动想象任务可能存在与训练场景不一致的情况，此时对BCI系统性能是否存在影响，目前也缺乏讨论。

针对以上问题，本文设计了三种三维动画作为左右手运动想象的视觉指导内容，并通过指导被试在传统显示环境和虚拟现实环境进行标准实验和长测实验。而后，通过对脑电数据的模式分类，研究了：1)标准实验下传统显示环境和虚拟现实环境的分类准确率的差异；2)长测实验下传统显示环境和虚拟现实环境下分类准确率变化的异同；3)测试样本与训练样本来源不同视觉指导内容训练下脑电数据，其分类准确率较相同视觉指导内容的区别。最后，通过上述的对比与分析，给出视觉指导方式下改善运动想象训练性能意见，为运动想象脑机接口的训练和应用提供一定参考。

1 实验设计

1.1 动画设计

本文以三维动画作为视觉指导内容形式，引导被试执行左右手运动想象任务。为了给被试者一种接近真实场景的引导方式，本文利用三维建模软件3D Max，设计了人的左右胳膊(包含左右手)的三维模型；与此同时，也设计了三维模型盒子、书本以及地球仪，用于手部的交互动画设计。而后，将设计的模型导入到游戏引擎Unity3d中，利用Unity3d开发组建和C#脚本语言，设计了三种左右手运动的三维动画，分别是手推盒子、手翻书以及手拨地球仪，如图1所示。

图1 手部运动的三维动画示意图 Fig. 1 3D-animation of hand movement

1.2 实验者与实验设置

实验招募了5名被试者(年龄：24～27岁，均为右利手，1名女性)。所有被试者都是第一次参加脑电实验，且并未告知任何的实验假设。本实验使用OpenBCI的脑电采集系统以及64通道脑电帽。根据10/20系统，采集电极设置为FC3、FCz、FC4、C5、C3、C1、Cz、C2、C4、C6、CP1、CP2、CP3、CPz和CP4电极点，参考点电极为Fpz，接地电极为右耳乳突处，采样频率为250 Hz。在佩戴好脑电帽后，注入导电膏降低电阻，并进行阻抗检测，确定每个通道阻抗稳定在20 kΩ以下。

在脑电信号采集过程中，被试者坐在手椅子上，双手自然地放置在桌子上。实验过程中，被试者被要求根据屏幕上呈现的场景进行运动想象任务，期间应尽量避免头部和身体的移动，并避免在运动想象期间眨眼。

1.3 实验范式和实验方案

实验范式如图2所示，一次训练持续7 s。具体如下：0～2 s三维动画场景保持静止；第2～3 s会箭头指示出执行左手或右手运动想象，第3 s发出提示音，并显示运动的三维动画场景，持续4 s；每次实验间有5 s的间隔。另外，三种视觉指导动画都设计了左手和右手两种交互方式，其中左右手模型、箭头及背景是相同的，而手部的交互对象、左右手的运动方式及其交互对象的反馈是存在差异的。如图3所示，给出了三种视觉内容下，左手和右手在实验范式中各个阶段的训练场景。

图2 实验范式 Fig. 2 Experimental paradigm

图3 三种视觉指导内容下左右手运动想象的训练场景 Fig. 3 Training scenarios of left hand and right hand motor imagery under three visual guidance contents

实验中视觉指导的呈现环境分为两种，分别为24寸液晶显示器(Liquid Crystal Display， LCD)和HTC VIVE头盔显示器(Helmet-Mounted Displays, HMD)呈现环境，如图4所示。具体的实验方案具体如下：

1)标准实验。分别在LCD和HMD呈现环境下，分别使用视觉指导场景为手推盒子、手翻书以及手拨地球仪的实验范式对被试进行200组脑电采集，其中左手和右手视觉指导随机出现。另外为了避免被试疲劳，每间隔25组休息5 min，每100组之间休息20 min。

2)长测实验。分别在LCD和HMD呈现方式下，分别使用视觉指导场景为手推盒子、手翻书以及手拨地球仪的实验范式对被试进行脑电采集，训练1次，持续15 min，其中左手和右手视觉指导随机出现。

图4 两种视觉指导的呈现环境 Fig. 4 Two rendering environment with visual guidance

2 数据处理

实验采集的脑电信号，将分为训练性本和测试性本。对于训练性本数据，首先经过预处理，这其中包括去噪、滤波等；其次，使用共同空间模式(Common Spatial Pattern, CSP)算法提取运动想象脑电的特征信息，并利用支持向量机(Support Vector Machine, SVM)的方法对特征信息进行训练，得到分类器。对于测试样本数据，同样需要进行预处理和特征提取，然后将提取的特征导入到已经构建好的SVM分类器中进行分类测试。

2.1 预处理

本文首先对原始脑电信号使用共同平均参考方法，降低对噪声影响。另外，由于左右手运动想象所诱发的最相关为Mu(8～13 Hz)和Beta(13～30 Hz)节律频段的脑电信号。因此，再利用FIR(Finite Impulse Response)数字带通滤波器对脑电信号进行滤波，通带频率8～30 Hz。为了更好地提取频域信息，本文将8～30 Hz的脑电数据分解为[8,13.5]、[13.5,19]、[19,24.5]以及[24.5,30]这4个子带。

2.2 特征提取

脑电信号的特征提取是为了获取一些表征大脑活动的特征量，是BCI系统中一个关键环节。常见的特征提取方法主要有独立成分分析(Independent Component Analysis， ICA)、自回归(AutoRegression, AR)模型、希尔伯特黄变换(Hilbert-Huang Transform， HHT)、CSP等，其中CSP作为一种有效的特征提取手段已被广泛应用。它是通过构造一个空间滤波器，使得两类信号经过滤波后，一类信号方差最大化，同时另一类方差最小化，达到区分两类信号的作用[12]。另一方面，实验所采集的电极点主要是C3、C4及其相邻的电极点，其能够为CSP提供较多与ERD/ERS现象有关的导联通道，且一定程度上减少冗余信息和噪声；与此同时，预处理的频带分解也能够为CSP提供了一定的频域信息。因此，本文使用CSP算法对预处理后EEG信号进行特征提取。

对于左右手运动想象的两类任务，假设X1和X2分别表示执行左手和右手运动想象任务的EEG信号，X1和X2都为N×M维，其中N表示通道数，M表示采集点数。其CSP的具体实现步骤如下。

步骤1 对EEG信号X1和X2作归一化处理，获取协方差矩阵C1和C2：

(1)

其中:T表示转置，trace表示迹。

步骤2 将归一化的协方差矩阵C1与C2合成空间协方差矩阵C，并进行特征分解：

C=C1+C2=UλUT

(2)

其中：λ为特征值矩阵，U为相对应特征向量矩阵。另外，在此过程中，特征值矩阵λ按照降序排列，对特征向量矩阵U也进行相应的变换。

步骤3 构造白化变换矩阵P，并对C1和C2进行白化变换：

P=λ-1/2UT

(3)

(4)

再对S1和S2进行特征值分解：

(5)

其中:λ1和λ2为特征值矩阵，U1和U2为相对应特征向量矩阵；且可以证明，U1=U2，λ1+λ1=I，其中I为单位矩阵，也即是表明当S1的特征值较大时S2相对较小，反之亦然。

步骤4 从U1(或U2)中选择前m列和后m列的重新组成矩阵B，构造如下的投影矩阵：

W=BTP

(6)

其中:m为整数，取值范围为1≤m≤[N/2]。

步骤5 对信号进行空间滤波，提取特征向量。将脑电信号X通过投影矩阵W获得新的时间序列Z：

Z=WX

(7)

将Z的第j行记为Zj(j=1,2,…,2m)，并定义其方差为vj为EEG信号的特征向量f：

(8)

f=[v1,v2,…,v2m]T

(9)

其中，var(Zj)是计算样本Zj的方差。

2.3 训练与测试

SVM是根据统计学习理论提出的一种机器学习方法，其在小样本、非线性及高维模式识别问题中表现出良好的特性。它通过适当的非线性映射将输入向量映射到一个高维的特征空间，使得两类数据总能被一个超平面分割[13]。由于径向基核函数是一种局部性强的核函数，其可以将一个样本映射到一个更高维的空间内，在生物医学信号的处理方面具有良好表现。本文选用径向基函数构造的SVM分类器，利用5×5交叉验证的方法确定最优的参数值，实现对两类运动想象的特征数据进行训练和测试。

选取左右手运动想象阶段3.5～6.5 s时间段的脑电数据进行CSP特征提取。经数据测试发现，m值为4时平均表现最好。对于标准实验，每个被试用于训练样本数为100组，经过CSP后得到100×32的特征矩阵，利用5×5交叉验证的方法，使用SVM对特征矩阵进行分类训练，构建SVM分类器。最后，使用训练得出的CSP和SVM分类器对100个测试样本进行测试。而对于长测实验，本文将15 min的测试数据，按照时间顺序等分为3份，每份5 min(25组运动想象脑电数据)。利用标准实验中该场景下被试训练得到SVM分类器，对3份测试样本进行测试。

3 实验结果

3.1 标准实验下脑电数据的分类结果

在LCD和HMD两种呈现环境下，五名被试者的标准实验的左右手运动想象脑电分类情况如表1所示。从实验结果可以看出：在手推盒子、手翻书、手拨地球仪三种视觉指导内容下，HMD较LCD分类准确率分别高出5.2%、3.4%、6.6%。综合三种视觉指导内容形式下脑电分类结果，HMD在分类准确率方面要优于LCD；但是，在数据结果中也发现了被试S2在手翻书作为视觉指导内容时，LCD的分类准确率较HMD高出了2%，且整个实验的分类结果较其他被试偏低。在对S2调查中了解到，其执行运动想象任务的状态较差。

表1标准实验下左右手脑电数据的分类准确率对比%

Tab. 1 Classification accuracy comparison of left and right hand EEG data under standard experiment %

被试编号LCD手推盒子手翻书手拨地球仪HMD手推盒子手翻书手拨地球仪S178.073.077.083.076.084.0S267.065.060.070.063.069.0S375.075.073.086.082.079.0S473.080.076.079.084.082.0S579.071.067.080.076.072.0平均74.472.870.679.676.277.2

为了进一步验证LCD和HMD两种呈现环境对被试执行想象左右手运动想象任务的影响，本文使用t检验的方法比较两者。将置信率设为95%，结果表明两者之间存在显著性差异(F=6.88，p<0.01)。结合上述数据分析，使用视觉指导的方式引导用户进行运动想象训练，采用HMD的呈现环境在训练效果方面要优于LCD。

3.2 长测实验下脑电数据的分类结果

在LCD和HMD两种呈现环境下，五名被试的长测实验的左右手运动想象脑电分类情况如表2所示。可以直观地看出，三种视觉指导内容形式下进行长测实验，被试无论在LCD还是HMD下，整体上分类准确率都出现了明显下降。综合三种视觉指导内容形式下训练结果分析，LCD和HMD的呈现环境下，整体上分类准确率分别平均下降了24.53%、23.2%。

表2 长测实验下左右手脑电数据的分类准确率对比 %Tab. 2 Classification accuracy comparison of left and right hand EEG data under long-time experiment %

同时，为了进一步分析LCD和HMD在长时间训练中的差异，本文对比了两种呈现环境下分类准确率变化的情况。由表3可以看出，HMD相比LCD，在[5,10)min较[0,5)min分类准确率下降比例上减缓了6.13%，但在[10,15)min较[5,10)min分类准确率下降比例上增加了4.8%。

另外，由于在HMD和LCD的呈现环境下[10,15)min的训练阶段，被试的左右手运动想象脑电数据的平均分类准确率分别为50.67%和54.67%，而本文讨论的为两分类问题，任意给出的分类结果都有50%的正确率，一定程度上表明了被试在[10,15)min时间段，已经不能较好地执行运动想象任务。为此，本文将重点考虑[0,5)min和[5,10)min两个时间段中LCD和HMD对分类准确率下降的影响。置信率设为95%，使用t检验进行统计分析，统计结果表明两者之间存在显著性差异(F=3.525，p<0.01)。通过上述分析，被试长时间进行运动想象训练，随着训练时长增加，两者的分类准确率都出现明显下降；但是，在一定时间内，HMD相对于LCD的呈现环境能够减缓分类准确率的下降。

表3 长测实验下两种环境的脑电平均分类准确率 %Tab. 3 Average classification accuracy of EEG in two environments under long-time experiment %

3.3 三种视觉指导内容下脑电数据交叉测试结果

本文针对HMD的呈现环境，对训练样本(100组)与测试样本(100组)为不同视觉指导内容下获取的左右手运动想象脑电信号的分类情况进行分析。由表4可以看出，在HMD呈现环境下，训练样本和测试样本是否为同一个视觉指导内容形式，对最终分类准确率有着很大的影响，其中相同视觉指导内容的平均分类准确率为77.67%，而不同视觉指导内容的平均分类准确率仅为61.33%。

表4 三种视觉指导内容下脑电数据交叉测试分类准确率 %Tab. 4 Classification accuracy rate comparison of EEG cross-testing under three visual guidance contents %

为了进一步分析，本文对HMD呈现环境下的训练样本和测试样本进行了新的组合，都为手推盒子(50组)+手翻书(50组)+手拨地球仪(50组)，五名被试的测试结果的分类准确率分别为78%、65.33%、76.67%、77.33%、73.33%，平均为74.13%。这种混合三种视觉指导内容的训练方式，相对于使用训练样本和测试样本一致的单一视觉指导内容的训练方式，其分类准确率平均下降了3.54%，但是相对于不一致情况提高了12.8%。根据以上分析可以得出，不同视觉指导内容的左右手运动想象训练，脑电信号特征存在一定差异。

4 讨论

4.1 视觉指导的呈现环境对运动想象训练的影响

在本文实验中，重点对比了虚拟现实环境和传统显示环境在视觉指导中的训练表现，并利用HMD和LCD去呈现这两种显示环境。实验结果表明，被试在HMD的呈现环境下分类准确率要优于LCD。

在这两种呈现环境下，本文设计的三种三维动画都能够很清晰地表达手部的运动，但是，使用HMD这种设备所呈现出的虚拟现实环境更具有沉浸性和逼真性[14]。在对被试的调查也发现，被试也表示在HMD较LCD来说，其动画更具有立体感和真实性。相关文献研究结论也表明，在虚拟现实环境下用户参与的积极性更高[15]。另外，在肢体障碍、脑卒等患者的康复训练中，使用虚拟现实的方式进行运动想象训练，更能够调节和增强大脑活动的能力，促进运动想象相关的神经激活和神经元变化[16-17]。

此外，长测实验的结果表明，长时间的训练一定程度上会导致被试大脑和视觉的疲劳，造成注意力不集中，无法较好地执行运动想象任务，但是，本研究也表明HMD所呈现虚拟现实环境相对于LCD，其能够减缓分类准确率下降。值得说明一点，使用HMD的显示方式的可视角度为固定的，本文所使用HTC VIVE设备的可视角度为110°，而LCD的可视角度与其尺寸、用户和设备的距离等相关。实验中，由于人的眼睛可视角度最高可达220°，使用HMD较LCD能够减少其他环境干扰，提高用户的注意力。在对被试调研中也了解到，在HMD的呈现环境下，实验时注意力相对更加集中。这可能是HMD较LCD一定程度上延缓了分类准确率下降趋势的原因所在。

4.2 视觉指导的内容形式对运动想象训练的影响

实验设计的三种三维动画，其手部交互方式互不相同，主要表现在手部运动方式、交互目标、目标对象运动状态等。实验结果也发现，在这三种三维动画的视觉指导下，被试的脑电分类准确率也存在一定差别。已有的研究也表明，肢体运动姿态、交互逻辑、有无目标物、目标物是否静止等因素，都对运动想象训练有着一定程度的影响[18]。对于视觉指导的运动想象训练来说，设计视觉指导内容对被试训练效果也应因人而异。

在对训练样本和测试样本来源于不同视觉指导内容的研究中，发现较相同视觉指导内容的情况，前者的分类准确率明显下降。众所周知，人在运动想象时，会在大脑的感觉运动皮层引发ERD/ERS特征，研究者也正是利用这种特征对运动想象进行研究。本文设计的三种视觉指导内容，在引导被试进行左右手运动想象时，理论上其脑电特征应该是相似的。根据对实验设计的分析，产生上述现象的原因可能是由于三种视觉指导内容的差异造成，这其中包含两个方面：1)想象手部运动的差别。虽然三种视觉指导内容都是左右手运动，但是手部具体运动轨迹、交互对象都存在明显差异，造成了ERD/ERS特征也存在一定区别。2)不同视觉指导下引发了不同视觉刺激。在相关研究中表明，人处在某种外界视觉刺激下，刺激源与大脑之间会建立起来某种神经联系[19]。也就说，一直在某种视觉指导内容下进行运动想象训练，被试的脑电特征不仅有运动想象所触发的ERD/ERS特征，同时也可能具有视觉指导内容引发其他脑电特征。在实验中，同时使用三种视觉指导作为训练样本发现，分别测试三种视觉指导内容下的运动想象EEG数据，结果也看出，与完全相同的视觉指导内容相比，分类准确率有所下降，但是与完全不一致视觉指导内容相比，分类准确率有较大提高。这在一定程度上也反映了上述分析的合理性。

因此，对使用视觉指导的运动想象训练，建议跟据BCI的应用场景而设计；尤其是对于使用在多个场景、交互对象和逻辑存在一定区别的BCI系统，应尽可能在每种场景下做一定量的训练，能够减少由于环境变化、想象逻辑不一致造成的BCI系统性能下降。

5 结语

本文针对三维视觉指导的运动想象训练中，不同的呈现环境与内容形式对训练性能可能产生的影响，进行了探讨与分析，研究主要是为了提高运动想象的训练效率以及分类准确率。通过实验对比分析了HMD和LCD在标准实验与长测实验下训练性能的区别，以及不同视觉指导下分类模型间的差异。分析结果表明，HMD所呈现的虚拟现实环境，能够提高运动想象脑电分类准确率，延长单次训练时长，减少整体训练时间；另一方面，不同视觉指导内容下所构造的分类模型也存在显著差别，某一分类模型对非同一视觉指导内容的测试样本进行分类时，分类准确率明显下降。此外，本文仅从分类准确率角度说明了不同视觉指导内容下分类模型间差异，而对于产生脑电特征差别的原因，以及如何有效识别不同视觉指导内容缺乏进一步分析，后续将针对这一情况继续研究。

参考文献(References)

[1] NICOLAS-ALONSO L F, GOMEZ-GIL J. Brain computer interfaces, a review [J]. Sensors, 2012, 12(2): 1211-1279.

[2] 杨立才,李佰敏,李光林,等.脑-机接口技术综述[J].电子学报,2005,33(7):1234-1241. (YANG L C, LI B M, LI G L, et al. A review of brain-computer interface technology [J]. Acta Electronica Sinica, 2005, 33(7): 1234-1241.)

[3] SCHUSTER C, HILFIKER R, AMFT O, et al. Best practice for motor imagery: a systematic literature review on motor imagery training elements in five different disciplines [J]. BMC Medicine, 2011, 9: 75.

[4] ONO T, KIMURA A, USHIBA J. Daily training with realistic visual feedback improves reproducibility of event-related desynchronisation following hand motor imagery [J]. Clinical Neurophysiology, 2013, 124(9): 1779-1786.

[5] SOLLFRANK T, HART D, GOODSELL R, et al. 3D visualization of movements can amplify motor cortex activation during subsequent motor imagery [J]. Frontiers in Human Neuroscience, 2015, 9(1): 463-470.

[6] VOURVOPOULOS A, BADIA S B I. Motor priming in virtual reality can augment motor-imagery training efficacy in restorative brain-computer interaction: a within-subject analysis [J]. Journal of Neuroengineering and Rehabilitation, 2016, 13: 69.

[7] LEEB R, KEINRATH C, FRIEDMAN D, et al. Walking by thinking: the brainwaves are crucial, not the muscles! [J]. Presence: Teleoperators and Virtual Environments — Special Issue: 8th Annual International Workshop on Presence II, 2006, 15(5): 500-514.

[8] PFURTSCHELLER G, NEUPER C, MÜLLER G R, et al. Graz-BCI: state of the art and clinical applications [J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2003, 11(2): 177-180.

[9] NEUPER C, SCHERER R, WRIESSNEGGER S, et al. Motor imagery and action observation: modulation of sensorimotor brain rhythms during mental control of a brain-computer interface [J]. Clinical Neurophysiology, 2009, 120(2): 239-247.

[10] PFURTSCHELLER G, SCHERER R, LEEB R, et al. Viewing moving objects in virtual reality can change the dynamics of sensorimotor EEG rhythms [J]. Presence: Teleoperators and Virtual Environments, 2007, 16(1): 111-118.

[11] LIANG S, CHOI K S, QIN J, et al. Enhancing training performance for brain-computer interface with object-directed 3D visual guidance [J]. International Journal of Computer Assisted Radiology and Surgery, 2016, 11(11): 2129-2137.

[12] 李明爱,崔燕,杨金福,等.基于HHT和CSSD的多域融合自适应脑电特征提取方法[J].电子学报,2013,41(12):2479-2486. (LI M A, CUI Y, YANG J F, et al. An adaptive multi-domain fusion feature extraction with method HHT and CSSD [J]. Acta Electronica Sinica, 2013, 41(12): 2479-2486.)

[13] 刘冲,赵海滨,李春胜,等.基于CSP与SVM算法的运动想象脑电信号分类[J].东北大学学报(自然科学版),2010,31(8):1098-1101. (LIU C, ZHAO H B, LI C S, et al. CSP/SVM-based EEG classification of imagined hand movements [J]. Journal of Northeastern University (Natural Science), 2010, 31(8): 1098-1101.)

[14] 赵沁平.虚拟现实综述[J].中国科学:信息科学,2009,39(1):2-46. (ZHAO Q P. A survey on virtual reality [J]. Science China Information Sciences, 2009, 39(1): 2-46)

[15] VOURVOPOULOS A, BERMUDEZ I BADIA S, LIAROKAPIS F. EEG correlates of video game experience and user profile in motor-imagery-based brain-computer interaction [J]. Visual Computer, 2017, 33(4): 533-546.

[16] GRIMM F, NAROS G, GHARABAGHI A. Closed-loop task difficulty adaptation during virtual reality reach-to-grasp training assisted with an exoskeleton for stroke rehabilitation [J]. Frontiers in Neuroscience, 2016, 10: 518.

[17] VOURVOPOULOS A, CARDONA J E M, BADIA S B I. Optimizing motor imagery neurofeedback through the use of multimodal immersive virtual reality and motor priming [C]// ICVR 2015: Proceedings of the 2015 International Conference on Virtual Rehabilitation Proceedings. Piscataway, NJ: IEEE, 2015: 228-234.

[18] MUKAINO M, ONO T, SHINDO K, et al. Efficacy of brain-computer interface-driven neuromuscular electrical stimulation for chronic paresis after stroke [J]. Journal of Rehabilitation Medicine, 2014, 46(4): 378-82.

[19] 黄秉宪.脑的高级功能与神经网络[M].北京：科学出版社,2000:133-140. (HUANG B X. Advanced Function of Brain and Neural Network [M]. Beijing: Science Press, 2000: 133-140.)

This work is partially supported by the Basic and Frontier Research Project of Chongqing Science & Technology Commission (cstc2014jcyjA40039), the National Innovation Program for College Students (No. 45, Education Department, Ministry of Education).

HUMin, born in 1971, M. S., associate professor. Her research interests include virtual reality, brain-computer interface, communication network system and protocol.

LIChong, born in 1992, M. S. candidate. His research interests include brain-computer interface, virtual reality interaction.

LURongrong, born in 1995. Her research interests include image processing.

HUANGHongcheng, born in 1979, Ph. D., associate professor. His research interests include pattern recognition, data fusion communication.