为了提高基于运动想象(MI)的脑控智能小车的控制性能,本文提出一种基于脑电(EEG)信号神经反馈(NF)控制智能小车的方法。采用 MI 心理策略,通过实时呈现该心理活动相关 EEG 信号特征的能量柱形图给受试者,训练受试者快速掌握 MI 技能并调节其 EEG 信号的活动,并以 MI 多特征融合和多分类器决策相结合的方法,从而在线脑控智能小车。训练组(试验前接受设计的反馈系统训练)取得平均、最高和最低的识别指令准确率分别为 85.71%、90.47% 和 76.19%,对照组(不接受训练)对应的准确率分别为 73.32%、80.95% 和 66.67%;训练组平均、最长和最短用时分别为 92 s、101 s 和 85 s,对照组对应的用时分别为 115.7 s、120 s 和 110 s。通过以上试验研究结果,期望本文可为后续基于 MI 的 EEG 信号 NF 控制智能机器人的开发提供新的思路。
引用本文: 李松, 熊馨, 伏云发. 基于脑电信号神经反馈控制智能小车的研究. 生物医学工程学杂志, 2018, 35(1): 15-24. doi: 10.7507/1001-5515.201612080 复制
引言
脑-机交互(brain-computer interaction,BCI)是一种新型的人机交互技术,不依赖于(绕过)大脑外周神经和肌肉的参与,而是利用中枢神经系统感知或认知思维活动诱发的脑电(electroencephalogram,EEG)信号经由采集系统获取后并解码感知思维意图,从而将脑活动信息转化为控制信号,实现大脑直接与外部设备进行通信或控制[1-3]。BCI 在机器人领域的一个重要应用是脑控机器人(brain-controlled robot,BCR),其中一类 BCR 的方法是基于运动想象(motor imagery,MI)诱发的 EEG 信号的 BCI。
基于 MI 的 BCI 系统是由受试者(用户)自主心理活动诱发的 EEG 信号来驱动,有别于由外部刺激受试者(用户)产生 EEG 信号驱动的反应式 BCI 系统以及仅监测受试者脑状态或神经生理信号变化的被动式 BCI 系统[4-5]。虽然 MI 的 BCI 系统没有受到由于外部刺激对受试者(用户)产生的负面影响,然而仅凭受试者(用户)自主心理活动难以实现可控性和显示的可观测性,这给该类 BCI 系统走向实用化设置了极大的障碍[6-7]。近些年来,虽然研究者在解析 MI 模式的算法方面不断创新,但其性能依然难有大的提高,且存在较多无效受试者(即国际公认的系统操作识别率低于 70% 的“BCI 盲”)等关键性问题[8]。其原因是对于 MI 范式的 BCI 系统,不少受试者(用户)很难快速有效地产生驱动该类 BCI 所需的控制信号。受试者(用户)学会自主产生并调节事件相关去同步(event-related desynchronization,ERD)信号和事件相关同步(event-related synchronization,ERS)信号对提高系统的性能十分关键[9-11]。因此,高效训练受试者(用户)MI 的方法或系统是该类 BCI 系统得以实际运用的关键技术之一,已成为一个重要的突破点。Neuper 等[12-13]采用 EEG 信号控制滚动条的移动作为神经反馈(neurofeedback,NF)信号,来提高左右手 MI 诱发的 EEG 信号,训练前后的结果差异具有统计学意义;Yu 等[14]提出了一种 MI 和稳态视觉诱发电位(steady-state visually evoked potentials,SSVEPs)混合模式的 BCI NF,在一定程度上提高了 MI 训练效果;Hwang 等[15]采用实时同步 EEG 能量地形图作为 NF,对受试者进行训练后分类效果有一定的提高。这些 NF 方法中,大多采用的是同步反馈,即受试者根据计算机提示执行任务,采集系统会根据不同任务采集的数据打上相应的同步标记并根据标记处理数据;还有一些采用的是异步反馈(即受试者在无计算机提示的情况下,按自主意愿执行任务,采集系统不会打同步标记),但其反馈大都缺乏优化。本研究拟探索优化的 NF 方法,因此提出了一种基于 EEG 信号特征能量柱形图的异步实时 NF 控制方法,通过帮助受试者(用户)学习自主调节 MI 的脑活动,使其对 MI 诱发的 EEG 信号具有一定程度的可控性和可观测性,最终实现控制智能小车并进行相关测试。
除了上述 MI 心理活动的可控性和可观测性问题外,目前 MI 模式的解码精度、稳定性和可靠性并不高,一个主要原因是 MI 诱发的 EEG 信号特征具有变异性。为此,构建可分性好的 MI 诱发的 EEG 信号特征向量依然是一个问题。此外,传统分类 MI 诱发的 EEG 信号特征向量主要采用单一的分类器决策,这可能增加错分类的风险。由于单分类器的推广能力有限,可考虑多分类器联合决策,降低错误决策后带来的控制风险。本研究拟采用希尔伯特-黄变换(hilbert-huang transform,HHT)和功率谱密度相结合作为 EEG 信号特征向量,并以极限学习机(extreme learning machine,ELM)、线性判别分析(linear discriminant analysis,LDA)和支持向量机(support vector machine,SVM)联合决策分类的方法,以期达到提高解码结果可靠性,提高指令识别准确率的目的,可望为后续基于 MI 诱发的 EEG 信号 NF 控制智能机器人的开发提供思路。
1 材料和方法
1.1 受试者、EEG 信号采集设备及参数
1.1.1 受试者
10 名受试者(招募自昆明理工大学,随机确定编号为:S1~S10),8 名男性和 2 名女性,年龄范围在 20~26 岁,本科以上学历。按编号分为训练组(S1~S5,试验前接受设计的在线 NF 异步系统训练)与对照组(S6~S10,不接受训练)。所有受试者身体健康,无感觉运动疾病和心理病史。均为自愿参与 EEG 信号数据采集、MI 能力训练、分类模型训练并在线测试控制智能小车试验。本研究由昆明理工大学伦理道德委员会批准,每个受试者在试验前签署了试验研究知情同意书。
1.1.2 EEG 信号采集设备及参数
本次试验的 EEG 信号采集设备为 16 导联的 EEG 信号放大器(Mipower-UC,EEG Collection_V2,清华大学神经工程实验室)。该设备参数如下:采样频率1 000 Hz,24 位模/数转换,信号频带为 0~250 Hz,输入信号范围是 ± 200 mV,同步事件输入为 8 位输入,无工频陷波。根据国际标准的 10–20 系统定制电极帽(Ag-AgCl 粉末电极,武汉格林泰克科技有限公司)。本研究仅用位于左右初级感觉运动功能区的 C3 和 C4 电极作为记录电极,额极中点(Fpz)为接地电极,左侧乳突(M1)为参考电极。试验要求所有电极的阻抗小于 5 kΩ,并保持稳定。
1.2 在线 NF 异步训练
在基于 MI 诱发的 EEG 信号的 BCI 系统中,快速有效地使受试者(用户)在不同 MI 模式之间产生差异具有统计学意义的 EEG 信号特征(如 ERD/ERS),是该类 BCI 系统走向实用化的关键之一。本文采用能量柱形图设计了在线 NF 异步训练系统,受试者以自定节奏执行 MI 心理活动,该系统可计算功率谱密度以能量柱形图的形式实时呈现初级感觉运动区 EEG 信号特征变化情况。试验时,受试者首先根据指导语熟悉左右手 MI 诱发的 EEG 信号特征的变化规律,如图 1 所示。训练组在试验中可以借助于屏幕呈现的能量柱形图来不断熟悉并掌握 MI 的方法和技能,从而寻找自身最为有效的 MI 方式,这有助于在正式试验时,能够快速、准确地进行相应的 MI;而对照组不参与此系统的训练,则有可能在 MI 的熟悉程度及自动 MI 能力方面会有所局限。

1.3 在线异步控制智能小车
1.3.1 控制策略
在本研究中,要求受试者按照规划的路线控制小车顺利到达终点。为了完成任务,系统可控制小车以低速(3.75 cm/指令)直行、左转[15°/指令]和右转[15°/指令]运行。系统采用时间窗的方法,窗长为 1 000 ms,每隔 200 ms 对时间窗中 1 000 ms 的数据进行分析并更新一次控制指令。智能小车采用位置控制,即一个指令移动 3.75 cm,2 s 内可发出 5 个指令,则 2 s 内小车可移动 18.75 cm,每秒小车的移动距离为 9.375 cm,故小车的速度能达到 9.375 cm/s。如表 1 所示,受试者想象左手运动控制小车低速左转,想象右手运动控制小车低速右转,空闲状态控制小车恒速前进。

1.3.2 训练分类模型
用于训练分类模型的 MI 诱发的 EEG 信号采集范式如图 2 所示。0~1.5 s 为准备阶段(显示“+”号);1.5~3 s 为提示指令阶段(呈现笑脸、左箭头或右箭头);3~8 s 为受试者 MI 阶段(显示“*”号);8 s 后屏幕空白显示,为受试者休息时间。信号采集过程中,受试者按提示箭头想象左右手运动,笑脸提示受试者不做任何 MI,即空闲状态,每个测试的想象时间为 5 s,之后有 6~8 s 的休息时间。在线异步测试时,每隔 200 ms 利用时间窗前 1 000 ms 的数据提取特征并分类,即每 200 ms 输出一个控制指令控制智能小车的运行状态。

1.3.3 在线异步测试
本试验要求受试者控制智能小车按指定轨迹到达终点,如图 3 所示。试验过程中,由辅助人员分别记录每名受试者控制小车达到终点的用时及碰撞次数,结束后计算出每组的平均用时(即训练组和对照组分开计算)。

1.4 在线 EEG 信号处理
1.4.1 特征提取
本试验在线实时 EEG 信号处理采用 MATLAB(V8.5,美国)实现。首先对数据进行 250 Hz 的降采样和 8~30 Hz 的带通滤波,提取出 MI 表现差异具有统计学意义的 μ 节律(8~13 Hz)和 β 节律(14~30 Hz)频段[16-17]。由于 EEG 信号易受肌电、眼电信号等的干扰,本试验中采用预处理效果较好的独立成分分析对数据进行预处理[18]。
预处理后,采用基于伯格算法(burg algorithm)计算的功率谱密度(power spectral density,PSD)和基于 HHT 计算的平均能量特征相结合的方法[19-20],即 PSD-HHT 特征提取。
基于时间序列模型中的自回归模型(auto regression model,AR)的功率谱估计是现代谱估计常用的一种方法,其中模型阶次据经验选取为 6。以受试者 S1 为例,左右手 MI 时典型的 PSD 曲线如图 4 所示,ERD 和 ERS 现象清晰可见。然后提取出该频段范围的特征组成 10 维特征向量:(C3PSD1,
,C3PSD5,C4PSD1,
,C4PSD5)。

研究表明,HHT 在时域和频域均具有较高的分辨率,能够较好地适用于分析非线性非平稳 EEG 信号[21-22]。首先把 EEG 信号数据进行经验模态分解(empirical mode decomposition,EMD),如图 5 所示。接着选取对分类贡献较大的前三阶本征模函数(intrinsic mode function,IMF),若
表示第 i 次筛选得到的 IMF 分量,可按式(1)对其进行希尔伯特谱分析(Hilbert spectrum analysis,HSA)得到
,然后由式(2)、式(3)分别求解析信号
和瞬时幅值
。
![]() |
![]() |
![]() |
根据式(4)求取通道 C 的平均瞬时能量(average instantaneous energy,AIE)值,以符号 AIECN 表示。
![]() |
其中 N 表示采样点数目,Ci2 表示通道 C 第 i 个采样点瞬时幅值的平方。AIECN 值借助于能量柱形图的形式反馈给受试者。
在本研究中,由滑动窗口计算通道 C3 和 C4 的 C3HHT 和 C4HHT,组成 10 维特征向量:(C3HHT1,
,C3HHT5,C4HHT1,
,C4HHT5)。

最后把 C3 和 C4 提取 PSD 形成的 10 维谱特征和 HHT 变换后计算的 10 维能量特征组合成 20 维的特征向量:(C3PSD1,
,C3PSD5,C4PSD1,
,C4PSD5,C3HHT1,
,C3HHT5,C4HHT1,
,C4HHT5) 。
1.4.2 信号分类
本研究拟采用 ELM、SVM 及 LDA 三种分类器进行在线实时分类并通过投票确定最后的分类结果。三种分类器如下:
(1)ELM 是一种典型的单隐层前馈神经网络,可以随机初始化输入权重和偏置并得到相应的输出权重。在 ELM 算法中,输出权值和偏差随机给定后,隐层矩阵 H 变成一个确定的矩阵,前馈神经网络的训练可转化为一个求解输出权值矩阵的最小二乘范数解的问题。这一训练过程等价于寻找线性系统 Hβ = T 的最小二乘解 β,如式(5)所示:
![]() |
其中 H 为该神经网络的隐层输出矩阵, β 为输出神经元的权重矩阵,wi 为随机输入权重,bi 为隐层偏置,N 为相应的数目,T 为期望输出。ELM 具有比反向传播(back propagation,BP)神经网络等传统算法更少的参数设置、更低的计算复杂度、更快的计算速度,同时它又比传统算法具有更高的函数逼近能力和泛化性能。
(2)运用 SVM 分类时,常遇到线性不可分的问题,可在约束条件中引入松弛变量,在目标函数中引入惩罚因子来解决,则分类优化问题可为:
![]() |
![]() |
其中 W 和 b 分别为分类超平面(W,b)的法向量和阈值;ξi ≥ 0,为松弛变量,用于衡量实际类别值 yi 与 SVM 输出之间的距离;c 为惩罚因子,用于控制错分类程度;xi 为样本数据点,N 为训练样本集的大小。若低维空间向量集难于划分,可将它们映射到高维空间,这种方法会带来计算复杂度的增加,可采用核函数很好地解决这个问题。只要选用适当的核函数,可得到高维空间的分类函数,SVM 的关键在于核函数。在 SVM 方法中,采用不同的核函数将导致不同的 SVM 算法,本文核函数
满足默瑟(Mercer)条件且采用径向基核函数,如式(8)所示。
![]() |
其中 σ 为样本数据映射到新的特征空间后的分布参数。
(3)LDA 是模式识别的经典算法,在类别属性和类别数确定的条件下,可根据某一研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。其思想是将高维的模式样本投影到最佳鉴别矢量空间,以达到抽取分类信息和压缩特征空间维数的效果,投影后确保模式样本在新的子空间有最大的类间距离和最小的类内距离,即模式在该空间中有最佳的可分离性。根据判别标准不同,可分为费希尔(Fisher)判别、贝叶斯(Bayes)判别等。本研究采用 Fisher 准则函数:
![]() |
其中 W 为投影方向,
和
分别为样本类间离散度矩阵和总的类内离散度矩阵。
Fisher 判别亦称典则判别,是根据线性 Fisher 函数值进行判别,使用此准则要求各组变量的均值差异具有统计学意义。该方法的基本思想是投影,即将原来空间的自变量组合投影到维度较低的空间去,然后再进行分类。投影的原则是使得每一类的差异尽可能小,而不同类间投影的距离差尽可能大。Fisher 判别的优势在于对分布、方差等都没有任何限制,应用范围比较广。
本研究采用多特征融合和多分类器投票决策,如图 6 所示。需要说明的是当三个分类器分类输出结果均不相同时,记为无效输出,智能小车停止。

在线异步测试前,基于训练数据通过 15 倍交叉验证,根据分类准确率最高的原则,分别为 ELM、LDA 和 SVM 三个分类器训练得出一个最佳模型。
2 结果
如图 7 所示,呈现了 15 倍交叉验证训练数据得出的最佳分类率。10 名受试者按照 MI 诱发 EEG 信号采集范式进行 MI,采用滑动窗口提取想象时段每一秒的数据,每个受试者采集的数据组成 315 个测试。据试验经验,采用 15 倍交叉验证,即把 315 次测试分成均等的 15 次试验,每个部分包含了 21 次测试,把 15 次试验中的 14 次试验作为训练集,其中一次试验作为测试集来分类,这样的操作会进行 15 次分类,最后选择分类率高的数据作为训练集。分别用 SVM、基于 Fisher 核的 LDA 和 ELM 分类,选择每种分类器分类准确率最高时的模型作为测试模型。

如图 7 所示,第一排图表示了仅采用 HHT 特征时,训练组和对照组训练最佳模型时三种分类器的分类率,可以看出训练组的分类效果优于对照组。第二排图表示了结合 PSD 和 HHT 特征(PSD-HHT)时,训练组和对照组训练最佳模型时三种分类器的分类率,训练组的分类效果依然优于对照组,同时与第一排图进行对比可以看出,对训练组、对照组的数据分别采用 HHT 和 PSD-HHT 进行特征提取,结果表明 PSD-HHT 特征分类率有明显提高。第三排图表示采用 HHT 特征和 PSD-HHT 特征时,训练三种分类器的平均分类率,结果表明训练组的平均分类率均高于对照组。最后一排图表示采用 HHT 特征和 PSD-HHT 特征时,三种分类器的联合分类率,图中平均正确率折线分别表示 S1~S5 的平均值和 S6~S10 的平均值,与第三排图进行对比,结果表明三种分类器联合决策在一定程度上优于单个分类器的分类结果。最后一张图结果表明采用 PSD-HHT 特征时,训练组的平均、最高和最低指令识别准确率分别为 85.71%、90.47% 和 76.19%,对照组对应的分别为 73.32%、80.95% 和 66.67%,表明了所设计的反馈训练系统的有效性。
如图 8 所示,PSD-HHT 特征融合,三种分类器联合决策下训练组和对照组分别按要求控制小车达到终点的用时(每名受试者)、平均用时(组内平均)、碰撞次数(每名受试者)以及平均碰撞次数(组内平均),其中 S6 和 S9 挑战失败(碰撞次数达到 6 次以上视为控制失败)。图中平均用时折线分别表示 S1~S5 的平均值和 S7、S8、S10 的平均值。训练组平均、最高和最低用时分别为 92 s、101 s 和 85 s,对照组对应的分别为 115.7 s、120 s 和 110 s。训练组的平均用时明显低于对照组,其平均碰撞次数也明显低于对照组。同时,采用 PSD-HHT 特征融合和三种分类器联合决策,训练组所有受试者均成功控制小车达到终点,而对照组受试者未经 NF 训练,其中有两名受试者控制失败,有三名受试者成功控制小车达到终点,但耗时较长,触碰次数较多。上述结果表明训练组在分类正确率和控制小车的性能上都优于对照组,证明了基于 EEG 信号特征地形图的异步实时 NF 的有效性,能够帮助受试者(用户)学会自主调节 MI 脑活动,最终使其 MI 诱发的 EEG 信号具有一定程度的可控性和可观测性,现场测试表明了基于 EEG 信号 NF 控制智能小车方法的有效性。

3 讨论
BCI 是一种变革性的新型人机交互技术,它与机器人学相结合的直接 BCR 技术具有重要的科学意义和潜在的应用价值。在众多直接 BCR 方式中,基于 MI 的直接 BCR 方法是一种重要的心想物移的自然方式[23]。然而,基于 MI 的直接 BCR 在迈向实用化的过程中还面临着若干技术难题,如:目前尚缺乏让受试者(用户)乐意接受的便携式系统;缺乏能够高效促进受试者(用户)训练的方法或系统;难以提取表征不同 MI 模式之间差异具有统计学意义的 EEG 信号特征;尚需稳定、可靠和准确的解码方法等问题。基于此,本研究尝试解决后面三个问题。
针对基于 MI 的 BCR 存在的问题,本研究提出了基于 EEG 信号 NF 训练受试者以利于受试者调节其脑活动;然后采用 PSD 和 HHT 相结合的 PSD-HHT 特征提取方法,提取表征 MI 模式的 EEG 信号特征;再结合 ELM、LDA 和 SVM 多分类器决策方法,提高分类的稳定性并降低错误分类带来的风险;最后以每 200 ms 更新一次特征提取和分类,实现了对智能小车实时良好的控制。
Xia 等[24]研究提出适当的训练可以帮助受试者熟练地调节自己的心理活动,他们根据受试者想象过程中的强度变化以视觉反馈的形式来同步训练受试者,即以条形图填充的高度不同,颜色也随之变化的方法来反馈给受试者,训练 7 天后,取得 80% 的平均分类率。但是该研究训练受试者时间长,且测试没有实际控制对象,与之相比,本研究采用异步实时 NF 的方式来训练受试者,训练后可以成功地控制小车。kus 等[25]采用 EEG 信号控制光标的 NF 训练系统,测试时控制虚拟光标箭头左旋转或右旋转 90° 到达规定的终点,与本研究相比,该类研究也属于虚拟控制,其在自适应调节分类器参数以适应受试者方面取得了一定进展。Lee 等[26]采用视觉和听觉提示相结合的 NF,取得了一定的效果,但没有实际用于控制对象,与之相比,本研究实际脑控小车具有可观测性。本试验结果表明,所提出的基于 EEG 信号特征能量柱形图的异步实时 NF 方法有助于受试者操控基于 MI 的 BCI 控制系统,可望为后续研发实用的 BCR 系统提供借鉴。
Kreilinger 等[27]在基于 SSVEPs EEG 信号反馈控制小车的研究中,研究了基于视觉反馈背景的在黑色、静态现场背景和动态现场背景下的控制效果,动态现场背景下的控制效果在他们提出的训练受试者的方法之后,控制效果有所改善,但相比本研究基于 MI 的 EEG 信号反馈控制,不存在视觉刺激背景的影响。但这种动态的环境变化是否会影响受试者进行 MI,这是一个很值得研究的方向。Lee 等[28]在基于 SSVEPs EEG 信号反馈控制小车的研究中只采用了一个电极 Oz,进行 SSVEPs 控制小车按规定轨迹运动,与本文相比较,虽采用的 EEG 信号控制机制不一样,但其所采用的针对单通道 EEG 信号的解码算法值得借鉴。Shu 等[29]在基于 MI 的 EEG 信号反馈控制虚拟小车中引入误差电位的新方法,使其在 BCI 应用中成为一种可靠的监控工具,而这将是课题组今后在研究 EEG 信号反馈控制实际小车中的一个重要工具。
有研究表明,HHT 在时域和频域比小波变换等方法具有更高的分辨率[22],利用其提取能量特征有助于提高分类率。此外,根据本文图 4 结果可以表明,PSD 可以清晰地表征 ERD 和 ERS 现象,因此可选择 ERD 和 ERS 现象明显的频带信息与 HHT 能量特征融合。图 7 的结果进一步表明 HHT 和 PSD 特征相融合有助于提高分类率。
近年来,多个分类器组合应用到 EEG 信号分类中较少,本文尝试多个分类器组合并基于投票规则输出指令。本文图 7 第三排图即表明了 ELM、LDA 和 SVM 三个分类器联合决策输出控制指令的可行性,可增加分类的稳定性降低分类错误带来的控制风险。尽管如此,本试验中 ELM 的分类性能仍需要进一步提高,在今后的算法研究中,需要优化每个独立分类器的性能,从而增大组合决策输出的可靠性。
4 结束语
本文针对直接 BCR 技术中 EEG 信号 NF 训练受试者及调节脑活动、心理活动的 EEG 信号特征表示及其解码展开研究,聚焦基于 MI 诱发的 EEG 信号的 BCI 控制智能小车。通过训练组和对照组研究了采用 EEG 信号特征地形图的异步实时 NF 方法,PSD-HHT 特征融合,ELM、LDA、SVM 多分类器决策在脑控智能小车中的有效性。结果表明,所提 EEG 信号 NF 方法能够有效训练受试者并调节其脑活动,能够提高脑控性能;多特征融合和多分类器决策也能够改善脑控性能。本研究可望为后续基于 MI 诱发的 EEG 信号 NF 控制智能机器人的研究提供思路。
反馈是控制的精髓,也是直接 BCR 技术的精髓,尤其是基于 MI 脑控的精髓和关键技术,故我们未来的研究方向可拟定为:① 进一步优化 MI 诱发的 EEG 信号 NF 技术并试图建立数学模型进行分析和设计,期望获得最优化的可视化 NF 技术,让受试者(用户)更轻松地训练和学习,缩短训练时间并提高训练效果;② 在本研究的基础上,我们也将针对基于 MI 诱发的 EEG 信号的 BCI 控制智能机器人,进一步优化 MI 诱发的 EEG 信号特征提取和分类算法,探索自适应 EEG 信号处理、自适应特征提取和自适应模式分类算法。
引言
脑-机交互(brain-computer interaction,BCI)是一种新型的人机交互技术,不依赖于(绕过)大脑外周神经和肌肉的参与,而是利用中枢神经系统感知或认知思维活动诱发的脑电(electroencephalogram,EEG)信号经由采集系统获取后并解码感知思维意图,从而将脑活动信息转化为控制信号,实现大脑直接与外部设备进行通信或控制[1-3]。BCI 在机器人领域的一个重要应用是脑控机器人(brain-controlled robot,BCR),其中一类 BCR 的方法是基于运动想象(motor imagery,MI)诱发的 EEG 信号的 BCI。
基于 MI 的 BCI 系统是由受试者(用户)自主心理活动诱发的 EEG 信号来驱动,有别于由外部刺激受试者(用户)产生 EEG 信号驱动的反应式 BCI 系统以及仅监测受试者脑状态或神经生理信号变化的被动式 BCI 系统[4-5]。虽然 MI 的 BCI 系统没有受到由于外部刺激对受试者(用户)产生的负面影响,然而仅凭受试者(用户)自主心理活动难以实现可控性和显示的可观测性,这给该类 BCI 系统走向实用化设置了极大的障碍[6-7]。近些年来,虽然研究者在解析 MI 模式的算法方面不断创新,但其性能依然难有大的提高,且存在较多无效受试者(即国际公认的系统操作识别率低于 70% 的“BCI 盲”)等关键性问题[8]。其原因是对于 MI 范式的 BCI 系统,不少受试者(用户)很难快速有效地产生驱动该类 BCI 所需的控制信号。受试者(用户)学会自主产生并调节事件相关去同步(event-related desynchronization,ERD)信号和事件相关同步(event-related synchronization,ERS)信号对提高系统的性能十分关键[9-11]。因此,高效训练受试者(用户)MI 的方法或系统是该类 BCI 系统得以实际运用的关键技术之一,已成为一个重要的突破点。Neuper 等[12-13]采用 EEG 信号控制滚动条的移动作为神经反馈(neurofeedback,NF)信号,来提高左右手 MI 诱发的 EEG 信号,训练前后的结果差异具有统计学意义;Yu 等[14]提出了一种 MI 和稳态视觉诱发电位(steady-state visually evoked potentials,SSVEPs)混合模式的 BCI NF,在一定程度上提高了 MI 训练效果;Hwang 等[15]采用实时同步 EEG 能量地形图作为 NF,对受试者进行训练后分类效果有一定的提高。这些 NF 方法中,大多采用的是同步反馈,即受试者根据计算机提示执行任务,采集系统会根据不同任务采集的数据打上相应的同步标记并根据标记处理数据;还有一些采用的是异步反馈(即受试者在无计算机提示的情况下,按自主意愿执行任务,采集系统不会打同步标记),但其反馈大都缺乏优化。本研究拟探索优化的 NF 方法,因此提出了一种基于 EEG 信号特征能量柱形图的异步实时 NF 控制方法,通过帮助受试者(用户)学习自主调节 MI 的脑活动,使其对 MI 诱发的 EEG 信号具有一定程度的可控性和可观测性,最终实现控制智能小车并进行相关测试。
除了上述 MI 心理活动的可控性和可观测性问题外,目前 MI 模式的解码精度、稳定性和可靠性并不高,一个主要原因是 MI 诱发的 EEG 信号特征具有变异性。为此,构建可分性好的 MI 诱发的 EEG 信号特征向量依然是一个问题。此外,传统分类 MI 诱发的 EEG 信号特征向量主要采用单一的分类器决策,这可能增加错分类的风险。由于单分类器的推广能力有限,可考虑多分类器联合决策,降低错误决策后带来的控制风险。本研究拟采用希尔伯特-黄变换(hilbert-huang transform,HHT)和功率谱密度相结合作为 EEG 信号特征向量,并以极限学习机(extreme learning machine,ELM)、线性判别分析(linear discriminant analysis,LDA)和支持向量机(support vector machine,SVM)联合决策分类的方法,以期达到提高解码结果可靠性,提高指令识别准确率的目的,可望为后续基于 MI 诱发的 EEG 信号 NF 控制智能机器人的开发提供思路。
1 材料和方法
1.1 受试者、EEG 信号采集设备及参数
1.1.1 受试者
10 名受试者(招募自昆明理工大学,随机确定编号为:S1~S10),8 名男性和 2 名女性,年龄范围在 20~26 岁,本科以上学历。按编号分为训练组(S1~S5,试验前接受设计的在线 NF 异步系统训练)与对照组(S6~S10,不接受训练)。所有受试者身体健康,无感觉运动疾病和心理病史。均为自愿参与 EEG 信号数据采集、MI 能力训练、分类模型训练并在线测试控制智能小车试验。本研究由昆明理工大学伦理道德委员会批准,每个受试者在试验前签署了试验研究知情同意书。
1.1.2 EEG 信号采集设备及参数
本次试验的 EEG 信号采集设备为 16 导联的 EEG 信号放大器(Mipower-UC,EEG Collection_V2,清华大学神经工程实验室)。该设备参数如下:采样频率1 000 Hz,24 位模/数转换,信号频带为 0~250 Hz,输入信号范围是 ± 200 mV,同步事件输入为 8 位输入,无工频陷波。根据国际标准的 10–20 系统定制电极帽(Ag-AgCl 粉末电极,武汉格林泰克科技有限公司)。本研究仅用位于左右初级感觉运动功能区的 C3 和 C4 电极作为记录电极,额极中点(Fpz)为接地电极,左侧乳突(M1)为参考电极。试验要求所有电极的阻抗小于 5 kΩ,并保持稳定。
1.2 在线 NF 异步训练
在基于 MI 诱发的 EEG 信号的 BCI 系统中,快速有效地使受试者(用户)在不同 MI 模式之间产生差异具有统计学意义的 EEG 信号特征(如 ERD/ERS),是该类 BCI 系统走向实用化的关键之一。本文采用能量柱形图设计了在线 NF 异步训练系统,受试者以自定节奏执行 MI 心理活动,该系统可计算功率谱密度以能量柱形图的形式实时呈现初级感觉运动区 EEG 信号特征变化情况。试验时,受试者首先根据指导语熟悉左右手 MI 诱发的 EEG 信号特征的变化规律,如图 1 所示。训练组在试验中可以借助于屏幕呈现的能量柱形图来不断熟悉并掌握 MI 的方法和技能,从而寻找自身最为有效的 MI 方式,这有助于在正式试验时,能够快速、准确地进行相应的 MI;而对照组不参与此系统的训练,则有可能在 MI 的熟悉程度及自动 MI 能力方面会有所局限。

1.3 在线异步控制智能小车
1.3.1 控制策略
在本研究中,要求受试者按照规划的路线控制小车顺利到达终点。为了完成任务,系统可控制小车以低速(3.75 cm/指令)直行、左转[15°/指令]和右转[15°/指令]运行。系统采用时间窗的方法,窗长为 1 000 ms,每隔 200 ms 对时间窗中 1 000 ms 的数据进行分析并更新一次控制指令。智能小车采用位置控制,即一个指令移动 3.75 cm,2 s 内可发出 5 个指令,则 2 s 内小车可移动 18.75 cm,每秒小车的移动距离为 9.375 cm,故小车的速度能达到 9.375 cm/s。如表 1 所示,受试者想象左手运动控制小车低速左转,想象右手运动控制小车低速右转,空闲状态控制小车恒速前进。

1.3.2 训练分类模型
用于训练分类模型的 MI 诱发的 EEG 信号采集范式如图 2 所示。0~1.5 s 为准备阶段(显示“+”号);1.5~3 s 为提示指令阶段(呈现笑脸、左箭头或右箭头);3~8 s 为受试者 MI 阶段(显示“*”号);8 s 后屏幕空白显示,为受试者休息时间。信号采集过程中,受试者按提示箭头想象左右手运动,笑脸提示受试者不做任何 MI,即空闲状态,每个测试的想象时间为 5 s,之后有 6~8 s 的休息时间。在线异步测试时,每隔 200 ms 利用时间窗前 1 000 ms 的数据提取特征并分类,即每 200 ms 输出一个控制指令控制智能小车的运行状态。

1.3.3 在线异步测试
本试验要求受试者控制智能小车按指定轨迹到达终点,如图 3 所示。试验过程中,由辅助人员分别记录每名受试者控制小车达到终点的用时及碰撞次数,结束后计算出每组的平均用时(即训练组和对照组分开计算)。

1.4 在线 EEG 信号处理
1.4.1 特征提取
本试验在线实时 EEG 信号处理采用 MATLAB(V8.5,美国)实现。首先对数据进行 250 Hz 的降采样和 8~30 Hz 的带通滤波,提取出 MI 表现差异具有统计学意义的 μ 节律(8~13 Hz)和 β 节律(14~30 Hz)频段[16-17]。由于 EEG 信号易受肌电、眼电信号等的干扰,本试验中采用预处理效果较好的独立成分分析对数据进行预处理[18]。
预处理后,采用基于伯格算法(burg algorithm)计算的功率谱密度(power spectral density,PSD)和基于 HHT 计算的平均能量特征相结合的方法[19-20],即 PSD-HHT 特征提取。
基于时间序列模型中的自回归模型(auto regression model,AR)的功率谱估计是现代谱估计常用的一种方法,其中模型阶次据经验选取为 6。以受试者 S1 为例,左右手 MI 时典型的 PSD 曲线如图 4 所示,ERD 和 ERS 现象清晰可见。然后提取出该频段范围的特征组成 10 维特征向量:(C3PSD1,
,C3PSD5,C4PSD1,
,C4PSD5)。

研究表明,HHT 在时域和频域均具有较高的分辨率,能够较好地适用于分析非线性非平稳 EEG 信号[21-22]。首先把 EEG 信号数据进行经验模态分解(empirical mode decomposition,EMD),如图 5 所示。接着选取对分类贡献较大的前三阶本征模函数(intrinsic mode function,IMF),若
表示第 i 次筛选得到的 IMF 分量,可按式(1)对其进行希尔伯特谱分析(Hilbert spectrum analysis,HSA)得到
,然后由式(2)、式(3)分别求解析信号
和瞬时幅值
。
![]() |
![]() |
![]() |
根据式(4)求取通道 C 的平均瞬时能量(average instantaneous energy,AIE)值,以符号 AIECN 表示。
![]() |
其中 N 表示采样点数目,Ci2 表示通道 C 第 i 个采样点瞬时幅值的平方。AIECN 值借助于能量柱形图的形式反馈给受试者。
在本研究中,由滑动窗口计算通道 C3 和 C4 的 C3HHT 和 C4HHT,组成 10 维特征向量:(C3HHT1,
,C3HHT5,C4HHT1,
,C4HHT5)。

最后把 C3 和 C4 提取 PSD 形成的 10 维谱特征和 HHT 变换后计算的 10 维能量特征组合成 20 维的特征向量:(C3PSD1,
,C3PSD5,C4PSD1,
,C4PSD5,C3HHT1,
,C3HHT5,C4HHT1,
,C4HHT5) 。
1.4.2 信号分类
本研究拟采用 ELM、SVM 及 LDA 三种分类器进行在线实时分类并通过投票确定最后的分类结果。三种分类器如下:
(1)ELM 是一种典型的单隐层前馈神经网络,可以随机初始化输入权重和偏置并得到相应的输出权重。在 ELM 算法中,输出权值和偏差随机给定后,隐层矩阵 H 变成一个确定的矩阵,前馈神经网络的训练可转化为一个求解输出权值矩阵的最小二乘范数解的问题。这一训练过程等价于寻找线性系统 Hβ = T 的最小二乘解 β,如式(5)所示:
![]() |
其中 H 为该神经网络的隐层输出矩阵, β 为输出神经元的权重矩阵,wi 为随机输入权重,bi 为隐层偏置,N 为相应的数目,T 为期望输出。ELM 具有比反向传播(back propagation,BP)神经网络等传统算法更少的参数设置、更低的计算复杂度、更快的计算速度,同时它又比传统算法具有更高的函数逼近能力和泛化性能。
(2)运用 SVM 分类时,常遇到线性不可分的问题,可在约束条件中引入松弛变量,在目标函数中引入惩罚因子来解决,则分类优化问题可为:
![]() |
![]() |
其中 W 和 b 分别为分类超平面(W,b)的法向量和阈值;ξi ≥ 0,为松弛变量,用于衡量实际类别值 yi 与 SVM 输出之间的距离;c 为惩罚因子,用于控制错分类程度;xi 为样本数据点,N 为训练样本集的大小。若低维空间向量集难于划分,可将它们映射到高维空间,这种方法会带来计算复杂度的增加,可采用核函数很好地解决这个问题。只要选用适当的核函数,可得到高维空间的分类函数,SVM 的关键在于核函数。在 SVM 方法中,采用不同的核函数将导致不同的 SVM 算法,本文核函数
满足默瑟(Mercer)条件且采用径向基核函数,如式(8)所示。
![]() |
其中 σ 为样本数据映射到新的特征空间后的分布参数。
(3)LDA 是模式识别的经典算法,在类别属性和类别数确定的条件下,可根据某一研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。其思想是将高维的模式样本投影到最佳鉴别矢量空间,以达到抽取分类信息和压缩特征空间维数的效果,投影后确保模式样本在新的子空间有最大的类间距离和最小的类内距离,即模式在该空间中有最佳的可分离性。根据判别标准不同,可分为费希尔(Fisher)判别、贝叶斯(Bayes)判别等。本研究采用 Fisher 准则函数:
![]() |
其中 W 为投影方向,
和
分别为样本类间离散度矩阵和总的类内离散度矩阵。
Fisher 判别亦称典则判别,是根据线性 Fisher 函数值进行判别,使用此准则要求各组变量的均值差异具有统计学意义。该方法的基本思想是投影,即将原来空间的自变量组合投影到维度较低的空间去,然后再进行分类。投影的原则是使得每一类的差异尽可能小,而不同类间投影的距离差尽可能大。Fisher 判别的优势在于对分布、方差等都没有任何限制,应用范围比较广。
本研究采用多特征融合和多分类器投票决策,如图 6 所示。需要说明的是当三个分类器分类输出结果均不相同时,记为无效输出,智能小车停止。

在线异步测试前,基于训练数据通过 15 倍交叉验证,根据分类准确率最高的原则,分别为 ELM、LDA 和 SVM 三个分类器训练得出一个最佳模型。
2 结果
如图 7 所示,呈现了 15 倍交叉验证训练数据得出的最佳分类率。10 名受试者按照 MI 诱发 EEG 信号采集范式进行 MI,采用滑动窗口提取想象时段每一秒的数据,每个受试者采集的数据组成 315 个测试。据试验经验,采用 15 倍交叉验证,即把 315 次测试分成均等的 15 次试验,每个部分包含了 21 次测试,把 15 次试验中的 14 次试验作为训练集,其中一次试验作为测试集来分类,这样的操作会进行 15 次分类,最后选择分类率高的数据作为训练集。分别用 SVM、基于 Fisher 核的 LDA 和 ELM 分类,选择每种分类器分类准确率最高时的模型作为测试模型。

如图 7 所示,第一排图表示了仅采用 HHT 特征时,训练组和对照组训练最佳模型时三种分类器的分类率,可以看出训练组的分类效果优于对照组。第二排图表示了结合 PSD 和 HHT 特征(PSD-HHT)时,训练组和对照组训练最佳模型时三种分类器的分类率,训练组的分类效果依然优于对照组,同时与第一排图进行对比可以看出,对训练组、对照组的数据分别采用 HHT 和 PSD-HHT 进行特征提取,结果表明 PSD-HHT 特征分类率有明显提高。第三排图表示采用 HHT 特征和 PSD-HHT 特征时,训练三种分类器的平均分类率,结果表明训练组的平均分类率均高于对照组。最后一排图表示采用 HHT 特征和 PSD-HHT 特征时,三种分类器的联合分类率,图中平均正确率折线分别表示 S1~S5 的平均值和 S6~S10 的平均值,与第三排图进行对比,结果表明三种分类器联合决策在一定程度上优于单个分类器的分类结果。最后一张图结果表明采用 PSD-HHT 特征时,训练组的平均、最高和最低指令识别准确率分别为 85.71%、90.47% 和 76.19%,对照组对应的分别为 73.32%、80.95% 和 66.67%,表明了所设计的反馈训练系统的有效性。
如图 8 所示,PSD-HHT 特征融合,三种分类器联合决策下训练组和对照组分别按要求控制小车达到终点的用时(每名受试者)、平均用时(组内平均)、碰撞次数(每名受试者)以及平均碰撞次数(组内平均),其中 S6 和 S9 挑战失败(碰撞次数达到 6 次以上视为控制失败)。图中平均用时折线分别表示 S1~S5 的平均值和 S7、S8、S10 的平均值。训练组平均、最高和最低用时分别为 92 s、101 s 和 85 s,对照组对应的分别为 115.7 s、120 s 和 110 s。训练组的平均用时明显低于对照组,其平均碰撞次数也明显低于对照组。同时,采用 PSD-HHT 特征融合和三种分类器联合决策,训练组所有受试者均成功控制小车达到终点,而对照组受试者未经 NF 训练,其中有两名受试者控制失败,有三名受试者成功控制小车达到终点,但耗时较长,触碰次数较多。上述结果表明训练组在分类正确率和控制小车的性能上都优于对照组,证明了基于 EEG 信号特征地形图的异步实时 NF 的有效性,能够帮助受试者(用户)学会自主调节 MI 脑活动,最终使其 MI 诱发的 EEG 信号具有一定程度的可控性和可观测性,现场测试表明了基于 EEG 信号 NF 控制智能小车方法的有效性。

3 讨论
BCI 是一种变革性的新型人机交互技术,它与机器人学相结合的直接 BCR 技术具有重要的科学意义和潜在的应用价值。在众多直接 BCR 方式中,基于 MI 的直接 BCR 方法是一种重要的心想物移的自然方式[23]。然而,基于 MI 的直接 BCR 在迈向实用化的过程中还面临着若干技术难题,如:目前尚缺乏让受试者(用户)乐意接受的便携式系统;缺乏能够高效促进受试者(用户)训练的方法或系统;难以提取表征不同 MI 模式之间差异具有统计学意义的 EEG 信号特征;尚需稳定、可靠和准确的解码方法等问题。基于此,本研究尝试解决后面三个问题。
针对基于 MI 的 BCR 存在的问题,本研究提出了基于 EEG 信号 NF 训练受试者以利于受试者调节其脑活动;然后采用 PSD 和 HHT 相结合的 PSD-HHT 特征提取方法,提取表征 MI 模式的 EEG 信号特征;再结合 ELM、LDA 和 SVM 多分类器决策方法,提高分类的稳定性并降低错误分类带来的风险;最后以每 200 ms 更新一次特征提取和分类,实现了对智能小车实时良好的控制。
Xia 等[24]研究提出适当的训练可以帮助受试者熟练地调节自己的心理活动,他们根据受试者想象过程中的强度变化以视觉反馈的形式来同步训练受试者,即以条形图填充的高度不同,颜色也随之变化的方法来反馈给受试者,训练 7 天后,取得 80% 的平均分类率。但是该研究训练受试者时间长,且测试没有实际控制对象,与之相比,本研究采用异步实时 NF 的方式来训练受试者,训练后可以成功地控制小车。kus 等[25]采用 EEG 信号控制光标的 NF 训练系统,测试时控制虚拟光标箭头左旋转或右旋转 90° 到达规定的终点,与本研究相比,该类研究也属于虚拟控制,其在自适应调节分类器参数以适应受试者方面取得了一定进展。Lee 等[26]采用视觉和听觉提示相结合的 NF,取得了一定的效果,但没有实际用于控制对象,与之相比,本研究实际脑控小车具有可观测性。本试验结果表明,所提出的基于 EEG 信号特征能量柱形图的异步实时 NF 方法有助于受试者操控基于 MI 的 BCI 控制系统,可望为后续研发实用的 BCR 系统提供借鉴。
Kreilinger 等[27]在基于 SSVEPs EEG 信号反馈控制小车的研究中,研究了基于视觉反馈背景的在黑色、静态现场背景和动态现场背景下的控制效果,动态现场背景下的控制效果在他们提出的训练受试者的方法之后,控制效果有所改善,但相比本研究基于 MI 的 EEG 信号反馈控制,不存在视觉刺激背景的影响。但这种动态的环境变化是否会影响受试者进行 MI,这是一个很值得研究的方向。Lee 等[28]在基于 SSVEPs EEG 信号反馈控制小车的研究中只采用了一个电极 Oz,进行 SSVEPs 控制小车按规定轨迹运动,与本文相比较,虽采用的 EEG 信号控制机制不一样,但其所采用的针对单通道 EEG 信号的解码算法值得借鉴。Shu 等[29]在基于 MI 的 EEG 信号反馈控制虚拟小车中引入误差电位的新方法,使其在 BCI 应用中成为一种可靠的监控工具,而这将是课题组今后在研究 EEG 信号反馈控制实际小车中的一个重要工具。
有研究表明,HHT 在时域和频域比小波变换等方法具有更高的分辨率[22],利用其提取能量特征有助于提高分类率。此外,根据本文图 4 结果可以表明,PSD 可以清晰地表征 ERD 和 ERS 现象,因此可选择 ERD 和 ERS 现象明显的频带信息与 HHT 能量特征融合。图 7 的结果进一步表明 HHT 和 PSD 特征相融合有助于提高分类率。
近年来,多个分类器组合应用到 EEG 信号分类中较少,本文尝试多个分类器组合并基于投票规则输出指令。本文图 7 第三排图即表明了 ELM、LDA 和 SVM 三个分类器联合决策输出控制指令的可行性,可增加分类的稳定性降低分类错误带来的控制风险。尽管如此,本试验中 ELM 的分类性能仍需要进一步提高,在今后的算法研究中,需要优化每个独立分类器的性能,从而增大组合决策输出的可靠性。
4 结束语
本文针对直接 BCR 技术中 EEG 信号 NF 训练受试者及调节脑活动、心理活动的 EEG 信号特征表示及其解码展开研究,聚焦基于 MI 诱发的 EEG 信号的 BCI 控制智能小车。通过训练组和对照组研究了采用 EEG 信号特征地形图的异步实时 NF 方法,PSD-HHT 特征融合,ELM、LDA、SVM 多分类器决策在脑控智能小车中的有效性。结果表明,所提 EEG 信号 NF 方法能够有效训练受试者并调节其脑活动,能够提高脑控性能;多特征融合和多分类器决策也能够改善脑控性能。本研究可望为后续基于 MI 诱发的 EEG 信号 NF 控制智能机器人的研究提供思路。
反馈是控制的精髓,也是直接 BCR 技术的精髓,尤其是基于 MI 脑控的精髓和关键技术,故我们未来的研究方向可拟定为:① 进一步优化 MI 诱发的 EEG 信号 NF 技术并试图建立数学模型进行分析和设计,期望获得最优化的可视化 NF 技术,让受试者(用户)更轻松地训练和学习,缩短训练时间并提高训练效果;② 在本研究的基础上,我们也将针对基于 MI 诱发的 EEG 信号的 BCI 控制智能机器人,进一步优化 MI 诱发的 EEG 信号特征提取和分类算法,探索自适应 EEG 信号处理、自适应特征提取和自适应模式分类算法。