基于稳态视觉诱发电位（SSVEP）的脑机接口（BCI）在智能机器人领域的应用备受关注。传统基于SSVEP的BCI系统多采用同步触发方式，没有识别用户是处于控制态还是非控制态，导致系统缺乏自主控制能力。为此，本文提出了一种SSVEP异步状态识别方法，通过融合脑电信号（EEG）的多种时频域特征，结合线性判别分类器构建了异步状态识别模型，提高SSVEP异步状态识别准确率。进一步，针对残障人群在多任务场景下的控制需求，搭建了一种基于SSVEP-BCI异步协同控制的脑机融合系统，实现在复杂场景下可穿戴机械手与机械臂即“第三只手”的协同控制。实验结果表明，运用本文所提出的SSVEP异步控制算法和脑机融合系统，可以辅助用户完成多任务协同操作，在线控制实验中用户意图识别的平均准确率为93.0%，为SSVEP异步脑机接口系统的实际应用提供了理论和实践依据。
引用本文： 谢平, 门延帝, 甄嘉乐, 邵谢宁, 赵靖, 陈晓玲. 基于异步稳态视觉诱发电位的脑机融合“第三只手”. 生物医学工程学杂志, 2024, 41(4): 664-672. doi: 10.7507/1001-5515.202312056 复制
0 引言
据中国残疾人联合会最新数据表明，截止2021年我国残疾人人数为831.8万人，其中患有肢体残疾的人数为407万人，约占残疾人数的50%。脑机接口（brain-computer interface，BCI）是将人类的脑电信号（electroencephalogram，EEG）转化为计算机可以识别的控制指令，进而实现大脑的信号与外部设备之间的传递[1]。随着BCI技术的不断发展，有研究将之用于实现脑卒中后运动功能障碍患者的康复训练或智能假肢控制等，通过一定的方式解码脑电信号获得控制意图，利用BCI系统替代或者辅助完成动作[2-4]。对于大多数手臂残疾者，通常需要一个外部机械臂来代替自己的手臂完成动作[5]，这种外肢体机器人（supernumerary robotic limb，SRL）常被称为“第三只手”[6]。
脑控“第三只手”不仅给残疾人带来便利，对于健康参与者也能够通过非侵入式脑电信号控制类人机械臂来完成多任务的处理，从而增强人体能力[7-9]。例如，Baldi等[10]通过定义内在运动空间，使用户能够利用已参与任务的自然肢体来控制额外机械臂，恢复残疾用户的部分肢体功能。Tu等[11]设计了两个额外机械臂，它们通过背带固定在用户背部，帮助用户完成提起物体、平举物体等任务，验证了人类在高空任务时协同控制两个机械臂的安全性和可靠性。在这些研究中通过“第三只手”扩大人类的可用技能和操作范围[12-14]，从而更有效地执行任务，并减少工作量。
由此可见，BCI与“第三只手”的结合为人类的生活提供了更大的帮助。在BCI系统中，稳态视觉诱发电位（steady-state visual evoked potential，SSVEP）为通过用户注视以固定频率闪烁的目标，引起视觉皮层产生对应频率及其谐波的电位变化的实验范式。由于它具有高信噪比、训练时间少、信息传输率（information transfer rate，ITR）高等优点得到广泛的应用[15-17]，也是本文所研究的脑电范式。
然而传统SSVEP范式实现方式仍然存在一定的局限。例如，SSVEP的诱发主要通过计算机屏幕呈现视觉刺激，在日常应用中存在移动繁琐、交互性差等问题，因此本文将引入增强现实（augmented reality，AR）技术来改善此问题[18-20]。在基于SSVEP设计的BCI系统中，根据用户操作与计算机处理的时序关系分为同步系统和异步系统。在同步系统中，计算机给出特定的时序信号，用户需要按照系统的时序信号完成操作指令。而异步系统则不同，受试者可以按照自己的意愿在任意时刻开始和停止脑控活动，系统根据用户的脑电信号动态识别控制态和空闲态[21-23]。而现有BCI系统多采用同步触发模式，极大地限制了用户自主控制能力，不适用于实际应用场景。因此需要研究异步SSVEP-BCI系统来实现对机械手的自主控制，以满足用户更多的实用需求。
为此，本文设计了一个基于异步SSVEP的脑控“第三只手”系统。首先利用AR眼镜呈现视觉刺激界面，获取控制者的SSVEP信号触发任务指令，控制由机械手和“第三只手”即机械臂组成的执行机构，以实现对人体的辅助与功能增强。通过设计基于脑电时频特征的SSVEP异步识别算法，实现BCI与辅助机械手和机械臂结合的协同控制，并将SSVEP刺激界面呈现在AR眼镜中，增加SSVEP系统的便携性。最后，通过离线和在线实验验证本文所提方法的有效性。
1 系统设计
1.1 系统描述
整个系统由刺激呈现、数据处理和执行机构三部分组成，如图1所示。由于刺激界面对系统的流畅性要求较高，所以刺激呈现与数据处理分别在两台计算机上进行以避免系统间的相互影响。通过将刺激界面投影到AR眼镜上，使用户既可以看到闪烁刺激又可以与现实世界自由交互。脑电数据通过网络传输到数据处理计算机上，将数据预处理后提取时频域特征，通过所提出的SSVEP异步状态识别模型，得到控制状态数据后进行指令识别。控制指令被发送到执行机构，使机械手与机械臂即“第三只手”完成指定动作。
图1
系统结构图
Figure1.
System structure
1.2 刺激界面
视觉刺激界面通过MATLAB R2020a中的Psychtoolbox-3工具包实现[24]，编码利用采样正弦编码[25]方式。编程实现将刺激界面按帧显示在LCD显示屏上，屏幕采用美国戴尔的D2421H 23.8 英寸电脑显示器，分辨率为1 920×1 080，刷新率为60 Hz。AR眼镜选用由中国Nreal推出的XREAL AR眼镜，该款眼镜既能通过无线传输，又可以使用有线传输。为保证刺激界面投影到AR眼镜中能维持稳定的频率，本文将计算机屏幕上的刺激界面通过HDMI接口投影到AR眼镜上，图2展示了屏幕中呈现的刺激界面和对应的闪烁图形。
图2
视觉刺激界面
Figure2.
Visual stimulator interface
1.3 数据处理流程
脑电数据通过中国Neuracle公司生产的NeuSen W系列无线脑电采集系统获取，采样频率1 000 Hz。实验数据记录位于顶枕区的9个电极（Pz、PO5、PO3、POz、PO4、PO6、O1、Oz和O2），相关研究表明这些通道具有更强的SSVEP成分[26]。电极分布符合国际10-20系统，参考电极为位于头顶的Ref通道，接地电极为位于前额的GND，保持电极阻抗均低于50 kΩ。
获得的脑电信号在进行基线去除后降采样到250 Hz，然后分别进行10～81 Hz的带通滤波和49.7～50.3 Hz的凹陷滤波。通过提取信号的异步状态特征进行多特征融合，构建SSVEP异步状态识别模型对特征进行分类。当识别结果为控制状态时，数据包被送入滤波器组典型相关分析（filter bank canonical correlation analysis，FBCCA）方法中得到控制指令发送给执行机构[27]，数据处理流程如图3所示。
图3
数据处理流程
Figure3.
Data processing flow
1.4 执行机构
执行装置分为机械手和机械臂两个部分，用来执行BCI系统的输出指令。其中机械手采用本实验室自主设计研发的针对手部康复的机械式驱动机械手，型号为Airhand5。该机械手外壳由自主三维建模打印，控制板芯片采用STM32，通信模块使用HC05蓝牙模块。单根手指有3个自由度，使用人体关节生理约束的外骨骼机构设计和单手指单电机的欠驱动设计，使得该机械手既具备欠驱动结构的轻巧又具备全驱动结构的稳定，并且进行多次迭代更新。机械手佩戴于用户的左手上，辅助手部残疾者进行手指运动，完成物体的抓握等操作。
机械臂是一台中国Elehant Robotics公司生产的ER myCobot 280 Pi，为桌面级小型六轴协作机械臂，末端装有电机驱动的二指夹爪。机械臂固定在用户一侧的桌面边缘，将手机与香蕉模型放在桌面的固定位置，机械臂与BCI系统通过TCP/IP进行通信。
2 数据与方法
2.1 受试者与实验环境
本实验共有10名受试者进行离线实验采集与在线测试，包括8名男性和2名女性，年龄在20～25之间，健康状况良好，视力正常或者矫正为正常。所有受试者均为右利手，有1名受试者参加过BCI的相关试验或对BCI有一定了解，而另外9名受试者不熟悉BCI及其相关试验。由于AR-BCI系统中背景光照强度和刺激界面中目标数量的变化会显著影响SSVEP的响应强度和识别准确率[28-29]，因此本文对光照强度进行一定的控制。离线实验中，关闭直射的灯光并遮蔽窗户，使实验室处于昏暗的状态；在线实验时只将灯光关闭，具有自然光照射。实验前每名受试者均签署知情同意书，在整个试验过程中，受试者坐在相对舒适安静的实验室中。
2.2 SSVEP离线数据采集流程
采集离线数据进行方法分析与参数优化。离线数据采集流程如图4所示，每位受试者采集12个组块（block），每个block包含6个试次（trial），即SSVEP刺激界面包含的6个目标，受试者需要在一个block中遍历一次。在每个block开始时，有5 s的实验说明和受试者准备时间，之后以伪随机的形式对6个刺激的出现顺序进行编码，根据编码顺序，出现视觉提示标识，并收集5 s空闲状态数据，此时屏幕不闪烁，要求受试者目光注视屏幕。空闲状态结束后，屏幕开始闪烁，受试者注视提示所对应的目标，并收集5 s控制状态数据。每个block结束后进行2～3 min休息时间。数据采集过程中受试者全程佩戴AR眼镜，并减少身体的晃动和主动眨眼。
图4
数据采集流程
Figure4.
Data acquisition process
2.3 在线实验流程
搭建在线系统验证方法的有效性。通过离线分析，在线实验中数据处理的时间窗口为3 s。在线实验中，要求受试者在规定的时间内，按照任务的动作逻辑发出控制指令，持续进行操作手机或者操作香蕉的任务。受试者根据系统提示音判断实验的开始与停止，通过统计在线实验中发出指令的次数与正确指令个数，计算系统的在线性能。
2.4 SSVEP异步状态识别方法
异步状态的识别为基于SSVEP的BCI系统提供了更加灵活自然的控制方式。本文设计的异步状态识别模型提取信噪比（signal to noise ratio，SNR）、典型相关分析（canonical correlation analysis，CCA）和功率谱密度（power spectral density，PSD）三类特征[30-32]。
由于SSVEP脑电信号在频域上具有明显的刺激频率峰值及其谐波，并且SSVEP刺激会提高脑电信号的信噪比，这里信噪比定义为频率幅值与相邻10个频率幅值的平均值之比，可以有效地突出对应刺激处的频率峰值。因此，计算滤波后全部频段内信号的信噪比与功率谱密度，分别选取最大值作为异步状态分类的一个特征。
计算典型相关系数时首先构造由正余弦信号组成的参考模板Y，然后将多通道脑电信号X与模板信号进行相关性分析，求得最大相关系数。计算公式如下：
 |
 |
式中
、
、
、
分别表示正余弦参考信号谐波数、刺激频率、采样频率和采样信号样本长度。根据典型相关性分析原理，对每段脑电信号与参考信号进行相关性分析，得到六个相关系数，脑电与刺激频率的相关系数应该大于与其他频率的相关系数，因此将相关系数的最大值作为脑电信号的一个特征。
将所选取的特征值拼接成为一维特征向量，使用线性判别分类器（linear discriminant analysis，LDA）对融合后的特征向量进行分类[33]，构成SSVEP异步状态识别模型。通过该模型在线提取用户的控制意图。
通过分类模型得到SSVEP异步状态结果，若为空闲态，BCI系统不会对此脑电信号进行指令识别；若为控制态，则利用FBCCA方法得到最终的刺激结果。该方法通过将原始信号分解为不同频带，获得更多的频率信息以提高SSVEP目标识别结果准确率。首先将原始信号分解为不同的子带分量
，然后通过式（3）得到不同频段的相关系数，计算如下：
 |
最后将不同频段的相关系数按照频段数加权得到最终的相关性，其中加权系数中的a和b的值为表格筛选得到的最优值，如式(4)～(5)所示：
 |
 |
至此，在线获取的脑电数据被识别为用户想要发送的控制指令。
2.5 系统评价指标
在BCI系统中，分类准确度（accuracy，ACC）以及在线系统的ITR为常用的结果评价指标[34]。其中ITR描述在线BCI系统单位时间内可以发出准确指令的能力，计算公式如下：
 |
 |
 |
其中，N为系统可选目标，本文为6；P为目标识别准确率；T为单次目标响应时间为t/n。本文在计算ITR时，将被控设备运行的时间与空闲态的识别作为指令识别的一部分。
3 结果
3.1 异步状态特征分析
图5所示为16 Hz刺激下诱发的脑电信号频谱图和时域图，并且与空闲状态进行对比，时域图中每个通道分开表示。从图中可以看出刺激引发的SSVEP在频域上引起其对应频率和谐波的谱峰，无刺激状态下则无明显峰值，因此刺激状态下与模板进行相关分析会得到更高的相关系数。
图5
时频特征
Figure5.
Time-frequency characteristic
图6为实验中11～16 Hz刺激诱发下控制状态与空闲状态的信噪比。在各种刺激诱发下，控制状态时，对应频率处均会产生更高的信噪比；而空闲状态时，信噪比不会出现突出的峰值。由此可得，控制状态下脑电信号在对应诱发频率及其谐波下信噪比会更高。
图6
各种刺激下控制状态与空闲状态信噪比差异
Figure6.
SNR difference between control state and idle state under each stimulus
图7所示为1.5 s的数据窗口下SSVEP异步特征的空间分布，不难看出，此时控制态和空闲态在特征空间内具有较强的可分性，说明所提特征可以有效区分SSVEP异步状态。
图7
特征空间分布
Figure7.
Feature spatial distribution
3.2 异步状态识别结果
3.2.1 离线实验结果
利用离线数据验证所提SSVEP异步识别方法的有效性，分别计算异步分类准确率和指令识别准确率。由表1和表2可见，随着时间窗的增加，二者准确率均有所提高。表1所示为基于FBCCA的无训练SSVEP识别方法在不同时间窗口长度下的识别结果，其中当数据长度为1.5 s时达到83.4%的平均识别准确率，证明所采集数据的正确性，为下一步异步状态的识别提供了依据。表2显示当数据窗口长度从1.0 s增加到1.5 s时，异步识别准确率提升约9个百分点，达到78.1%的平均值，表明所设计的异步状态识别方法可有效提取SSVEP异步特征，并随着数据的增长不断提升识别准确率。
表1
指令识别准确率（%）
Table1.
Instruction recognition accuracy (%)
表2
异步状态分类准确率（%）
Table2.
Asynchronous state classification accuracy (%)
3.2.2 在线实验结果
在线系统中，受试者可以选择操控手机和香蕉两个目标。图8展示了受试者通过此系统完成抓取手机动作时“第三只手”即机械臂与机械手的协同控制过程，实验开始时机械臂位于原始位置，开始实验，用户通过BCI系统发送抓取手机的指令，机械臂成功抓取手机并展示在用户面前，然后受试者操控机械手与机械臂夹取的手机进行交互，最后机械臂放下手机并返回初始位置（具体实验视频参见附件1）。
图8
动作完成过程
Figure8.
Action completion process
通过完成预先规定的协同控制动作对在线系统的有效性进行验证。在线实验中，要求受试者循环完成机械臂抓取物品、机械手操控物品最后放回物品的动作。在规定时间t内（这里取180 s），统计受试者通过所构建的异步系统发出的指令数n，并根据指令列表计算准确率。表3展示了10名受试者在线实验的结果，其中受试者S3为ITR最优者，ITR达到48.9 bit/min，准确率为98.6%。说明本文所提出的SSVEP异步分类模型可以识别用户的控制意图，并准确识别控制指令，完成对执行机构的控制。所构建的异步在线系统，可以在保证指令识别准确率的情况下，实现用户的自主控制需求。
表3
异步在线BCI系统性能
Table3.
Performance of asynchronous online BCI system
4 讨论
本文构建了一套基于异步SSVEP的脑控“第三只手”系统，通过设计SSVEP异步状态识别模型，利用控制态和空闲态下诱发的脑电信号时频差异进行异步状态的识别，使BCI系统可以在线实时分类使用者的控制意图，提高系统的实用性。此外，“第三只手”机械臂与机械手结合的协同控制策略，丰富了用户的控制方式。相比于传统的屏幕显示SSVEP刺激与其他辅助系统控制指令所提供的形式（语音与眼动等），AR技术为用户提供了更加自然、高效的控制方式[35]，本文结合AR眼镜构建基于SSVEP的控制系统，可为用户提供更好的观感和系统便携性。
通过本文设计的异步状态识别方法，离线数据表明，在数据窗口长度为1 s时可以达到69.0%的平均识别准确率，并随着数据长度的增加，准确率得到明显提升。在线平均ITR为40.2 bit/min，平均准确率为93.0%，相较于现有方法，可以通过较少的特征和算法复杂度，实现较高的识别准确率。应用本文所提方法构建的在线BCI系统可以稳定高效地输出控制指令。
5 结论
本文提出一种异步的SSVEP控制态和空闲态识别方法，该方法通过提取脑电信号的时域与频域特征构成特征向量，使用LDA分类器实现异步状态识别。为增强系统的操控丰富性，设计“第三只手”和机械手的协同控制策略，实现对物品的自由抓取和操控。此外，结合AR技术提高用户体验感。通过分析离线数据，在数据窗长为1.5 s时，所设计的异步状态识别模型对控制状态的分类准确率可达78.1%，体现了该模型的有效性。在线实验显示，用户在180 s内平均发出指令数为30.8个，即可在5.8 s的时间内完成一个完整动作，通过所构建系统可自主流畅完成机械臂与机械手的协同控制，验证了所提出系统的实用性。本文为基于SSVEP的BCI实用系统的发展提供了新的研究思路。
重要声明
利益冲突声明：本文全体作者均声明不存在利益冲突。
作者贡献声明：研究的构思和实验设计由谢平完成，论文撰写、数据分析与图片绘制由门延帝完成，数据收集由甄嘉乐与邵谢宁完成，内容审核与修订由赵靖与陈晓玲完成。
伦理声明：本研究通过了秦皇岛市第一医院伦理委员会的审批（批文编号：2022A016）。
本文附件见本刊网站的电子版本（biomedeng.cn）。
0 引言
据中国残疾人联合会最新数据表明，截止2021年我国残疾人人数为831.8万人，其中患有肢体残疾的人数为407万人，约占残疾人数的50%。脑机接口（brain-computer interface，BCI）是将人类的脑电信号（electroencephalogram，EEG）转化为计算机可以识别的控制指令，进而实现大脑的信号与外部设备之间的传递[1]。随着BCI技术的不断发展，有研究将之用于实现脑卒中后运动功能障碍患者的康复训练或智能假肢控制等，通过一定的方式解码脑电信号获得控制意图，利用BCI系统替代或者辅助完成动作[2-4]。对于大多数手臂残疾者，通常需要一个外部机械臂来代替自己的手臂完成动作[5]，这种外肢体机器人（supernumerary robotic limb，SRL）常被称为“第三只手”[6]。
脑控“第三只手”不仅给残疾人带来便利，对于健康参与者也能够通过非侵入式脑电信号控制类人机械臂来完成多任务的处理，从而增强人体能力[7-9]。例如，Baldi等[10]通过定义内在运动空间，使用户能够利用已参与任务的自然肢体来控制额外机械臂，恢复残疾用户的部分肢体功能。Tu等[11]设计了两个额外机械臂，它们通过背带固定在用户背部，帮助用户完成提起物体、平举物体等任务，验证了人类在高空任务时协同控制两个机械臂的安全性和可靠性。在这些研究中通过“第三只手”扩大人类的可用技能和操作范围[12-14]，从而更有效地执行任务，并减少工作量。
由此可见，BCI与“第三只手”的结合为人类的生活提供了更大的帮助。在BCI系统中，稳态视觉诱发电位（steady-state visual evoked potential，SSVEP）为通过用户注视以固定频率闪烁的目标，引起视觉皮层产生对应频率及其谐波的电位变化的实验范式。由于它具有高信噪比、训练时间少、信息传输率（information transfer rate，ITR）高等优点得到广泛的应用[15-17]，也是本文所研究的脑电范式。
然而传统SSVEP范式实现方式仍然存在一定的局限。例如，SSVEP的诱发主要通过计算机屏幕呈现视觉刺激，在日常应用中存在移动繁琐、交互性差等问题，因此本文将引入增强现实（augmented reality，AR）技术来改善此问题[18-20]。在基于SSVEP设计的BCI系统中，根据用户操作与计算机处理的时序关系分为同步系统和异步系统。在同步系统中，计算机给出特定的时序信号，用户需要按照系统的时序信号完成操作指令。而异步系统则不同，受试者可以按照自己的意愿在任意时刻开始和停止脑控活动，系统根据用户的脑电信号动态识别控制态和空闲态[21-23]。而现有BCI系统多采用同步触发模式，极大地限制了用户自主控制能力，不适用于实际应用场景。因此需要研究异步SSVEP-BCI系统来实现对机械手的自主控制，以满足用户更多的实用需求。
为此，本文设计了一个基于异步SSVEP的脑控“第三只手”系统。首先利用AR眼镜呈现视觉刺激界面，获取控制者的SSVEP信号触发任务指令，控制由机械手和“第三只手”即机械臂组成的执行机构，以实现对人体的辅助与功能增强。通过设计基于脑电时频特征的SSVEP异步识别算法，实现BCI与辅助机械手和机械臂结合的协同控制，并将SSVEP刺激界面呈现在AR眼镜中，增加SSVEP系统的便携性。最后，通过离线和在线实验验证本文所提方法的有效性。
1 系统设计
1.1 系统描述
整个系统由刺激呈现、数据处理和执行机构三部分组成，如图1所示。由于刺激界面对系统的流畅性要求较高，所以刺激呈现与数据处理分别在两台计算机上进行以避免系统间的相互影响。通过将刺激界面投影到AR眼镜上，使用户既可以看到闪烁刺激又可以与现实世界自由交互。脑电数据通过网络传输到数据处理计算机上，将数据预处理后提取时频域特征，通过所提出的SSVEP异步状态识别模型，得到控制状态数据后进行指令识别。控制指令被发送到执行机构，使机械手与机械臂即“第三只手”完成指定动作。
图1
系统结构图
Figure1.
System structure
1.2 刺激界面
视觉刺激界面通过MATLAB R2020a中的Psychtoolbox-3工具包实现[24]，编码利用采样正弦编码[25]方式。编程实现将刺激界面按帧显示在LCD显示屏上，屏幕采用美国戴尔的D2421H 23.8 英寸电脑显示器，分辨率为1 920×1 080，刷新率为60 Hz。AR眼镜选用由中国Nreal推出的XREAL AR眼镜，该款眼镜既能通过无线传输，又可以使用有线传输。为保证刺激界面投影到AR眼镜中能维持稳定的频率，本文将计算机屏幕上的刺激界面通过HDMI接口投影到AR眼镜上，图2展示了屏幕中呈现的刺激界面和对应的闪烁图形。
图2
视觉刺激界面
Figure2.
Visual stimulator interface
1.3 数据处理流程
脑电数据通过中国Neuracle公司生产的NeuSen W系列无线脑电采集系统获取，采样频率1 000 Hz。实验数据记录位于顶枕区的9个电极（Pz、PO5、PO3、POz、PO4、PO6、O1、Oz和O2），相关研究表明这些通道具有更强的SSVEP成分[26]。电极分布符合国际10-20系统，参考电极为位于头顶的Ref通道，接地电极为位于前额的GND，保持电极阻抗均低于50 kΩ。
获得的脑电信号在进行基线去除后降采样到250 Hz，然后分别进行10～81 Hz的带通滤波和49.7～50.3 Hz的凹陷滤波。通过提取信号的异步状态特征进行多特征融合，构建SSVEP异步状态识别模型对特征进行分类。当识别结果为控制状态时，数据包被送入滤波器组典型相关分析（filter bank canonical correlation analysis，FBCCA）方法中得到控制指令发送给执行机构[27]，数据处理流程如图3所示。
图3
数据处理流程
Figure3.
Data processing flow
1.4 执行机构
执行装置分为机械手和机械臂两个部分，用来执行BCI系统的输出指令。其中机械手采用本实验室自主设计研发的针对手部康复的机械式驱动机械手，型号为Airhand5。该机械手外壳由自主三维建模打印，控制板芯片采用STM32，通信模块使用HC05蓝牙模块。单根手指有3个自由度，使用人体关节生理约束的外骨骼机构设计和单手指单电机的欠驱动设计，使得该机械手既具备欠驱动结构的轻巧又具备全驱动结构的稳定，并且进行多次迭代更新。机械手佩戴于用户的左手上，辅助手部残疾者进行手指运动，完成物体的抓握等操作。
机械臂是一台中国Elehant Robotics公司生产的ER myCobot 280 Pi，为桌面级小型六轴协作机械臂，末端装有电机驱动的二指夹爪。机械臂固定在用户一侧的桌面边缘，将手机与香蕉模型放在桌面的固定位置，机械臂与BCI系统通过TCP/IP进行通信。
2 数据与方法
2.1 受试者与实验环境
本实验共有10名受试者进行离线实验采集与在线测试，包括8名男性和2名女性，年龄在20～25之间，健康状况良好，视力正常或者矫正为正常。所有受试者均为右利手，有1名受试者参加过BCI的相关试验或对BCI有一定了解，而另外9名受试者不熟悉BCI及其相关试验。由于AR-BCI系统中背景光照强度和刺激界面中目标数量的变化会显著影响SSVEP的响应强度和识别准确率[28-29]，因此本文对光照强度进行一定的控制。离线实验中，关闭直射的灯光并遮蔽窗户，使实验室处于昏暗的状态；在线实验时只将灯光关闭，具有自然光照射。实验前每名受试者均签署知情同意书，在整个试验过程中，受试者坐在相对舒适安静的实验室中。
2.2 SSVEP离线数据采集流程
采集离线数据进行方法分析与参数优化。离线数据采集流程如图4所示，每位受试者采集12个组块（block），每个block包含6个试次（trial），即SSVEP刺激界面包含的6个目标，受试者需要在一个block中遍历一次。在每个block开始时，有5 s的实验说明和受试者准备时间，之后以伪随机的形式对6个刺激的出现顺序进行编码，根据编码顺序，出现视觉提示标识，并收集5 s空闲状态数据，此时屏幕不闪烁，要求受试者目光注视屏幕。空闲状态结束后，屏幕开始闪烁，受试者注视提示所对应的目标，并收集5 s控制状态数据。每个block结束后进行2～3 min休息时间。数据采集过程中受试者全程佩戴AR眼镜，并减少身体的晃动和主动眨眼。
图4
数据采集流程
Figure4.
Data acquisition process
2.3 在线实验流程
搭建在线系统验证方法的有效性。通过离线分析，在线实验中数据处理的时间窗口为3 s。在线实验中，要求受试者在规定的时间内，按照任务的动作逻辑发出控制指令，持续进行操作手机或者操作香蕉的任务。受试者根据系统提示音判断实验的开始与停止，通过统计在线实验中发出指令的次数与正确指令个数，计算系统的在线性能。
2.4 SSVEP异步状态识别方法
异步状态的识别为基于SSVEP的BCI系统提供了更加灵活自然的控制方式。本文设计的异步状态识别模型提取信噪比（signal to noise ratio，SNR）、典型相关分析（canonical correlation analysis，CCA）和功率谱密度（power spectral density，PSD）三类特征[30-32]。
由于SSVEP脑电信号在频域上具有明显的刺激频率峰值及其谐波，并且SSVEP刺激会提高脑电信号的信噪比，这里信噪比定义为频率幅值与相邻10个频率幅值的平均值之比，可以有效地突出对应刺激处的频率峰值。因此，计算滤波后全部频段内信号的信噪比与功率谱密度，分别选取最大值作为异步状态分类的一个特征。
计算典型相关系数时首先构造由正余弦信号组成的参考模板Y，然后将多通道脑电信号X与模板信号进行相关性分析，求得最大相关系数。计算公式如下：
|
|
式中、、、分别表示正余弦参考信号谐波数、刺激频率、采样频率和采样信号样本长度。根据典型相关性分析原理，对每段脑电信号与参考信号进行相关性分析，得到六个相关系数，脑电与刺激频率的相关系数应该大于与其他频率的相关系数，因此将相关系数的最大值作为脑电信号的一个特征。
将所选取的特征值拼接成为一维特征向量，使用线性判别分类器（linear discriminant analysis，LDA）对融合后的特征向量进行分类[33]，构成SSVEP异步状态识别模型。通过该模型在线提取用户的控制意图。
通过分类模型得到SSVEP异步状态结果，若为空闲态，BCI系统不会对此脑电信号进行指令识别；若为控制态，则利用FBCCA方法得到最终的刺激结果。该方法通过将原始信号分解为不同频带，获得更多的频率信息以提高SSVEP目标识别结果准确率。首先将原始信号分解为不同的子带分量，然后通过式（3）得到不同频段的相关系数，计算如下：
|
最后将不同频段的相关系数按照频段数加权得到最终的相关性，其中加权系数中的a和b的值为表格筛选得到的最优值，如式(4)～(5)所示：
|
|
至此，在线获取的脑电数据被识别为用户想要发送的控制指令。
2.5 系统评价指标
在BCI系统中，分类准确度（accuracy，ACC）以及在线系统的ITR为常用的结果评价指标[34]。其中ITR描述在线BCI系统单位时间内可以发出准确指令的能力，计算公式如下：
|
|
|
其中，N为系统可选目标，本文为6；P为目标识别准确率；T为单次目标响应时间为t/n。本文在计算ITR时，将被控设备运行的时间与空闲态的识别作为指令识别的一部分。
3 结果
3.1 异步状态特征分析
图5所示为16 Hz刺激下诱发的脑电信号频谱图和时域图，并且与空闲状态进行对比，时域图中每个通道分开表示。从图中可以看出刺激引发的SSVEP在频域上引起其对应频率和谐波的谱峰，无刺激状态下则无明显峰值，因此刺激状态下与模板进行相关分析会得到更高的相关系数。
图5
时频特征
Figure5.
Time-frequency characteristic
图6为实验中11～16 Hz刺激诱发下控制状态与空闲状态的信噪比。在各种刺激诱发下，控制状态时，对应频率处均会产生更高的信噪比；而空闲状态时，信噪比不会出现突出的峰值。由此可得，控制状态下脑电信号在对应诱发频率及其谐波下信噪比会更高。
图6
各种刺激下控制状态与空闲状态信噪比差异
Figure6.
SNR difference between control state and idle state under each stimulus
图7所示为1.5 s的数据窗口下SSVEP异步特征的空间分布，不难看出，此时控制态和空闲态在特征空间内具有较强的可分性，说明所提特征可以有效区分SSVEP异步状态。
图7
特征空间分布
Figure7.
Feature spatial distribution
3.2 异步状态识别结果
3.2.1 离线实验结果
利用离线数据验证所提SSVEP异步识别方法的有效性，分别计算异步分类准确率和指令识别准确率。由表1和表2可见，随着时间窗的增加，二者准确率均有所提高。表1所示为基于FBCCA的无训练SSVEP识别方法在不同时间窗口长度下的识别结果，其中当数据长度为1.5 s时达到83.4%的平均识别准确率，证明所采集数据的正确性，为下一步异步状态的识别提供了依据。表2显示当数据窗口长度从1.0 s增加到1.5 s时，异步识别准确率提升约9个百分点，达到78.1%的平均值，表明所设计的异步状态识别方法可有效提取SSVEP异步特征，并随着数据的增长不断提升识别准确率。
表1
指令识别准确率（%）
Table1.
Instruction recognition accuracy (%)
表2
异步状态分类准确率（%）
Table2.
Asynchronous state classification accuracy (%)
3.2.2 在线实验结果
在线系统中，受试者可以选择操控手机和香蕉两个目标。图8展示了受试者通过此系统完成抓取手机动作时“第三只手”即机械臂与机械手的协同控制过程，实验开始时机械臂位于原始位置，开始实验，用户通过BCI系统发送抓取手机的指令，机械臂成功抓取手机并展示在用户面前，然后受试者操控机械手与机械臂夹取的手机进行交互，最后机械臂放下手机并返回初始位置（具体实验视频参见附件1）。
图8
动作完成过程
Figure8.
Action completion process
通过完成预先规定的协同控制动作对在线系统的有效性进行验证。在线实验中，要求受试者循环完成机械臂抓取物品、机械手操控物品最后放回物品的动作。在规定时间t内（这里取180 s），统计受试者通过所构建的异步系统发出的指令数n，并根据指令列表计算准确率。表3展示了10名受试者在线实验的结果，其中受试者S3为ITR最优者，ITR达到48.9 bit/min，准确率为98.6%。说明本文所提出的SSVEP异步分类模型可以识别用户的控制意图，并准确识别控制指令，完成对执行机构的控制。所构建的异步在线系统，可以在保证指令识别准确率的情况下，实现用户的自主控制需求。
表3
异步在线BCI系统性能
Table3.
Performance of asynchronous online BCI system
4 讨论
本文构建了一套基于异步SSVEP的脑控“第三只手”系统，通过设计SSVEP异步状态识别模型，利用控制态和空闲态下诱发的脑电信号时频差异进行异步状态的识别，使BCI系统可以在线实时分类使用者的控制意图，提高系统的实用性。此外，“第三只手”机械臂与机械手结合的协同控制策略，丰富了用户的控制方式。相比于传统的屏幕显示SSVEP刺激与其他辅助系统控制指令所提供的形式（语音与眼动等），AR技术为用户提供了更加自然、高效的控制方式[35]，本文结合AR眼镜构建基于SSVEP的控制系统，可为用户提供更好的观感和系统便携性。
通过本文设计的异步状态识别方法，离线数据表明，在数据窗口长度为1 s时可以达到69.0%的平均识别准确率，并随着数据长度的增加，准确率得到明显提升。在线平均ITR为40.2 bit/min，平均准确率为93.0%，相较于现有方法，可以通过较少的特征和算法复杂度，实现较高的识别准确率。应用本文所提方法构建的在线BCI系统可以稳定高效地输出控制指令。
5 结论
本文提出一种异步的SSVEP控制态和空闲态识别方法，该方法通过提取脑电信号的时域与频域特征构成特征向量，使用LDA分类器实现异步状态识别。为增强系统的操控丰富性，设计“第三只手”和机械手的协同控制策略，实现对物品的自由抓取和操控。此外，结合AR技术提高用户体验感。通过分析离线数据，在数据窗长为1.5 s时，所设计的异步状态识别模型对控制状态的分类准确率可达78.1%，体现了该模型的有效性。在线实验显示，用户在180 s内平均发出指令数为30.8个，即可在5.8 s的时间内完成一个完整动作，通过所构建系统可自主流畅完成机械臂与机械手的协同控制，验证了所提出系统的实用性。本文为基于SSVEP的BCI实用系统的发展提供了新的研究思路。
重要声明
利益冲突声明：本文全体作者均声明不存在利益冲突。
作者贡献声明：研究的构思和实验设计由谢平完成，论文撰写、数据分析与图片绘制由门延帝完成，数据收集由甄嘉乐与邵谢宁完成，内容审核与修订由赵靖与陈晓玲完成。
伦理声明：本研究通过了秦皇岛市第一医院伦理委员会的审批（批文编号：2022A016）。
本文附件见本刊网站的电子版本（biomedeng.cn）。
