脑卒中（stroke）是由于脑部血液供应突然中断或脑血管破裂，导致脑细胞损伤进而损害患者运动和认知能力的一种急性脑血管疾病。融合脑—机接口（BCI）和虚拟现实（VR）的新型康复训练模式，不仅能促进脑网络功能激活，而且能为患者提供沉浸感强、趣味性强的情境反馈。本文设计了融合多感官刺激反馈、BCI和VR的手部康复训练系统，通过虚拟场景的任务引导患者运动想象，获取患者运动意图，进而在虚拟场景下进行人机交互；同时，融入触觉反馈进一步增加患者本体感受，从而实现基于视、听、触觉多感官刺激反馈的手功能康复训练。本研究通过对比分析加入触觉反馈前后的脑电信号数据内不同频段功率谱密度的差异，发现加入触觉反馈后运动脑区被明显激活，运动脑区的功率谱密度在高γ频段有显著提升。研究结果说明，患者在融合多感官刺激的VR—BCI手功能增强康复系统中进行康复训练，能够加速感觉传导通路和运动传导通路的双向促通，从而加速康复进程。
引用本文： 邵谢宁, 张艺滢, 张栋, 门延帝, 王子龙, 陈晓玲, 谢平. 融合多感官刺激的虚拟现实—脑机接口手功能增强康复系统. 生物医学工程学杂志, 2024, 41(4): 656-663. doi: 10.7507/1001-5515.202312055 复制
0 引言
脑卒中（stroke） 是一种较为常见的脑血管疾病[1]。据《中国脑卒中防治报告（2023）》显示，我国40岁及以上人群脑卒中人数达1 242万，且发病人群呈年轻化。发生脑卒中后，约75%的患者留下后遗症、40%的患者重度残疾，因此帮助该类患者进行有效的康复训练，促进其肢体运动功能恢复具有十分重要的意义[2]。研究表明，大脑具有可塑性和神经网络重构机制，即可通过对脑卒中患者进行长期的康复训练，使患者肢体的运动功能慢慢得到恢复[3-5]。
脑—机接口（brain-computer interface，BCI）可以通过获取大脑神经活动进而控制外部设备，外部设备也会相应地给大脑发送反馈信息，实现大脑意图和实际行动之间的双向联系[6-7]。基于运动想象（motor imagery，MI）的BCI康复训练能改善脑卒中患者的肢体功能，使得多个脑区间功能连接增强，促进脑功能网络活动[8]；而虚拟现实（virtual reality，VR）具有沉浸感强、真实感强的特点；将BCI与VR技术相结合，可构建基于VR的BCI技术（VR-BCI）[9]。VR-BCI，是一种BCI应用新模式，其在康复领域的应用已逐步展开。与传统BCI简单的反馈模式相比，VR-BCI能为BCI用户提供更积极主动、更丰富多彩、更具激励性的情境反馈[10-11]。但是，VR-BCI在感官反馈层面主要以听觉（auditory，A）和视觉（visual，V）感官反馈为主，缺少其他感官的融入。如果在沉浸感较强的VR场景中，与虚拟物体进行交互时，增加触觉（haptic，H）反馈，可以增强患者本体感受，增强康复效果[12]。
本文通过搭建基于多感官刺激反馈（multi sensory stimulation feedback，MSTF）的VR-BCI手功能康复训练系统，利用BCI技术实现基于运动想象的人机交互训练模式，在具备虚拟沉浸感的康复训练中融入触觉反馈[13-14]，期望为患者提供听、视、触觉（A-V-H）多感官刺激反馈，以增强刺激患者本体感受，加速感觉传导通路和运动传导通路的双向促通，诱发患者主动参与的积极性，进而通过提供更为自然逼真的训练环境，更好地辅助患者完成手部康复训练，加速患者康复进程。
1 基于VR-BCI和多感官刺激反馈的康复系统构建
为了增强患者的本体感受，融合A-V-H多感官刺激反馈，本文构建了基于多感官刺激反馈的VR-BCI手功能康复训练系统，其由VR头戴式显示器VIVE XR（HTC Inc. ，中国）、体感识别传感器Leapmotion（Ultraleap Inc. ，美国）、触觉手套Tact Gloves（BHaptic Inc. ，韩国）、脑电数据采集设备NeuSen W（博睿康科技股份有限公司，中国）、数据处理终端组成，如图1所示。其中，VIVE XR、Leapmotion和Tact Gloves可以为受试者提供本体感觉更加逼真的人机交互环境，脑电数据采集设备则采集受试者脑电信号，数据处理终端对脑电信号进行实时预处理、特征提取和VR场景的渲染及逻辑交互。为了满足患者康复的便利性，整套系统均使用无线传输的方式进行数据传输。
图1
系统结构图
Figure1.
System architecture diagram
本文所设计的康复系统基于运动想象试验范式，通过虚拟场景任务中的视、听觉（A-V）双感官刺激引发患者运动想象，运动想象识别结果将触发场景中的虚拟手，进而带动患者手部进行交互训练，引导受试者完成运动任务。而在运动任务执行期间，当虚拟手与场景中的虚拟物体进行交互时，例如抓取物体等，通过Tact Gloves提供的反馈信息，可以与任务完成提示等A-V双感官信息构成多感官刺激反馈，更好地激活大脑的运动功能区，提高患者的训练积极性和自信心，加速康复进程。
1.1 上肢人机交互实现
为了提供体感和触觉传感官通路，丰富患者在康复过程中的体验感和真实性，使用Leapmotion传感器对上肢运动进行追踪并映射到VR场景中，而使用Tact Gloves可以通过震动在患者手部产生触觉。
Leapmotion通过双目摄像头对上肢进行识别且实时解算上肢（包含小臂、手掌、手指及手指关节）相对于传感器本身的空间位置，将小臂、手掌、手指及手指关节的三维坐标点送入VR场景中的虚拟上肢所对应的节点中，从而实现VR场景中上肢实时位姿的映射。Tact Gloves的每个指尖都搭载1个线性谐振执行器，通过神经拟态算法来模拟触摸、抓握、按压、握手等交互触觉，通过蓝牙连接进行触觉交互控制，当VR场景中虚拟上肢与虚拟物体产生交互事件时，控制Tact Gloves产生相对应的触觉。
1.2 VR环境开发
VR技术可以提高康复过程的有效性和趣味性，为患者提供更加真实、沉浸感更强的康复环境，提供A-V双感官通路[15-16]。
本文使用互动内容创作和运营平台软件Unity3D （2022. 3. 8f1c1，Unity Technologies Inc.，美国）进行虚拟场景设计，可以实现有趣的交互逻辑，例如抓握苹果移动、对物体按照大小或颜色进行排序等。开放统一应用编程接口（OpenXR）是VR平台上设备与应用程序之间的标准，其可以满足不同头戴式显示器运行同一个Unity3D程序的兼容性问题。本文所设计开发的VR康复系统使用基于OpenXR标准的解决方案SteamVR（2. 2. 3，Valve Corporation，美国），对VR设备进行设备地面校准和视角校准，并利用SteamVR 插件（plugin）串流至VR头戴式显示器，从而实现自定义开发的虚拟场景在VR头戴式显示器中运行。
1.3 数据处理终端
数据处理终端作为整个系统的核心控制部分和数据处理部分，其主要作用是实时采集脑电数据，以及数据处理分析、控制外部设备、Unity3D程序渲染及运行。
为了满足多用户使用、多编程语言之间的逻辑控制，本文设计开发了基于Unity3D的模块化BCI试验平台。该试验平台是数据处理终端的基础系统框架，对功能模块进行模块化设计，从而达到系统解耦设计，使得康复系统平台对编程语言有较高的兼容性。
整个平台采用四层架构设计，分别是应用层、展现层、处理层、数据层，其中包括一些其他的认证系统、日志系统、数据管理系统。应用层，主要负责基础业务逻辑，采用的是基于Windows 的用户界面框架（Windows presentation foundation，WPF）；展现层，主要负责用户视觉交互；处理层，通过外部接口可以初始化外部脑电交互设备，从而控制数据记录。在康复训练中，处理层可以实现对多通道脑电数据基线校正、去除工频干扰、独立成分分析（independent component analysis，ICA）去除眼电伪迹、降采样、带通滤波、小波包频段提取等预处理操作，还可以通过小波包多尺度分解和特征频段功率谱密度对多通道脑电数据进行特征提取，再经分类后将其结果反馈到VR康复场景中控制诸如物体、虚拟肢体、虚拟人物在虚拟场景中的动作，最终形成实时交互反馈。数据层，为每位用户提供训练数据存储和数据分析，以及试验项目的存储。
2 试验设计与数据处理
2.1 受试者选取及试验范式设计
本文共采集了10名健康青年受试者的脑电数据，均采集自秦皇岛市第一医院，本研究获得秦皇岛市第一医院伦理委员会批准（审批编号：2022A016），且获得10名受试者脑电数据的使用授权。所有受试者均自愿参与试验并签订了试验知情同意书，且之前均未参加过类似任务试验，因此可以避免预期训练效果对本研究结论的影响。受试者基本信息如下：6名男性，4名女性，每人2试次，共计20试次，年龄范围为20～26岁，均为右利手；视力、听力无明显障碍；既往无重要脏器疾病史、无脑部肿瘤或其他颅脑疾患、无精神病史。
为了验证本文设计的基于多感官刺激反馈的虚拟康复系统的有效性，本文对多感官刺激反馈进行组合，得出仅含A-V的双感官刺激反馈以及融合A-V-H的多感官刺激反馈两种刺激条件，如图2所示。试验内容由运动想象和运动任务组成，在虚拟场景中受试者可以看到真实上肢在虚拟场景中的映射，在VR头戴式显示器正前方（水平视场角140°，垂直视场角120°）的手部可被识别并映射，而虚拟场景中映射的上肢可以和虚拟物体进行碰撞、抓握、移动等交互方式。在本文所设计的虚拟场景中，在受试者正前方有一个木桌，木桌上左侧右侧区域各有一个盘子，受试者运动想象的结果将触发虚拟手抓握苹果至对应方向的盘子中，如图2中试验过程图所示。
图2
A-V-H多感官刺激和A-V双感官刺激反馈试验范式
Figure2.
A-V-H multi-sensory stimulation and A-V bi-sensory stimulation feedback experimental paradigm
如图2所示，整个试验由10 min静息态、12 min A-V双感官刺激反馈试验和12 min A-V-H多感官刺激反馈试验组成。试验开始，首先是30 s的试验介绍，介绍完毕后休息20 s；然后进行25次的左手运动想象与左手运动任务、25次的右手运动想象与右手运动任务，左右手方向随机。具体而言，A-V双感官刺激反馈试验在运动想象开始时，虚拟场景中的苹果会按照预定方向移动到盘子中，同时有语音提示，5 s后结束运动想象；当单次运动想象结束且识别结果正确时，将进行与本次运动想象同方向的8 s运动抓握任务，场景中虚拟手会根据识别结果移动，当真实手到达虚拟手的位置时，虚拟手再次移动，以此循环指引受试者完成动作，从而实现虚实结合的人机交互。与A-V双感官刺激反馈试验不同，A-V-H多感官刺激反馈试验在运动任务期间，即单次运动想象结束且识别结果正确时，开始进行运动抓握任务，当受试者的真实手与VR中的虚拟手达成映射后，当抓握虚拟苹果时，会在真实手部产生触觉反馈。
2.2 脑电数据采集及预处理
采集受试者大脑皮层64通道脑电数据，采样率1 000 Hz。对采集到的64通道脑电信号使用脑电数据分析插件eeglab 2024（University of California， 美国）进行预处理：使用64通道定位文件对电极定位；将运动脑区相关电极（Fz、F1、F2、F3、F4、F5、F6、F7、F8、FCz、FC1、FC2、FC3、FC4、FC5、FC6、Cz、C1、C2、C3、C4、C5、C6）以外的通道剔除；首先使用自适应陷波滤波器去除50 Hz工频及其谐波信号，基于ICA去除心电和眼电信号，最后使用带通滤波器提取0.4～200.0 Hz脑电信号；根据脑电信号中的任务标记截取任务相关数据并进行分段处理；对每位受试者两个试次的数据分别预处理后，合并数据进行后续的分析。
2.3 脑电信号特征提取及模式识别
为获取运动想象后的结果，即运动意图，需要对于采集到的脑电信号进行空域滤波（spatial filter）[17]，这样既能同步利用脑电信号的空间相关性，又可以对信号噪声进行消除，并且可以实现局部皮层神经活动的定位。本文采用目前最常用的空域滤波技术共空间模式（common spatial pattern，CSP）来提取脑电数据的特征[18]。
假设X1和X2分别为两分类想象运动任务下的多通道诱发响应时—空信号矩阵，其维数均为N·T，N为脑电通道数，T为每个通道所采集的样本数[19]。X1和X2取值如式(1)所示：
 |
其中，S1和S2分别代表两种类型任务，SM代表两种类型任务下所共同拥有的源信号[20]；假设S1是由
个源所构成的，S2是由M2个源所构成，则C1和C2便是由S1和S2相关的M1和M2个共空间模式组成的，CM表示的是与SM相应的共空间模式[21]。投影矩阵W是所对应的空间滤波器，如式(2)所示：
 |
其中，P为特征值进行降序排列后的白化值矩阵，B为特征向量矩阵。对于测试数据Xi来说，其特征向量fi的提取方式如式（3）所示：
 |
其中，方差（variance，VAR）（以符号VAR表示），求和（sum）函数（以符号sum表示），提取到脑电数据的共空间特征后，选用支持向量机（support vector machine，SVM）分类器进行分类[22]，进而获取到运动想象的结果，将得到的结果与真实标签对比，如果结果相符继续进行同方向的运动抓握任务[23-24]。
2.4 统计学分析
为了探究A-V-H多感官刺激反馈与A-V双感官刺激反馈下大脑节律差异是否具有统计学意义，采用配对样本t检验分析方法，对A-V-H多感官刺激反馈与A-V双感官刺激反馈下脑节律的差异进行统计学分析，使用统计分析软件SPSS 27（International Business Machines Corporation, 美国），采用双尾检验，检验水准为0. 05。
3 结果
本文从系统功能实现、大脑激活特性、脑节律特性和脑节律差异是否具有统计学意义等方面对多感官刺激反馈下手功能增强康复系统进行验证与分析。
3.1 多感官刺激反馈下系统功能实现
本研究招募的10名受试者在融合A-V-H多感官刺激反馈的VR-BCI手功能增强康复系统下进行2轮次试验，共计20人次。根据受试者反馈，在基于运动想象范式的VR-BCI系统下体验到自然良好的人机交互过程，在VR场景中通过更加自然生动的导向提示来进行运动想象，使用Leapmotion实现的体感反馈直接与VR场景中的虚拟物体进行交互，融合A-V-H多感官刺激模式下，受试者获得较好的体验感、沉浸感和趣味性。
3.2 多感官刺激反馈条件下大脑激活特性分析
由前文1. 2小节的试验范式可知，本文运动任务范式由25次左手抓握任务和25次右手抓握任务组成，单个受试者单个条件下抓握任务共50次。本研究对受试者在运动想象后时长为8 s的运动抓握任务的脑电数据提取功率谱密度，分别对A-V-H多感官刺激反馈试验与A-V双感官刺激反馈试验的脑电数据进行分析，从而探究增加触觉刺激条件下对脑区激活程度的影响。针对采集25次左手抓握的脑电数据和25次右手抓握的脑电数据，本文提取δ频段（0. 5～4. 0 Hz）、θ频段（4～8 Hz）、α频段（8～14 Hz）、β频段（14～30 Hz）、γ频段（30～150 Hz）的功率谱密度，将64通道中与运动脑区相关的12个通道数据绘制脑地形图，发现10名受试者的脑电数据在γ频段有规律性变化。如图3所示，为A-V-H多感官刺激反馈试验与A-V双感官刺激反馈试验下左右手运动任务在γ频段（30～150 Hz）下大脑激活特性图。
图3
激活特性脑地形图
Figure3.
Brain topography of activation characteristics
图3中，左侧为A-V双感官刺激反馈试验下左右手运动任务大脑运动功能区激活程度，右侧为A-V-H多感官刺激反馈试验下左右手运动任务大脑运动功能区激活程度，可以看出在左右手运动任务中大脑运动功能区明显激活，特别在右手运动任务中激活程度更明显。
3.3 多感官刺激反馈条件下脑节律特性分析
对受试者在A-V-H多感官刺激反馈试验与A-V双感官刺激反馈试验下左右手运动任务脑电数据进行分析，计算γ频段（30～150 Hz）和进一步细分的低γ频段（30～70 Hz）、高γ频段（70～150 Hz）的功率谱密度[25]，将左手任务与右手任务所对应的脑电数据计算得出的功率谱密度绘制成图，如图4所示，圆形大小代表功率谱密度的强度。
图4
不同运动任务下有触觉和无触觉反馈条件下功率谱密度
Figure4.
Power spectral density with or without haptic feedback conditions for different motor tasks
在γ频段功率谱密度结果中，右手任务下A-V-H多感官刺激反馈试验比A-V双感官刺激反馈试验的功率谱密度值有提升，特别是部分通道（FC3、FC4、C3、C5、C6）提升幅度较高；左手任务下融合A-V-H的多感官刺激反馈比A-V双感官刺激反馈的功率谱密度值在部分通道有提升，但在C6通道呈抑制状态。将γ频段分为：低γ频段、高γ频段；在低γ频段功率谱密度结果中，左右手运动任务下A-V-H多感官刺激反馈试验比A-V双感官刺激反馈试验的功率谱密度值有提升；在高γ频段功率谱密度结果中，左右手运动任务下A-V-H多感官刺激反馈试验比A-V双感官刺激反馈试验的功率谱密度值有明显提升，特别是部分通道（FC3、FC4、C5、C6）提升幅度明显。
3.4 多感官刺激反馈下脑节律差异统计学分析
为定量分析A-V双感官刺激和A-V-H多感官刺激条件下健康受试者在特定运动任务下大脑运动功能区不同频段节律特性的差异是否具有统计学意义，分别计算左右手运动任务下低γ频段、高γ频段、γ频段的功率谱密度，利用配对样本t检验分析大脑运动功能区激活情况。如图5所示，不同运动任务下，A-V-H多感官刺激反馈试验与A-V双感官刺激反馈试验下功率谱密度的差异具有统计学意义。
图5
不同运动任务下有触觉和无触觉反馈条件下功率谱密度的统计学差异
Figure5.
Statistical differences in power spectral density with or without haptic feedback conditions for different motor tasks
如图5所示，给出了A-V-H多感官刺激反馈试验与A-V双感官刺激反馈试验下γ频段、低γ频段、高γ频段中的功率谱密度的差异比较。在左手运动任务中，仅在高γ频段A-V-H多感官刺激反馈试验与A-V双感官刺激反馈试验在功率谱密度上的差异具有统计学意义（高γ频段左手运动任务下：［MD = 4.468（1.306，29.920），P = 0.049］），γ频段、低γ频段上的差异不具有统计学意义（γ频段左手运动任务下：［MD = 9.571（3.082，77.693），P = 0.057］，低γ频段左手运动任务下：［MD = 4.968（1.539，47.784），P = 0.062］）。在右手运动任务中，γ频段、低γ频段、高γ频段A-V-H多感官刺激反馈试验与A-V双感官刺激反馈试验在功率谱密度上的差异具有统计学意义（γ频段右手运动任务下：［MD = 13.046（4.005，70.198），P = 0.046］，低γ频段右手运动任务下：［MD = 7.212（1.788，42.653），P = 0.037］，高γ频段右手运动任务下：［MD = 5.807（2.080，27.556），P = 0.042］）。
4 讨论
本文设计的VR-BCI虚拟康复系统利用VR头戴式显示器提供A-V双感官刺激反馈[26]，并利用Tact Gloves手套融入触觉感官刺激反馈，实现了融合A-V-H多感官刺激反馈，较好地充实了患者的本体感觉[27]，在常规VR-BCI系统的基础上，Leapmotion可以提供手部体感反馈，触觉反馈的引入使得患者在康复时拥有更加真实的交互体验，可进一步增强康复效果，加速损伤神经自我修复[28]。
通过前文3.2小节中左右手运动任务下A-V-H多感官刺激反馈试验与A-V双感官刺激反馈试验的功率谱密度分析表明，A-V-H多感官刺激反馈试验中触觉反馈的加入对受试者大脑运动功能区的γ频段有明显激活，特别是高γ频段显著激活。目前，γ频段振荡可认为反映了大脑皮层的激活程度，根据大脑皮层区域的不同[29]，在大脑运动功能区的γ频段振荡与信息的注意加工（注意，即能把个体的外部世界和内部世界联系起来，个体通过利用注意让现实里的信息进入大脑世界）、感官感知密切相关[30-31]，也就是说，γ频段振荡与反馈条件（听觉、视觉、触觉、体感反馈）更加完善的训练环境有关，而不同γ频段振荡是不同空间尺度下神经连接的特征，它们可能与信息集成的不同功能有关，而触觉反馈的加入会在高γ频段具有更强的激活程度和神经连接。
通过前文3.3小节中左右手运动任务下两个试验中脑节律特性分析表明，左右手运动任务对大脑运动功能区的激活程度并不一致。在左手运动任务下A-V-H多感官刺激反馈试验与A-V双感官刺激反馈试验仅高γ频段的功率谱密度上的差异具有统计学意义，而在右手运动任务下γ频段、低γ频段、高γ频段的功率谱密度的差异均具有统计学意义，这可能与受试者惯用手均为右手有关，右手运动任务下多感官反馈更有利于激活受试者大脑运动功能区，从而有利于达到重塑运动功能、加快康复进程的目的。
在手功能增强康复过程中，多感官刺激是感觉传导通路的输入，而手部运动则是运动传导通路的输出。基于此，在前文3.4小节中脑节律差异统计学分析表明，多感官刺激下，丰富且贴近真实的环境相比单一的环境对促通运动传导通路有更积极的效果。脑卒中患者康复过程中需要运动传导通路和感觉传导通路的双向促通，而本文主要针对多感官的刺激对运动传导通路的影响进行具体分析，但对感觉传导通路的分析不足是本文潜在的局限之一，也是下一步研究的方向。
5 结论
本文融合VR技术和BCI技术，设计了基于VR和多感官刺激反馈的VR-BCI手功能康复系统，搭建了相应的VR试验范式，实现了基于运动想象触发的虚实结合人机交互，能为用户提供更多本体感知和反馈信息。通过对比分析不同运动任务下，A-V-H多感官刺激反馈与A-V双感官刺激反馈时脑电数据的功率谱密度，发现A-V-H多感官刺激反馈条件下功率谱密度在高γ频段有显著提升，说明对大脑运动功能区明显激活。因此，相较于仅A-V的双感官刺激反馈，融合A-V-H的多感官刺激反馈的康复环境对大脑运动功能区的激活更有利。
重要声明
利益冲突声明：本文全体作者均声明不存在利益冲突。
作者贡献声明：邵谢宁负责实验设计、系统搭建、数据采集和论文写作，张艺滢负责实验设计及作图，张栋负责数据分析，门延帝负责系统搭建，王子龙负责数据分析以及作图，陈晓玲、谢平负责实验设计。
伦理声明：本研究通过了秦皇岛市第一医院伦理委员会的审批（批号：2022A016）。
0 引言
脑卒中（stroke） 是一种较为常见的脑血管疾病[1]。据《中国脑卒中防治报告（2023）》显示，我国40岁及以上人群脑卒中人数达1 242万，且发病人群呈年轻化。发生脑卒中后，约75%的患者留下后遗症、40%的患者重度残疾，因此帮助该类患者进行有效的康复训练，促进其肢体运动功能恢复具有十分重要的意义[2]。研究表明，大脑具有可塑性和神经网络重构机制，即可通过对脑卒中患者进行长期的康复训练，使患者肢体的运动功能慢慢得到恢复[3-5]。
脑—机接口（brain-computer interface，BCI）可以通过获取大脑神经活动进而控制外部设备，外部设备也会相应地给大脑发送反馈信息，实现大脑意图和实际行动之间的双向联系[6-7]。基于运动想象（motor imagery，MI）的BCI康复训练能改善脑卒中患者的肢体功能，使得多个脑区间功能连接增强，促进脑功能网络活动[8]；而虚拟现实（virtual reality，VR）具有沉浸感强、真实感强的特点；将BCI与VR技术相结合，可构建基于VR的BCI技术（VR-BCI）[9]。VR-BCI，是一种BCI应用新模式，其在康复领域的应用已逐步展开。与传统BCI简单的反馈模式相比，VR-BCI能为BCI用户提供更积极主动、更丰富多彩、更具激励性的情境反馈[10-11]。但是，VR-BCI在感官反馈层面主要以听觉（auditory，A）和视觉（visual，V）感官反馈为主，缺少其他感官的融入。如果在沉浸感较强的VR场景中，与虚拟物体进行交互时，增加触觉（haptic，H）反馈，可以增强患者本体感受，增强康复效果[12]。
本文通过搭建基于多感官刺激反馈（multi sensory stimulation feedback，MSTF）的VR-BCI手功能康复训练系统，利用BCI技术实现基于运动想象的人机交互训练模式，在具备虚拟沉浸感的康复训练中融入触觉反馈[13-14]，期望为患者提供听、视、触觉（A-V-H）多感官刺激反馈，以增强刺激患者本体感受，加速感觉传导通路和运动传导通路的双向促通，诱发患者主动参与的积极性，进而通过提供更为自然逼真的训练环境，更好地辅助患者完成手部康复训练，加速患者康复进程。
1 基于VR-BCI和多感官刺激反馈的康复系统构建
为了增强患者的本体感受，融合A-V-H多感官刺激反馈，本文构建了基于多感官刺激反馈的VR-BCI手功能康复训练系统，其由VR头戴式显示器VIVE XR（HTC Inc. ，中国）、体感识别传感器Leapmotion（Ultraleap Inc. ，美国）、触觉手套Tact Gloves（BHaptic Inc. ，韩国）、脑电数据采集设备NeuSen W（博睿康科技股份有限公司，中国）、数据处理终端组成，如图1所示。其中，VIVE XR、Leapmotion和Tact Gloves可以为受试者提供本体感觉更加逼真的人机交互环境，脑电数据采集设备则采集受试者脑电信号，数据处理终端对脑电信号进行实时预处理、特征提取和VR场景的渲染及逻辑交互。为了满足患者康复的便利性，整套系统均使用无线传输的方式进行数据传输。
图1
系统结构图
Figure1.
System architecture diagram
本文所设计的康复系统基于运动想象试验范式，通过虚拟场景任务中的视、听觉（A-V）双感官刺激引发患者运动想象，运动想象识别结果将触发场景中的虚拟手，进而带动患者手部进行交互训练，引导受试者完成运动任务。而在运动任务执行期间，当虚拟手与场景中的虚拟物体进行交互时，例如抓取物体等，通过Tact Gloves提供的反馈信息，可以与任务完成提示等A-V双感官信息构成多感官刺激反馈，更好地激活大脑的运动功能区，提高患者的训练积极性和自信心，加速康复进程。
1.1 上肢人机交互实现
为了提供体感和触觉传感官通路，丰富患者在康复过程中的体验感和真实性，使用Leapmotion传感器对上肢运动进行追踪并映射到VR场景中，而使用Tact Gloves可以通过震动在患者手部产生触觉。
Leapmotion通过双目摄像头对上肢进行识别且实时解算上肢（包含小臂、手掌、手指及手指关节）相对于传感器本身的空间位置，将小臂、手掌、手指及手指关节的三维坐标点送入VR场景中的虚拟上肢所对应的节点中，从而实现VR场景中上肢实时位姿的映射。Tact Gloves的每个指尖都搭载1个线性谐振执行器，通过神经拟态算法来模拟触摸、抓握、按压、握手等交互触觉，通过蓝牙连接进行触觉交互控制，当VR场景中虚拟上肢与虚拟物体产生交互事件时，控制Tact Gloves产生相对应的触觉。
1.2 VR环境开发
VR技术可以提高康复过程的有效性和趣味性，为患者提供更加真实、沉浸感更强的康复环境，提供A-V双感官通路[15-16]。
本文使用互动内容创作和运营平台软件Unity3D （2022. 3. 8f1c1，Unity Technologies Inc.，美国）进行虚拟场景设计，可以实现有趣的交互逻辑，例如抓握苹果移动、对物体按照大小或颜色进行排序等。开放统一应用编程接口（OpenXR）是VR平台上设备与应用程序之间的标准，其可以满足不同头戴式显示器运行同一个Unity3D程序的兼容性问题。本文所设计开发的VR康复系统使用基于OpenXR标准的解决方案SteamVR（2. 2. 3，Valve Corporation，美国），对VR设备进行设备地面校准和视角校准，并利用SteamVR 插件（plugin）串流至VR头戴式显示器，从而实现自定义开发的虚拟场景在VR头戴式显示器中运行。
1.3 数据处理终端
数据处理终端作为整个系统的核心控制部分和数据处理部分，其主要作用是实时采集脑电数据，以及数据处理分析、控制外部设备、Unity3D程序渲染及运行。
为了满足多用户使用、多编程语言之间的逻辑控制，本文设计开发了基于Unity3D的模块化BCI试验平台。该试验平台是数据处理终端的基础系统框架，对功能模块进行模块化设计，从而达到系统解耦设计，使得康复系统平台对编程语言有较高的兼容性。
整个平台采用四层架构设计，分别是应用层、展现层、处理层、数据层，其中包括一些其他的认证系统、日志系统、数据管理系统。应用层，主要负责基础业务逻辑，采用的是基于Windows 的用户界面框架（Windows presentation foundation，WPF）；展现层，主要负责用户视觉交互；处理层，通过外部接口可以初始化外部脑电交互设备，从而控制数据记录。在康复训练中，处理层可以实现对多通道脑电数据基线校正、去除工频干扰、独立成分分析（independent component analysis，ICA）去除眼电伪迹、降采样、带通滤波、小波包频段提取等预处理操作，还可以通过小波包多尺度分解和特征频段功率谱密度对多通道脑电数据进行特征提取，再经分类后将其结果反馈到VR康复场景中控制诸如物体、虚拟肢体、虚拟人物在虚拟场景中的动作，最终形成实时交互反馈。数据层，为每位用户提供训练数据存储和数据分析，以及试验项目的存储。
2 试验设计与数据处理
2.1 受试者选取及试验范式设计
本文共采集了10名健康青年受试者的脑电数据，均采集自秦皇岛市第一医院，本研究获得秦皇岛市第一医院伦理委员会批准（审批编号：2022A016），且获得10名受试者脑电数据的使用授权。所有受试者均自愿参与试验并签订了试验知情同意书，且之前均未参加过类似任务试验，因此可以避免预期训练效果对本研究结论的影响。受试者基本信息如下：6名男性，4名女性，每人2试次，共计20试次，年龄范围为20～26岁，均为右利手；视力、听力无明显障碍；既往无重要脏器疾病史、无脑部肿瘤或其他颅脑疾患、无精神病史。
为了验证本文设计的基于多感官刺激反馈的虚拟康复系统的有效性，本文对多感官刺激反馈进行组合，得出仅含A-V的双感官刺激反馈以及融合A-V-H的多感官刺激反馈两种刺激条件，如图2所示。试验内容由运动想象和运动任务组成，在虚拟场景中受试者可以看到真实上肢在虚拟场景中的映射，在VR头戴式显示器正前方（水平视场角140°，垂直视场角120°）的手部可被识别并映射，而虚拟场景中映射的上肢可以和虚拟物体进行碰撞、抓握、移动等交互方式。在本文所设计的虚拟场景中，在受试者正前方有一个木桌，木桌上左侧右侧区域各有一个盘子，受试者运动想象的结果将触发虚拟手抓握苹果至对应方向的盘子中，如图2中试验过程图所示。
图2
A-V-H多感官刺激和A-V双感官刺激反馈试验范式
Figure2.
A-V-H multi-sensory stimulation and A-V bi-sensory stimulation feedback experimental paradigm
如图2所示，整个试验由10 min静息态、12 min A-V双感官刺激反馈试验和12 min A-V-H多感官刺激反馈试验组成。试验开始，首先是30 s的试验介绍，介绍完毕后休息20 s；然后进行25次的左手运动想象与左手运动任务、25次的右手运动想象与右手运动任务，左右手方向随机。具体而言，A-V双感官刺激反馈试验在运动想象开始时，虚拟场景中的苹果会按照预定方向移动到盘子中，同时有语音提示，5 s后结束运动想象；当单次运动想象结束且识别结果正确时，将进行与本次运动想象同方向的8 s运动抓握任务，场景中虚拟手会根据识别结果移动，当真实手到达虚拟手的位置时，虚拟手再次移动，以此循环指引受试者完成动作，从而实现虚实结合的人机交互。与A-V双感官刺激反馈试验不同，A-V-H多感官刺激反馈试验在运动任务期间，即单次运动想象结束且识别结果正确时，开始进行运动抓握任务，当受试者的真实手与VR中的虚拟手达成映射后，当抓握虚拟苹果时，会在真实手部产生触觉反馈。
2.2 脑电数据采集及预处理
采集受试者大脑皮层64通道脑电数据，采样率1 000 Hz。对采集到的64通道脑电信号使用脑电数据分析插件eeglab 2024（University of California， 美国）进行预处理：使用64通道定位文件对电极定位；将运动脑区相关电极（Fz、F1、F2、F3、F4、F5、F6、F7、F8、FCz、FC1、FC2、FC3、FC4、FC5、FC6、Cz、C1、C2、C3、C4、C5、C6）以外的通道剔除；首先使用自适应陷波滤波器去除50 Hz工频及其谐波信号，基于ICA去除心电和眼电信号，最后使用带通滤波器提取0.4～200.0 Hz脑电信号；根据脑电信号中的任务标记截取任务相关数据并进行分段处理；对每位受试者两个试次的数据分别预处理后，合并数据进行后续的分析。
2.3 脑电信号特征提取及模式识别
为获取运动想象后的结果，即运动意图，需要对于采集到的脑电信号进行空域滤波（spatial filter）[17]，这样既能同步利用脑电信号的空间相关性，又可以对信号噪声进行消除，并且可以实现局部皮层神经活动的定位。本文采用目前最常用的空域滤波技术共空间模式（common spatial pattern，CSP）来提取脑电数据的特征[18]。
假设X1和X2分别为两分类想象运动任务下的多通道诱发响应时—空信号矩阵，其维数均为N·T，N为脑电通道数，T为每个通道所采集的样本数[19]。X1和X2取值如式(1)所示：
|
其中，S1和S2分别代表两种类型任务，SM代表两种类型任务下所共同拥有的源信号[20]；假设S1是由个源所构成的，S2是由M2个源所构成，则C1和C2便是由S1和S2相关的M1和M2个共空间模式组成的，CM表示的是与SM相应的共空间模式[21]。投影矩阵W是所对应的空间滤波器，如式(2)所示：
|
其中，P为特征值进行降序排列后的白化值矩阵，B为特征向量矩阵。对于测试数据Xi来说，其特征向量fi的提取方式如式（3）所示：
|
其中，方差（variance，VAR）（以符号VAR表示），求和（sum）函数（以符号sum表示），提取到脑电数据的共空间特征后，选用支持向量机（support vector machine，SVM）分类器进行分类[22]，进而获取到运动想象的结果，将得到的结果与真实标签对比，如果结果相符继续进行同方向的运动抓握任务[23-24]。
2.4 统计学分析
为了探究A-V-H多感官刺激反馈与A-V双感官刺激反馈下大脑节律差异是否具有统计学意义，采用配对样本t检验分析方法，对A-V-H多感官刺激反馈与A-V双感官刺激反馈下脑节律的差异进行统计学分析，使用统计分析软件SPSS 27（International Business Machines Corporation, 美国），采用双尾检验，检验水准为0. 05。
3 结果
本文从系统功能实现、大脑激活特性、脑节律特性和脑节律差异是否具有统计学意义等方面对多感官刺激反馈下手功能增强康复系统进行验证与分析。
3.1 多感官刺激反馈下系统功能实现
本研究招募的10名受试者在融合A-V-H多感官刺激反馈的VR-BCI手功能增强康复系统下进行2轮次试验，共计20人次。根据受试者反馈，在基于运动想象范式的VR-BCI系统下体验到自然良好的人机交互过程，在VR场景中通过更加自然生动的导向提示来进行运动想象，使用Leapmotion实现的体感反馈直接与VR场景中的虚拟物体进行交互，融合A-V-H多感官刺激模式下，受试者获得较好的体验感、沉浸感和趣味性。
3.2 多感官刺激反馈条件下大脑激活特性分析
由前文1. 2小节的试验范式可知，本文运动任务范式由25次左手抓握任务和25次右手抓握任务组成，单个受试者单个条件下抓握任务共50次。本研究对受试者在运动想象后时长为8 s的运动抓握任务的脑电数据提取功率谱密度，分别对A-V-H多感官刺激反馈试验与A-V双感官刺激反馈试验的脑电数据进行分析，从而探究增加触觉刺激条件下对脑区激活程度的影响。针对采集25次左手抓握的脑电数据和25次右手抓握的脑电数据，本文提取δ频段（0. 5～4. 0 Hz）、θ频段（4～8 Hz）、α频段（8～14 Hz）、β频段（14～30 Hz）、γ频段（30～150 Hz）的功率谱密度，将64通道中与运动脑区相关的12个通道数据绘制脑地形图，发现10名受试者的脑电数据在γ频段有规律性变化。如图3所示，为A-V-H多感官刺激反馈试验与A-V双感官刺激反馈试验下左右手运动任务在γ频段（30～150 Hz）下大脑激活特性图。
图3
激活特性脑地形图
Figure3.
Brain topography of activation characteristics
图3中，左侧为A-V双感官刺激反馈试验下左右手运动任务大脑运动功能区激活程度，右侧为A-V-H多感官刺激反馈试验下左右手运动任务大脑运动功能区激活程度，可以看出在左右手运动任务中大脑运动功能区明显激活，特别在右手运动任务中激活程度更明显。
3.3 多感官刺激反馈条件下脑节律特性分析
对受试者在A-V-H多感官刺激反馈试验与A-V双感官刺激反馈试验下左右手运动任务脑电数据进行分析，计算γ频段（30～150 Hz）和进一步细分的低γ频段（30～70 Hz）、高γ频段（70～150 Hz）的功率谱密度[25]，将左手任务与右手任务所对应的脑电数据计算得出的功率谱密度绘制成图，如图4所示，圆形大小代表功率谱密度的强度。
图4
不同运动任务下有触觉和无触觉反馈条件下功率谱密度
Figure4.
Power spectral density with or without haptic feedback conditions for different motor tasks
在γ频段功率谱密度结果中，右手任务下A-V-H多感官刺激反馈试验比A-V双感官刺激反馈试验的功率谱密度值有提升，特别是部分通道（FC3、FC4、C3、C5、C6）提升幅度较高；左手任务下融合A-V-H的多感官刺激反馈比A-V双感官刺激反馈的功率谱密度值在部分通道有提升，但在C6通道呈抑制状态。将γ频段分为：低γ频段、高γ频段；在低γ频段功率谱密度结果中，左右手运动任务下A-V-H多感官刺激反馈试验比A-V双感官刺激反馈试验的功率谱密度值有提升；在高γ频段功率谱密度结果中，左右手运动任务下A-V-H多感官刺激反馈试验比A-V双感官刺激反馈试验的功率谱密度值有明显提升，特别是部分通道（FC3、FC4、C5、C6）提升幅度明显。
3.4 多感官刺激反馈下脑节律差异统计学分析
为定量分析A-V双感官刺激和A-V-H多感官刺激条件下健康受试者在特定运动任务下大脑运动功能区不同频段节律特性的差异是否具有统计学意义，分别计算左右手运动任务下低γ频段、高γ频段、γ频段的功率谱密度，利用配对样本t检验分析大脑运动功能区激活情况。如图5所示，不同运动任务下，A-V-H多感官刺激反馈试验与A-V双感官刺激反馈试验下功率谱密度的差异具有统计学意义。
图5
不同运动任务下有触觉和无触觉反馈条件下功率谱密度的统计学差异
Figure5.
Statistical differences in power spectral density with or without haptic feedback conditions for different motor tasks
如图5所示，给出了A-V-H多感官刺激反馈试验与A-V双感官刺激反馈试验下γ频段、低γ频段、高γ频段中的功率谱密度的差异比较。在左手运动任务中，仅在高γ频段A-V-H多感官刺激反馈试验与A-V双感官刺激反馈试验在功率谱密度上的差异具有统计学意义（高γ频段左手运动任务下：［MD = 4.468（1.306，29.920），P = 0.049］），γ频段、低γ频段上的差异不具有统计学意义（γ频段左手运动任务下：［MD = 9.571（3.082，77.693），P = 0.057］，低γ频段左手运动任务下：［MD = 4.968（1.539，47.784），P = 0.062］）。在右手运动任务中，γ频段、低γ频段、高γ频段A-V-H多感官刺激反馈试验与A-V双感官刺激反馈试验在功率谱密度上的差异具有统计学意义（γ频段右手运动任务下：［MD = 13.046（4.005，70.198），P = 0.046］，低γ频段右手运动任务下：［MD = 7.212（1.788，42.653），P = 0.037］，高γ频段右手运动任务下：［MD = 5.807（2.080，27.556），P = 0.042］）。
4 讨论
本文设计的VR-BCI虚拟康复系统利用VR头戴式显示器提供A-V双感官刺激反馈[26]，并利用Tact Gloves手套融入触觉感官刺激反馈，实现了融合A-V-H多感官刺激反馈，较好地充实了患者的本体感觉[27]，在常规VR-BCI系统的基础上，Leapmotion可以提供手部体感反馈，触觉反馈的引入使得患者在康复时拥有更加真实的交互体验，可进一步增强康复效果，加速损伤神经自我修复[28]。
通过前文3.2小节中左右手运动任务下A-V-H多感官刺激反馈试验与A-V双感官刺激反馈试验的功率谱密度分析表明，A-V-H多感官刺激反馈试验中触觉反馈的加入对受试者大脑运动功能区的γ频段有明显激活，特别是高γ频段显著激活。目前，γ频段振荡可认为反映了大脑皮层的激活程度，根据大脑皮层区域的不同[29]，在大脑运动功能区的γ频段振荡与信息的注意加工（注意，即能把个体的外部世界和内部世界联系起来，个体通过利用注意让现实里的信息进入大脑世界）、感官感知密切相关[30-31]，也就是说，γ频段振荡与反馈条件（听觉、视觉、触觉、体感反馈）更加完善的训练环境有关，而不同γ频段振荡是不同空间尺度下神经连接的特征，它们可能与信息集成的不同功能有关，而触觉反馈的加入会在高γ频段具有更强的激活程度和神经连接。
通过前文3.3小节中左右手运动任务下两个试验中脑节律特性分析表明，左右手运动任务对大脑运动功能区的激活程度并不一致。在左手运动任务下A-V-H多感官刺激反馈试验与A-V双感官刺激反馈试验仅高γ频段的功率谱密度上的差异具有统计学意义，而在右手运动任务下γ频段、低γ频段、高γ频段的功率谱密度的差异均具有统计学意义，这可能与受试者惯用手均为右手有关，右手运动任务下多感官反馈更有利于激活受试者大脑运动功能区，从而有利于达到重塑运动功能、加快康复进程的目的。
在手功能增强康复过程中，多感官刺激是感觉传导通路的输入，而手部运动则是运动传导通路的输出。基于此，在前文3.4小节中脑节律差异统计学分析表明，多感官刺激下，丰富且贴近真实的环境相比单一的环境对促通运动传导通路有更积极的效果。脑卒中患者康复过程中需要运动传导通路和感觉传导通路的双向促通，而本文主要针对多感官的刺激对运动传导通路的影响进行具体分析，但对感觉传导通路的分析不足是本文潜在的局限之一，也是下一步研究的方向。
5 结论
本文融合VR技术和BCI技术，设计了基于VR和多感官刺激反馈的VR-BCI手功能康复系统，搭建了相应的VR试验范式，实现了基于运动想象触发的虚实结合人机交互，能为用户提供更多本体感知和反馈信息。通过对比分析不同运动任务下，A-V-H多感官刺激反馈与A-V双感官刺激反馈时脑电数据的功率谱密度，发现A-V-H多感官刺激反馈条件下功率谱密度在高γ频段有显著提升，说明对大脑运动功能区明显激活。因此，相较于仅A-V的双感官刺激反馈，融合A-V-H的多感官刺激反馈的康复环境对大脑运动功能区的激活更有利。
重要声明
利益冲突声明：本文全体作者均声明不存在利益冲突。
作者贡献声明：邵谢宁负责实验设计、系统搭建、数据采集和论文写作，张艺滢负责实验设计及作图，张栋负责数据分析，门延帝负责系统搭建，王子龙负责数据分析以及作图，陈晓玲、谢平负责实验设计。
伦理声明：本研究通过了秦皇岛市第一医院伦理委员会的审批（批号：2022A016）。
