传统的步态分析系统往往操作复杂、便携性差且设备成本高。本研究拟基于Azure Kinect深度视频数据，结合足地接触模型，建立基于Azure Kinect运动捕捉系统的下肢肌骨动力学分析流程。实验采集了10名受试者的深度视频数据，通过预处理获取骨架结构，以此作为肌骨模型输入，计算得到下肢关节角度、关节接触力和地面反作用力，并将其计算结果与传统的Vicon系统获取的运动学和动力学数据进行对比。所计算的下肢关节力和地面反作用力除以每位受试者体重，进行归一化处理。下肢关节角度曲线与Vicon得到的结果强相关（ρ平均值为0.78～0.92），但均方根误差高达5.66°。在下肢关节力预测方面，Azure Kinect模型均方根误差平均值范围为0.44～0.68，而地面反作用力均方根误差平均值范围为0.01～0.09。研究表明，所建立的基于Azure Kinect的肌骨动力学模型能较好地预测下肢关节力和垂直地面反作用力，但在下肢关节角度预测方面还存在一定误差。
引用本文： 彭迎虎, 王琳, 陈瑱贤, 党晓栋, 陈飞, 李光林. 基于Azure Kinect运动捕捉的下肢关节力学和地面反作用力分析. 生物医学工程学杂志, 2024, 41(4): 751-757, 765. doi: 10.7507/1001-5515.202311040 复制
0 引言
下肢关节运动学和动力学数据对于神经肌肉系统疾病评估及机制探究至关重要。为了获取下肢肌骨动力学数据，研究人员开发了多种肌骨多刚体动力学仿真平台，如Anybody[1]和Opensim[2]。在肌骨动力学模型计算中，通常需要反光球式运动捕捉系统（Vicon和Qualisys）来获取人体运动学数据作为输入[3-4]。基于反光球的运动捕捉系统精度高，但存在占用空间大、预处理时间长、价格昂贵、容易被遮挡及存在皮肤伪影等缺点[5]。同时，运动捕捉系统中测力板也存在着一定局限性，如价格昂贵、便携性差、患者有效步态获取困难等[6]。运动捕捉系统的这些局限性，阻碍了下肢肌骨动力学分析方法在临床中的进一步应用。
针对目前反光球式运动捕捉系统存在的一系列问题，研究人员对便携和低成本的运动捕捉方法进行了探索[7]。深度视频捕捉方法，如微软的Kinect设备，由于可视化、成本低以及便携等特点，逐渐应用于临床姿态评估、步态分析和康复训练等方面[7-8]。目前基于深度视频的运动捕捉方法主要集中在时空参数和关节角度方面[9-10]，在下肢动力学方面的应用还比较少。下肢肌骨动力学的计算，一般需要测力板和运动学数据作为输入。为了消除地面反作用力对于下肢动力学计算的限制，很多学者提出利用足地接触模型来替代测力板[8, 11-12]。Fluit等[12]提出了一种基于人工肌肉驱动器的足地接触模型，在逆向动力学中，通过建立包括人工肌肉的肌肉募集准则来预测地面反作用力。本团队[11]也进一步分析了足地接触模型的适用速度范围，研究表明足地接触模型在慢走、正常走和快走时能较好地预测下肢动力学数据。尽管相关研究已提出了基于Kinect v1 和Kinect v2驱动的肌骨动力学模型，但由于Kinect v1和Kinect v2在足部识别和步态参数评估方面精度低，导致动力学计算存在较大的偏差[13]。相对于Kinect v1和Kinect v2，新一代的Azure Kinect系统在足部识别和步态参数评估方面具有更高的精度[9]。然而，目前基于Azure Kinect驱动的肌骨动力学计算流程还没有被验证分析。
本研究拟基于新一代的Azure Kinect深度视频捕捉设备，结合足地接触模型，计算下肢关节力和地面反作用力等指标，同时通过Vicon系统数据进行验证。
1 材料和方法
1.1 受试者招募及步态数据采集
本研究拟招募健康受试者，采集其运动捕捉数据，包括皮肤表面反光球和深度视频两种数据。纳入标准：① 年龄18～65岁，男女不限；② 身体质量指数（body mass index，BMI） 为18.5～23.9 kg·m−2。排除标准：有步行功能障碍的疾病，如帕金森病、脊髓损伤、周围神经病变、下肢骨折及严重的下肢骨关节病等。研究招募了12名健康受试者，均为男性，身高（1.73 ± 0.06）m，体重（66.9 ± 8.3）kg，年龄（25 ± 2.6）岁。由于2名受试者的深度视频数据采集失败，本研究纳入分析的受试者只有10名。在实验开始前，受试者会充分了解实验流程和方法，并签署知情同意书。本项目的研究已经得到中国科学院深圳先进技术研究院人体实验伦理委员会批准（批件号：SIAT-IRB-230115-H0640）。
本实验采用采用Vicon运动捕捉系统（Vicon，Oxford Metrics Ltd.，英国）、深度相机Azure Kinect（Microsoft Corporation，美国）和测力板AMTI（OR6，AMTI，美国）对志愿者运动学数据和测力板数据进行采集。其中Vicon运动捕捉采样频率为100 Hz，测力板采样频率1 000 Hz，深度视频捕捉采样频率30 Hz。在确定反光球贴点方式时，本文以Vicon三维步态捕捉系统全身Plug-in Gait贴点方式为基础，在膝关节、踝关节和足上增加反光球数量[14]。在视频采集时，需要用iPi Recorder（iPi Soft，LLC，俄罗斯）对周围环境进行采集，从而消除环境对于人体骨架识别的影响。同时，采用棋盘板对深度相机进行标定，从而获得两台Azure Kinect相机的相对位置。在进行运动捕捉时，需要将Azure Kinect设备和Vicon设备进行同步，以便能同时采集反光球数据和深度视频数据。
1.2 数据预处理
在步态采集过程中，步态分析系统能够捕捉到每个反光球的三维坐标和测力板的三维力学信息。为了获得光顺的运动学轨迹，本研究采用Nexus软件自带的Woltring滤波方法。同时，对地面反作用力采用截止频率为25 Hz的低通、二阶、零相移Butterworth方法进行滤波处理[15]。对于Azure Kinect采集的深度视频数据，本研究采用iPi Mocap Studio进行处理。首先需要对受试者进行静态姿态标定和身高设置，保持受试者初始姿态与骨架模型一致。在步态过程中，提取颈部、躯干、上肢及下肢关键关节节点，获得受试者的骨架模型数据（见图1）。
图1
受试者的深度视频数据和关键关节位置
Figure1.
Depth video data and key point positions of the participant
1.3 肌骨动力学建模
1.3.1 基于反光球和测试板数据的肌骨动力学模型
在本研究中，采用Anybody（AnyBody Technology A/S，丹麦）肌骨建模软件来进行个性化肌骨建模及动力学分析[1]。Anybody软件动力学求解流程主要包括静态缩放、逆向运动学和逆向动力学分析。在逆向运动学中，建立的模型为刚体模型，只需反光球数据作为输入，即可进行求解得到受试者关节角度。在逆向动力学中，计算得到的关节角度和测力板数据作为模型输入，通过肌肉募集优化来获得关节力、关节力矩和肌肉力[11]。
1.3.2 基于Azure Kinect驱动的下肢肌骨动力学建模
基于Azure Kinect驱动的肌骨动力学模型，由于缺少测力板作为输入，在模型计算过程中需要加入足地接触模型[11]。在构建足地接触模型时，需要在双脚与地面之间分布建立人工肌肉单元，每只脚上有23个弹性接触单元。对于每个接触单元来说，通过定义五个人工肌肉驱动器来预测地面反作用力，其中一个驱动器产生垂直地面作用力，另外两对驱动器产生前后方向和内外方向作用力。基于Azure Kinect驱动的下肢肌骨动力学计算流程如图2所示。
图2
基于Azure Kinect驱动的肌骨动力学模型计算流程
Figure2.
Azure Kinect-based full body musculskeletal multibody dynamics workflow
在逆向动力学中，通过肌肉募集准则，可以求解得到每个接触点垂直方向、前后方向及内外方向的接触力大小。求解过程采用采用肌肉募集准则进行求解，优化方程如下所示[16]：
 |
 |
式中，
为优化函数，
表示第
个肌肉，
表示肌肉数量，
表示肌肉强度，
表示第
个接触力，
表示接触单元数量，
表示接触单元强度，
表示第
个残余力，
表示残余力数量，
表示残余力强度。
为动力学平衡方程系数矩阵，
为外力和惯性力，
为未知肌肉力、接触力、关节力和残余力的向量。
1.4 模型计算评估
本研究中以采集的地面反作用力和基于Vicon计算的下肢关节角度和关节力作为参考值，对比验证基于Azure Kinect计算流程的运动学和动力学数据。对于下肢关节角度、关节接触力和地面反作用力，选取右脚站立相数据进行处理，每个站立相数据被分为100个数据点。同时，为了消除个体化差异，对关节接触力和地面反作用力进行归一化处理，即除以受试者体重。对Azure Kinect和Vicon驱动模型计算得到的运动学和动力学数据，利用均方根误差（root mean square error，RMSE）和Pearson相关系数（ρ）对结果进行了量化分析。其中ρ ≤ 0.35代表弱相关，0.35 < ρ ≤ 0.67表示中等相关，0.67 < ρ≤0.9为强相关，0.9 < ρ为特别相关。为了更加准确和全面地评价模型的预测精度，本文还引入了平均绝对偏差（mean absolute deviation，MAD）、Sprague和Geers幅值（M）、相（P）和综合误差（C）的指标[17]。其中MAD、RMSE、M、P和C越大，代表基于Azure Kinect计算的运动学和动力学数据误差越大。
同时，为了对Azure Kinect计算的运动学和动力学数据在整个时间序列进行分析，本研究引入了统计参数映射（statistical parametric mapping，SPM）分析[18]。SPM基于随机场理论进行拓扑分析，计算数据群集超过阈值的统计学显著性[18]。本研究采用一维SPM配对样本t检验对Azure Kinect与Vicon系统计算得到的运动学和动力学数据进行对比分析。检验水准为0.05。统计参数映射分析采用spm1d（https://spm1d.org/），所有计算都是在Matlab（Matlab R2022b，MathWorks，美国）中完成。
2 结果
2.1 关节角度
基于Azure Kinect驱动的肌骨动力学模型计算的关节角度与Vicon系统参考值对比结果如图3所示。通过SPM配对样本t检验发现，髋关节屈伸角度在0%～76%和96%～100%阶段、内外展角度在0%～66%阶段、内外旋角度在0%～11%和96%～100%阶段的差异有统计学意义。同时，膝关节屈伸角度在10%～16%和94%～100%阶段、踝关节角度在32%～89%阶段的差异有统计学意义。
图3
基于Vicon和Azure Kinect驱动模型计算得到的关节角度
其中，红色区域代表Azure Kinect模型计算角度的分布范围，红线为平均值曲线，而灰色区域代表Vicon模型计算角度的分布范围，黑线为平均值曲线，蓝色阴影部分代表差异有统计学意义的区域
Figure3. Comparison of lower limb joint angles between Azure Kinect (red) and Vicon (gray) systemsshaded areas indicating ± 1 standard deviation. Blue shading highlights significant discrepancies between predictions and measurements
基于Azure Kinect得到的下肢矢状面关节角度与Vicon数据强相关或特别相关（ρ分别为0.92 ± 0、0.89 ± 0.03和0.90 ± 0.04）。然而，矢状面关节角度还存在较大误差。Azure Kinect获得的髋关节内外翻和内外旋角度与Vicon系统得到的数据也具有强相关性（ρ > 0.776），MAD和RMSE在2.18～2.94°之间。整体来说，Azure Kinect获得的下肢关节角度整体低于Vicon获得的角度（M平均值为–36.31%～ –21.08%）。对于下肢关节角度，髋关节内外翻的相位差最大［P = （20.15 ± 12.98）%］，而髋关节内外旋角度的综合误差最大［C = （45.8 ± 25.7）%］。具体参数见附件1。
2.2 归一化的地面反作用力
基于Azure Kinect预测的地面反作用力与Vicon系统测量值如图4所示。通过SPM配对样本t检验发现，前后方向地面反作用力在81%～92%阶段、垂直方向地面反作用力主要在32%～36%和59%～82%阶段的差异有统计学意义。
图4
Azure Kinect得到的地面反作用力与Vicon系统实验测量值对比
其中，红色区域代表Azure Kinect模型预测的地面反作用力分布范围，红线为平均值曲线，而灰色区域代表Vicon系统实验测量值的分布范围，黑线为平均值曲线，蓝色阴影部分代表差异有统计学意义的区域
Figure4. Comparison between predicted (red) and measured (gray) ground reaction forcesshaded areas indicating ± 1 standard deviation. Blue shading highlights significant discrepancies between predictions and measurements
基于Azure Kinect得到的地面反作用力与Vicon系统实验测量值呈强相关或特别相关（ρ分别为0.85 ± 0.08、0.90 ± 0.01和0.89 ± 0.02）。整体来说，内外方向和垂直方向地面反作用力整体低于测量值［M分别为（–12.69 ± 15.46）%和（–4.18 ± 3.48）%］，而前后方向的测量值高于预测值［M = （19.44 ± 9.81）%］。整体来说，前后方向地面反作用力的综合误差最大［C = （21.59 ± 8.69）%］。具体参数见附件2。
2.3 归一化的下肢关节力
基于Azure Kinect驱动的肌骨动力学模型下肢关节接触力预测值与Vicon系统计算值的对比结果如图5所示。通过SPM配对样本t检验发现，髋关节接触力在10%～13%阶段、膝关节接触力在9%～20%和42%～48%阶段、踝关节接触力在10%～25%和31%～38%阶段的差异有统计学意义。
图5
基于Vicon和Azure Kinect驱动模型计算得到的下肢关节接触力
其中，红色区域代表Azure Kinect模型计算关节接触力的分布范围，红线为平均值曲线，而灰色区域代表Vicon模型计算关节接触力的分布范围，黑线为平均值曲线，蓝色阴影部分代表差异有统计学意义的区域
Figure5. Comparison of lower limb joint contact forces between Azure Kinect (red) and Vicon (gray) systemsshaded areas indicating ± 1 standard deviation. Blue shading highlights significant discrepancies between predictions and measurements
Azure Kinect预测值与Vicon系统计算得到的关节力具有强相关性（ρ分别为0.78 ± 0.08，0.81 ± 0.05和0.89 ± 0.02）。Azure Kinect模型计算得到的膝关节接触力低于Vicon模型［M = （–11.64 ± 6.89）%］，而髋关节和踝关节关节接触力刚好相反［M分别为（1.54 ± 13.56)%和（1.83 ± 8.61）%］。整体来说，髋关节和膝关节的综合误差较大。具体参数见附件3。
3 讨论
本研究建立了基于Azure Kinect驱动的肌骨模型动力学求解流程，计算得到的下肢关节角度、关节力和地面反作用力通过Vicon驱动的模型进行了验证。在计算下肢动力学时，采用了足地接触模型[12]，可以消除步态分析对于测力板的依赖。同时，Azure Kinect驱动的肌骨模型计算得到的地面反作用力和下肢关节接触力也具有较高的精度。与传统的基于反光球和测力板驱动的肌骨动力学模型相比[3-4]，该方法在成本、占地面积、便携性和操作方面具有突出的优势，这有助于步态分析在临床中的应用推广。
本研究计算的下肢关节角度曲线与Vicon得到的结果强相关（ρ平均值为0.78～0.92），但是MAD和RMSE误差高达5.66°。在矢状面方面，本研究计算的下肢关节角度误差小于以往基于Azure Kinect直接获得的角度误差（RMSE为5.0～17.4°）[8]。在运动学计算时，需要先根据视频数据获取关节节点数据，再通过逆向运动学计算下肢关节角度。因此，关节点的位置对于下肢关节角度非常重要，关节位置的微小变化会极大地影响关节角度的准确性[19]。本研究采用了考虑关节约束的肌骨模型来求解关节角度，在一定程度上能消除深度视频运动学误差对于结果的影响。相对于Kinect v2驱动的下肢肌骨动力学模型，本研究采用的Azure Kinect能很好地识别人体关键点，下肢关节角度的精度有较大提升[9]。需要注意的是，与Vicon驱动的模型相比，Azure Kinect体节模型在足部的控制点过少，无法有效地同时驱动踝关节和距下关节。因此，本研究在建模过程中对距下关节进行锁定，无法求解步态过程中距下关节角度。总体来说，采用Azure Kinect结合肌骨模型，在下肢关节角度计算精度方面有一定提升，便于临床下肢运动的评估。
在计算动力学过程中，本研究引入了足地接触模型[16]，只需要Azure Kinect数据就可以计算得到下肢关节力和地面反作用力。由于本研究采用足地接触模型来替代测力板，下肢动力学的计算精度与足地接触力预测模型密切相关。以往研究发现，步态速度和足部姿态等参数影响着足地接触力[11]。因此，足部姿态的识别准确度极大地影响着足地接触力的预测精度。相比Kinect v1和Kinect v2深度相机，Azure Kinect在足部识别和步态参数算法方面进行了改进，能很好地识别足部参数和步态时空参数[9]。在地面反作用力预测方面，特别是垂直地面反作用力，本研究预测值误差（RMSE = 0.09 ± 0.02）小于以往基于Kinect v2模型的结果（RMSE = 0.25 ± 0.89）[8]。在下肢关节力预测方面，本模型（RMSE范围为0.44～0.68）相对以往研究也具有较大的提升（以往研究RMSE范围为0.92～1.54）[8]。本研究采用的肌骨动力学模型计算流程包含逆向运动学和逆向动力学，逆向动力学的计算需要关节角度作为输入。Azure Kinect在运动学捕捉和足部关键节点识别方面精度比前代产品明显提高，这对下肢关节角度、下肢动力学及足地接触力计算精度的提高至关重要。
本研究还存在一些局限性。首先未考虑Azure Kinect不同角度配置和数量对于运动学的影响。本研究所采用的双Azure Kinect摄像头，呈180°摆放。以往研究表明，深度摄像设备摆放位置对于下肢运动学角度计算有影响，后期研究应该进一步考虑此因素[13]。同时，本研究只采集了正常步速的下肢动力学和测力板数据。基于Azure Kinect驱动的肌骨动力学模型在不同活动状态获得的下肢动力学分析精度还需要进一步研究。另外，本研究在人体皮肤表面贴上反光球，这些反光球可能会影响Azure Kinect的三维深度视频数据及关节节点提取，进而影响运动学和动力学的计算精度。
4 结论
本研究基于Azure Kinect深度相机驱动的肌骨动力学流程，结合足地接触模型，对下肢关节角度、关节接触力和地面反作用力的预测精度进行了分析。相对于Kinect v1和Kinect v2，本模型计算的下肢运动学和动力学数据精度均有较大提升。基于Azure Kinect驱动的肌骨动力学模型计算流程简单、设备便携，有望在临床步态分析中进行应用。
重要声明
利益冲突声明：本文全体作者均声明不存在利益冲突。
作者贡献声明：实验设计和数据收集由彭迎虎和王琳负责，数据分析由陈飞和党晓栋负责，论文写作由彭迎虎、陈瑱贤和李光林完成。
伦理声明：本研究通过了中国科学院深圳先进技术研究院人体实验伦理委员会的审批（批文编号：SIAT-IRB-
本文附件见本刊网站的电子版本（biomedeng.cn）。
0 引言
下肢关节运动学和动力学数据对于神经肌肉系统疾病评估及机制探究至关重要。为了获取下肢肌骨动力学数据，研究人员开发了多种肌骨多刚体动力学仿真平台，如Anybody[1]和Opensim[2]。在肌骨动力学模型计算中，通常需要反光球式运动捕捉系统（Vicon和Qualisys）来获取人体运动学数据作为输入[3-4]。基于反光球的运动捕捉系统精度高，但存在占用空间大、预处理时间长、价格昂贵、容易被遮挡及存在皮肤伪影等缺点[5]。同时，运动捕捉系统中测力板也存在着一定局限性，如价格昂贵、便携性差、患者有效步态获取困难等[6]。运动捕捉系统的这些局限性，阻碍了下肢肌骨动力学分析方法在临床中的进一步应用。
针对目前反光球式运动捕捉系统存在的一系列问题，研究人员对便携和低成本的运动捕捉方法进行了探索[7]。深度视频捕捉方法，如微软的Kinect设备，由于可视化、成本低以及便携等特点，逐渐应用于临床姿态评估、步态分析和康复训练等方面[7-8]。目前基于深度视频的运动捕捉方法主要集中在时空参数和关节角度方面[9-10]，在下肢动力学方面的应用还比较少。下肢肌骨动力学的计算，一般需要测力板和运动学数据作为输入。为了消除地面反作用力对于下肢动力学计算的限制，很多学者提出利用足地接触模型来替代测力板[8, 11-12]。Fluit等[12]提出了一种基于人工肌肉驱动器的足地接触模型，在逆向动力学中，通过建立包括人工肌肉的肌肉募集准则来预测地面反作用力。本团队[11]也进一步分析了足地接触模型的适用速度范围，研究表明足地接触模型在慢走、正常走和快走时能较好地预测下肢动力学数据。尽管相关研究已提出了基于Kinect v1 和Kinect v2驱动的肌骨动力学模型，但由于Kinect v1和Kinect v2在足部识别和步态参数评估方面精度低，导致动力学计算存在较大的偏差[13]。相对于Kinect v1和Kinect v2，新一代的Azure Kinect系统在足部识别和步态参数评估方面具有更高的精度[9]。然而，目前基于Azure Kinect驱动的肌骨动力学计算流程还没有被验证分析。
本研究拟基于新一代的Azure Kinect深度视频捕捉设备，结合足地接触模型，计算下肢关节力和地面反作用力等指标，同时通过Vicon系统数据进行验证。
1 材料和方法
1.1 受试者招募及步态数据采集
本研究拟招募健康受试者，采集其运动捕捉数据，包括皮肤表面反光球和深度视频两种数据。纳入标准：① 年龄18～65岁，男女不限；② 身体质量指数（body mass index，BMI） 为18.5～23.9 kg·m−2。排除标准：有步行功能障碍的疾病，如帕金森病、脊髓损伤、周围神经病变、下肢骨折及严重的下肢骨关节病等。研究招募了12名健康受试者，均为男性，身高（1.73 ± 0.06）m，体重（66.9 ± 8.3）kg，年龄（25 ± 2.6）岁。由于2名受试者的深度视频数据采集失败，本研究纳入分析的受试者只有10名。在实验开始前，受试者会充分了解实验流程和方法，并签署知情同意书。本项目的研究已经得到中国科学院深圳先进技术研究院人体实验伦理委员会批准（批件号：SIAT-IRB-230115-H0640）。
本实验采用采用Vicon运动捕捉系统（Vicon，Oxford Metrics Ltd.，英国）、深度相机Azure Kinect（Microsoft Corporation，美国）和测力板AMTI（OR6，AMTI，美国）对志愿者运动学数据和测力板数据进行采集。其中Vicon运动捕捉采样频率为100 Hz，测力板采样频率1 000 Hz，深度视频捕捉采样频率30 Hz。在确定反光球贴点方式时，本文以Vicon三维步态捕捉系统全身Plug-in Gait贴点方式为基础，在膝关节、踝关节和足上增加反光球数量[14]。在视频采集时，需要用iPi Recorder（iPi Soft，LLC，俄罗斯）对周围环境进行采集，从而消除环境对于人体骨架识别的影响。同时，采用棋盘板对深度相机进行标定，从而获得两台Azure Kinect相机的相对位置。在进行运动捕捉时，需要将Azure Kinect设备和Vicon设备进行同步，以便能同时采集反光球数据和深度视频数据。
1.2 数据预处理
在步态采集过程中，步态分析系统能够捕捉到每个反光球的三维坐标和测力板的三维力学信息。为了获得光顺的运动学轨迹，本研究采用Nexus软件自带的Woltring滤波方法。同时，对地面反作用力采用截止频率为25 Hz的低通、二阶、零相移Butterworth方法进行滤波处理[15]。对于Azure Kinect采集的深度视频数据，本研究采用iPi Mocap Studio进行处理。首先需要对受试者进行静态姿态标定和身高设置，保持受试者初始姿态与骨架模型一致。在步态过程中，提取颈部、躯干、上肢及下肢关键关节节点，获得受试者的骨架模型数据（见图1）。
图1
受试者的深度视频数据和关键关节位置
Figure1.
Depth video data and key point positions of the participant
1.3 肌骨动力学建模
1.3.1 基于反光球和测试板数据的肌骨动力学模型
在本研究中，采用Anybody（AnyBody Technology A/S，丹麦）肌骨建模软件来进行个性化肌骨建模及动力学分析[1]。Anybody软件动力学求解流程主要包括静态缩放、逆向运动学和逆向动力学分析。在逆向运动学中，建立的模型为刚体模型，只需反光球数据作为输入，即可进行求解得到受试者关节角度。在逆向动力学中，计算得到的关节角度和测力板数据作为模型输入，通过肌肉募集优化来获得关节力、关节力矩和肌肉力[11]。
1.3.2 基于Azure Kinect驱动的下肢肌骨动力学建模
基于Azure Kinect驱动的肌骨动力学模型，由于缺少测力板作为输入，在模型计算过程中需要加入足地接触模型[11]。在构建足地接触模型时，需要在双脚与地面之间分布建立人工肌肉单元，每只脚上有23个弹性接触单元。对于每个接触单元来说，通过定义五个人工肌肉驱动器来预测地面反作用力，其中一个驱动器产生垂直地面作用力，另外两对驱动器产生前后方向和内外方向作用力。基于Azure Kinect驱动的下肢肌骨动力学计算流程如图2所示。
图2
基于Azure Kinect驱动的肌骨动力学模型计算流程
Figure2.
Azure Kinect-based full body musculskeletal multibody dynamics workflow
在逆向动力学中，通过肌肉募集准则，可以求解得到每个接触点垂直方向、前后方向及内外方向的接触力大小。求解过程采用采用肌肉募集准则进行求解，优化方程如下所示[16]：
|
|
式中，为优化函数，表示第个肌肉，表示肌肉数量，表示肌肉强度，表示第个接触力，表示接触单元数量，表示接触单元强度，表示第个残余力，表示残余力数量，表示残余力强度。为动力学平衡方程系数矩阵，为外力和惯性力，为未知肌肉力、接触力、关节力和残余力的向量。
1.4 模型计算评估
本研究中以采集的地面反作用力和基于Vicon计算的下肢关节角度和关节力作为参考值，对比验证基于Azure Kinect计算流程的运动学和动力学数据。对于下肢关节角度、关节接触力和地面反作用力，选取右脚站立相数据进行处理，每个站立相数据被分为100个数据点。同时，为了消除个体化差异，对关节接触力和地面反作用力进行归一化处理，即除以受试者体重。对Azure Kinect和Vicon驱动模型计算得到的运动学和动力学数据，利用均方根误差（root mean square error，RMSE）和Pearson相关系数（ρ）对结果进行了量化分析。其中ρ ≤ 0.35代表弱相关，0.35 < ρ ≤ 0.67表示中等相关，0.67 < ρ≤0.9为强相关，0.9 < ρ为特别相关。为了更加准确和全面地评价模型的预测精度，本文还引入了平均绝对偏差（mean absolute deviation，MAD）、Sprague和Geers幅值（M）、相（P）和综合误差（C）的指标[17]。其中MAD、RMSE、M、P和C越大，代表基于Azure Kinect计算的运动学和动力学数据误差越大。
同时，为了对Azure Kinect计算的运动学和动力学数据在整个时间序列进行分析，本研究引入了统计参数映射（statistical parametric mapping，SPM）分析[18]。SPM基于随机场理论进行拓扑分析，计算数据群集超过阈值的统计学显著性[18]。本研究采用一维SPM配对样本t检验对Azure Kinect与Vicon系统计算得到的运动学和动力学数据进行对比分析。检验水准为0.05。统计参数映射分析采用spm1d（https://spm1d.org/），所有计算都是在Matlab（Matlab R2022b，MathWorks，美国）中完成。
2 结果
2.1 关节角度
基于Azure Kinect驱动的肌骨动力学模型计算的关节角度与Vicon系统参考值对比结果如图3所示。通过SPM配对样本t检验发现，髋关节屈伸角度在0%～76%和96%～100%阶段、内外展角度在0%～66%阶段、内外旋角度在0%～11%和96%～100%阶段的差异有统计学意义。同时，膝关节屈伸角度在10%～16%和94%～100%阶段、踝关节角度在32%～89%阶段的差异有统计学意义。
图3
基于Vicon和Azure Kinect驱动模型计算得到的关节角度
其中，红色区域代表Azure Kinect模型计算角度的分布范围，红线为平均值曲线，而灰色区域代表Vicon模型计算角度的分布范围，黑线为平均值曲线，蓝色阴影部分代表差异有统计学意义的区域
Figure3. Comparison of lower limb joint angles between Azure Kinect (red) and Vicon (gray) systemsshaded areas indicating ± 1 standard deviation. Blue shading highlights significant discrepancies between predictions and measurements
基于Azure Kinect得到的下肢矢状面关节角度与Vicon数据强相关或特别相关（ρ分别为0.92 ± 0、0.89 ± 0.03和0.90 ± 0.04）。然而，矢状面关节角度还存在较大误差。Azure Kinect获得的髋关节内外翻和内外旋角度与Vicon系统得到的数据也具有强相关性（ρ > 0.776），MAD和RMSE在2.18～2.94°之间。整体来说，Azure Kinect获得的下肢关节角度整体低于Vicon获得的角度（M平均值为–36.31%～ –21.08%）。对于下肢关节角度，髋关节内外翻的相位差最大［P = （20.15 ± 12.98）%］，而髋关节内外旋角度的综合误差最大［C = （45.8 ± 25.7）%］。具体参数见附件1。
2.2 归一化的地面反作用力
基于Azure Kinect预测的地面反作用力与Vicon系统测量值如图4所示。通过SPM配对样本t检验发现，前后方向地面反作用力在81%～92%阶段、垂直方向地面反作用力主要在32%～36%和59%～82%阶段的差异有统计学意义。
图4
Azure Kinect得到的地面反作用力与Vicon系统实验测量值对比
其中，红色区域代表Azure Kinect模型预测的地面反作用力分布范围，红线为平均值曲线，而灰色区域代表Vicon系统实验测量值的分布范围，黑线为平均值曲线，蓝色阴影部分代表差异有统计学意义的区域
Figure4. Comparison between predicted (red) and measured (gray) ground reaction forcesshaded areas indicating ± 1 standard deviation. Blue shading highlights significant discrepancies between predictions and measurements
基于Azure Kinect得到的地面反作用力与Vicon系统实验测量值呈强相关或特别相关（ρ分别为0.85 ± 0.08、0.90 ± 0.01和0.89 ± 0.02）。整体来说，内外方向和垂直方向地面反作用力整体低于测量值［M分别为（–12.69 ± 15.46）%和（–4.18 ± 3.48）%］，而前后方向的测量值高于预测值［M = （19.44 ± 9.81）%］。整体来说，前后方向地面反作用力的综合误差最大［C = （21.59 ± 8.69）%］。具体参数见附件2。
2.3 归一化的下肢关节力
基于Azure Kinect驱动的肌骨动力学模型下肢关节接触力预测值与Vicon系统计算值的对比结果如图5所示。通过SPM配对样本t检验发现，髋关节接触力在10%～13%阶段、膝关节接触力在9%～20%和42%～48%阶段、踝关节接触力在10%～25%和31%～38%阶段的差异有统计学意义。
图5
基于Vicon和Azure Kinect驱动模型计算得到的下肢关节接触力
其中，红色区域代表Azure Kinect模型计算关节接触力的分布范围，红线为平均值曲线，而灰色区域代表Vicon模型计算关节接触力的分布范围，黑线为平均值曲线，蓝色阴影部分代表差异有统计学意义的区域
Figure5. Comparison of lower limb joint contact forces between Azure Kinect (red) and Vicon (gray) systemsshaded areas indicating ± 1 standard deviation. Blue shading highlights significant discrepancies between predictions and measurements
Azure Kinect预测值与Vicon系统计算得到的关节力具有强相关性（ρ分别为0.78 ± 0.08，0.81 ± 0.05和0.89 ± 0.02）。Azure Kinect模型计算得到的膝关节接触力低于Vicon模型［M = （–11.64 ± 6.89）%］，而髋关节和踝关节关节接触力刚好相反［M分别为（1.54 ± 13.56)%和（1.83 ± 8.61）%］。整体来说，髋关节和膝关节的综合误差较大。具体参数见附件3。
3 讨论
本研究建立了基于Azure Kinect驱动的肌骨模型动力学求解流程，计算得到的下肢关节角度、关节力和地面反作用力通过Vicon驱动的模型进行了验证。在计算下肢动力学时，采用了足地接触模型[12]，可以消除步态分析对于测力板的依赖。同时，Azure Kinect驱动的肌骨模型计算得到的地面反作用力和下肢关节接触力也具有较高的精度。与传统的基于反光球和测力板驱动的肌骨动力学模型相比[3-4]，该方法在成本、占地面积、便携性和操作方面具有突出的优势，这有助于步态分析在临床中的应用推广。
本研究计算的下肢关节角度曲线与Vicon得到的结果强相关（ρ平均值为0.78～0.92），但是MAD和RMSE误差高达5.66°。在矢状面方面，本研究计算的下肢关节角度误差小于以往基于Azure Kinect直接获得的角度误差（RMSE为5.0～17.4°）[8]。在运动学计算时，需要先根据视频数据获取关节节点数据，再通过逆向运动学计算下肢关节角度。因此，关节点的位置对于下肢关节角度非常重要，关节位置的微小变化会极大地影响关节角度的准确性[19]。本研究采用了考虑关节约束的肌骨模型来求解关节角度，在一定程度上能消除深度视频运动学误差对于结果的影响。相对于Kinect v2驱动的下肢肌骨动力学模型，本研究采用的Azure Kinect能很好地识别人体关键点，下肢关节角度的精度有较大提升[9]。需要注意的是，与Vicon驱动的模型相比，Azure Kinect体节模型在足部的控制点过少，无法有效地同时驱动踝关节和距下关节。因此，本研究在建模过程中对距下关节进行锁定，无法求解步态过程中距下关节角度。总体来说，采用Azure Kinect结合肌骨模型，在下肢关节角度计算精度方面有一定提升，便于临床下肢运动的评估。
在计算动力学过程中，本研究引入了足地接触模型[16]，只需要Azure Kinect数据就可以计算得到下肢关节力和地面反作用力。由于本研究采用足地接触模型来替代测力板，下肢动力学的计算精度与足地接触力预测模型密切相关。以往研究发现，步态速度和足部姿态等参数影响着足地接触力[11]。因此，足部姿态的识别准确度极大地影响着足地接触力的预测精度。相比Kinect v1和Kinect v2深度相机，Azure Kinect在足部识别和步态参数算法方面进行了改进，能很好地识别足部参数和步态时空参数[9]。在地面反作用力预测方面，特别是垂直地面反作用力，本研究预测值误差（RMSE = 0.09 ± 0.02）小于以往基于Kinect v2模型的结果（RMSE = 0.25 ± 0.89）[8]。在下肢关节力预测方面，本模型（RMSE范围为0.44～0.68）相对以往研究也具有较大的提升（以往研究RMSE范围为0.92～1.54）[8]。本研究采用的肌骨动力学模型计算流程包含逆向运动学和逆向动力学，逆向动力学的计算需要关节角度作为输入。Azure Kinect在运动学捕捉和足部关键节点识别方面精度比前代产品明显提高，这对下肢关节角度、下肢动力学及足地接触力计算精度的提高至关重要。
本研究还存在一些局限性。首先未考虑Azure Kinect不同角度配置和数量对于运动学的影响。本研究所采用的双Azure Kinect摄像头，呈180°摆放。以往研究表明，深度摄像设备摆放位置对于下肢运动学角度计算有影响，后期研究应该进一步考虑此因素[13]。同时，本研究只采集了正常步速的下肢动力学和测力板数据。基于Azure Kinect驱动的肌骨动力学模型在不同活动状态获得的下肢动力学分析精度还需要进一步研究。另外，本研究在人体皮肤表面贴上反光球，这些反光球可能会影响Azure Kinect的三维深度视频数据及关节节点提取，进而影响运动学和动力学的计算精度。
4 结论
本研究基于Azure Kinect深度相机驱动的肌骨动力学流程，结合足地接触模型，对下肢关节角度、关节接触力和地面反作用力的预测精度进行了分析。相对于Kinect v1和Kinect v2，本模型计算的下肢运动学和动力学数据精度均有较大提升。基于Azure Kinect驱动的肌骨动力学模型计算流程简单、设备便携，有望在临床步态分析中进行应用。
重要声明
利益冲突声明：本文全体作者均声明不存在利益冲突。
作者贡献声明：实验设计和数据收集由彭迎虎和王琳负责，数据分析由陈飞和党晓栋负责，论文写作由彭迎虎、陈瑱贤和李光林完成。
伦理声明：本研究通过了中国科学院深圳先进技术研究院人体实验伦理委员会的审批（批文编号：SIAT-IRB-
本文附件见本刊网站的电子版本（biomedeng.cn）。
