步态识别是一种具有远距离非侵犯性特点的生物特征识别技术,它根据人们走路姿态的不同,从步行运动图像中提取特征进行身份的识别。一个完整的步态识别过程通常包括:步态序列获取、步态检测、步态提取和分类识别。本文简要介绍了这四个过程的常用方法,针对特征提取方法,从视角数目的不同进行了分类,重点介绍了近几年多视角步态识别的新算法,并总结了当前步态识别研究中存在的问题,展望了未来的发展趋势。
引用本文： 李一波, 李昆, 姬晓飞. 多视角步态识别新算法的难点与动向. 生物医学工程学杂志, 2014, 31(1): 205-209. doi: 10.7507/1001-5515.20140039 复制
引言
步态识别是生物特征识别技术中的一个新兴领域。它旨在根据人们的走路姿势实现对个人身份的识别或生理、病理及心理特征的检测，具有广阔应用前景，成为近年来生物医学信息检测领域备受关注的前沿方向。一个完整的步态识别过程通常包括以下四个步骤：① 拍摄含有人体步行运动的视频序列图像；② 从视频图像中分割出步态轮廓图；③ 从步态轮廓图中提取步态特征；④ 对步态特征进行分类。与其它生物特征识别技术相比，步态识别的最大特点在于无需被监测人配合或接触识别设备、仅在远距离或低视频质量情况下即可进行人体身份识别；此外，人的步态特征是身体各部位的习惯协调动作，在短时间内很难改变，故无法隐藏、伪造或模仿[1]。这些特点使得步态识别具有其他生物认证技术所不具有的独特优势，在门禁系统、安全监控、人机交互、医疗诊断等领域具有广泛的应用前景和经济价值[2]，在近些年成为生物特征识别技术中倍受关注的热点，有关的研究论文与综述评论也逐年增多。从2000年美国国防部高级研究项目署(Defense Advance Research Project Agency,DARPA)提出人远距离身份识别(Human Identification at a Distance,HID)计划至今，国际国内许多研究机构相继开展了步态识别的研究并发表了多篇论文，涌现出诸多新颖算法。本文从特征提取的角度对最近几年的研究成果给予总结，并对步态识别的研究难点和发展趋势进行探讨。
1 研究现状
步态识别是计算机视觉领域结合生物识别技术的一个崭新方向，它融合了视频序列处理、图像处理及模式识别等相关技术。对步态识别的研究旨在建立高效、准确的计算机步态自动识别系统，借助计算机完成目标对象与数据库的自动匹配以达到身份识别的目的。计算机步态识别通常包括步态序列获取、步态检测、步态特征提取、步态识别四个过程。
1.1 步态序列获取
步态序列获取是对目标行走姿态的获取，通常采用消费级DV、专业摄像机或监控摄像机拍摄目标的行走视频序列。为便于研究，国际上建立了多个专门用于步态识别的数据库：
① NIST(National Institute of Standards and Technology)/USF(University of South Florida)数据库[3]是目前比较完备的数据库，该数据库在室外采集包括人脸和步态两方面的数据，由122人的1 870个视频序列构成，所采集的人数和步态序列以及采集条件都是最多的，反映了实际应用时的情况。该数据库对沿着倒置的∑字形路线行走的测试者进行采集，采集条件包括相隔6个月的两个不同日期、两个不同的视角、不同的地面(草地或水泥地面)、不同的鞋型、提不提手提箱等。
② MIT(Massachusetts Institute of Technology)数据库[4]是在室内垂直于摄像机光轴并控制照明的条件下拍摄的，包括14男、11女的25名对象共194个视频序列，在3个月中的数天进行数据采集。
③ CMU(Carnegie Mellon University)数据库[5]共采集25人，是在室内跑步机上使用6个角度的高质量摄像机同步拍摄的。测试者在跑步机上采用慢步行走、快步行走、在倾斜面上行走、抱球慢步行走四种方式。
④ CASIA(Chinese Academy of Sciences Institute of Automation)数据库[6]包括小规模库(又称Dataset A)、多视角库(又称Dataset B)、红外库(又称Dataset C)三个子数据库。Dataset A(即NLPR步态数据库)包含20个人、每人3个行走方向的数据，行走方向分别与图像平面成0°、45°、90°，每个方向获取4个图像序列；Dataset B共包含124个人，是一个大规模多视角的步态库，分别从0°、18°、36°、……、180°的11个视角下，以正常行走、携带包裹行走、穿大衣行走三种行走条件采集，相同视角下分别有6个正常行走步态序列、2个穿大衣行走步态序列和2个携带包裹行走步态序列，视频均以320×240的图像尺寸、每秒25帧的速率拍摄；Dataset C是一个用红外(热感)摄像机在夜间拍摄的大规模数据库，包含153人，每个人有正常行走、带包行走、快步行走、慢步行走四种方式。
⑤ UM(University of Maryland)数据库[7]包含两个数据集。数据集l包括25个单独行走的测试对象，有迎面走来、背面离去、侧面从左到右行走、侧面从右到左行走四种角度；数据集2包括55个测试对象，在历时1个月中的不同时间由两个正交摄像机对T形路上单人行走的测试对象同步拍摄。
1.2 步态检测
步态检测通过对视频序列操作，将人体步态轮廓区域从背景图像中分割出来并进行必要的处理以降低噪声干扰。步态检测首先需要进行步态轮廓分割，常用方法有光流法、帧差法、背景减除法等。光流法善于捕捉运动特性，但抗噪性差，计算复杂，不满足实时性要求；帧差法运算快速，方法简单，稳定性较好，对场景变化不太敏感，能够适应各种动态环境，但对噪声敏感，只能提取轮廓边界；背景减除法计算简单，实时性好，主要适用于静态背景的建模，当背景动态变化时需要实时更新。分割方法对比如表 1所示。
表1
轮廓分割方法对比
Table1.
Comparison among different contour segmentation methods
对于轮廓分割的结果，往往存在噪声和空洞，常采用形态学处理方法进行处理，如膨胀和腐蚀、开运算和闭运算以及它们的组合运算。
1.3 步态特征提取
步态特征提取是对检测出来的步态和数据库中的已知步态进行数学描述以供计算机匹配识别。步态特征往往是基于人在步行过程中随时间变化的某些姿态特点得到的，提取方法多种多样。按照采集人体步态图像序列摄像机数目的不同，步态识别可分为基于单视角的方法和基于多视角的方法。单视角步态识别中的一类特征提取方法从单帧图像出发，获取包含人体运动信息的人体形状或结构特征。Cheng等[8]提出了利用步态轮廓构建步态序列的时空动态模板；张浩等[9]提出了加权动态时间规整(dynamic time warping,DTW)距离的自动步态识别算法，用二值轮廓图像计算质心以及质心到轮廓线上各点的距离作为特征；Yeoh等[10]提出非模型化方法，将人体轮廓分成八个部分，并从中识别关节点，计算关节运动轨迹；Xu等[11]利用提取的关键帧轮廓拟合椭圆模型。另一类特征提取方法从视频序列出发，获取结合时间和空间的步态运动特征。张元元等[12]使用紧致的Procrustes均值形状( procrustes mean shape,PMS)描述人体侧影轮廓；Han等[13]提出了步态能量图(gait energy image,GEI)的步态表征方法；Yang等[14]提出增强的步态能量图(enhanced GEI,EGEI)；Chen等[15]为了降低不完整轮廓图像造成的影响，用帧差能量图( frame difference energy image,FDEI)进行步态表征，同时保留步态形状信息和动态信息；Lee等[16]提出了帧差历史图(frame difference history image,FDHI)的步态表征方法，从而有效提取人体静态形态和动态运动轨迹；Zhang等[17]提出运动能量图(active energy image,AEI)进行步态特征表示，AEI更侧重于动态区域，并且能降低低质量轮廓、携带物品以及服饰变化造成的影响；Bashir等[18]提出步态熵图像(gait entropy image,GEnI)的表征方法。
单视角下的步态序列由于存在遮挡、视角局限性等影响因素，所能提供的步态信息有限。近几年发展出了基于多视角的步态识别研究方法，对多个视角下的步态序列展开研究。相比于单视角的步态识别方法，多视角能消除图像中的遮挡影响，提供更多的步态信息，形成不同视角之间的信息互补。基于多视角的研究关键是对不同视角间的信息进行融合。
Bouchrika等[19]对协变量分析和视角不变性进行了扩展研究，在一个未校准的摄像机下建立基于人体模型的姿态估计方法。Bashir等[20]通过构建高斯分类框架来估计探测序列的视角，使用典型相关分析(canonical correlation analysis,CCA)建立不同视角下步态序列的相关模型，并用关联强度作为相似性度量来解决探测步态序列视角未知的交叉视觉步态识别问题。该方法不需要特征重建便可处理不同视角间的特征失配并且对特征噪声具有鲁棒性。Kusakunniran等[21]为了解决视角变化对步态识别造成的影响，提出了基于视角转换模型(view transformation model,VTM)的交叉视觉和多视角步态识别算法，通过多层感知器(multi-layer perceptron,MLP)退化处理构造的VTM将交叉视角下的步态特征转换到相同视角下进行相似性度量。该方法通过大数据库的验证，表明对交叉视角和多视角步态识别具有很好的识别效果，但系统开销与3D步态模型相当，且仅对一定范围内视角变化有效。赵永伟等[22]提出了基于多特征和多视角信息融合的步态识别方法，在单视角下采用计分的方法对伪Zernike矩、小波描述子和Procrustes形状分析法提取的特征进行多特征融合，然后分别采用基于Rank、基于K近邻(k-nearest neighbor,KNN)和基于Fuzzy等融合机制，完成多视角步态信息的融合识别。该方法在普通条件下获得了比较高的识别率，但所提出的特征易受衣着、背包等情况的影响。Hu等[23]为了利用不同行走阶段的显著特征，提出多视角多实例步态识别方法，使用统一多视角的总体隐马尔可夫模型(population hidden Markov models,pHMMs)提取多视角实例，应用多线性分析进行多视角多实例步态识别。实例关系的采用，无论各视角下步态周期是否完整，都可以获得最佳内在标识向量估计。Liu等[24]发现如果3D目标能通过相同视角下少数原型的线性组合很好地表征，那么具有相同原型的表征系数在不同视角间仍很相似，因此提出用这样的表征系数作为视角无关的特征，通过使用典型相关分析和主元分析的联合子空间学习(joint subspace learning,JSL)获取不同视角下的原型，使用相同视角下少数原型的线性组合作为视角无关的特征。
多视角步态识别还可采用立体视觉的方法，通过构建合适的立体模型展开研究。刘海涛[25]在步态识别问题的求解中首次引入立体视觉的方法，构造了以三维人体轮廓的质心为参考中心的三维人体轮廓描述子(3D body contour descriptor,3D-BCD)。立体视觉步态识别完成了像素级的融合，但需要立体视觉标定、立体匹配以及三维重建，并且系统结构比较复杂。Sivapalan等[26]提出一种基于3D椭球的快速步态识别算法，使用椭球拟合3D体素模型(3D voxel model)并从中提取步态特征。该方法可以解决现有以椭圆拟合模型为基础的方法的视角依赖和自闭塞局限性。Canton-Ferrer等[27]为了克服视角带来的外观变化，利用多视角信息生成3D体素重建现场并提取步态周期将输入数据在时间域对齐，然后通过超球面Radon变换(hyperspherical radon transform)从时空步态模板中提取特征，该特征具有比例、平移和旋转不变性。Sivapalan等[28]为了克服GEI本身对视角依赖的问题，将GEI扩展到3D，通过重建体素卷来构造步态能量卷(gait energy volume,GEV)。在多视角下，该方法相比于GEI等特征具有更好的识别效果。
1.4 步态识别
步态识别是将待识别的步态序列与样本库中的已知序列进行匹配，通过一定的判别依据决定它所属的类别。步态的表征方式与整个识别系统的构造密切相关，选取适当的步态表征方式与匹配策略十分关键。目前常见的分类器有：近邻分类器、各种神经网络分类器以及基于统计学的支持向量机(support vecter machine,SVM)分类器和隐马尔可夫模型(hidden Markov model,HMM)等。常见分类器如表 2所示。
表2
常见分类器
Table2.
Common classifiers
此外，对于多视角的步态研究方法，在识别时多采用基于决策层的信息融合方法。这种方法对单个不同的特征先分别处理，得到各自独立的决策结果，然后进行关联并依据融合策略综合匹配得到最终识别结果。决策层融合主要的研究方法有贝叶斯推理、统计决策、D-S(Dempster-Shafer)证据推理法、专家系统法、人工神经网络、遗传算法、粗糙集理论等。文献[22]分别采用了基于Rank、KNN、Fuzzy的融合方法对多个视角信息进行融合识别；文献[29]采用了简单投票机制和D-S证据理论进行决策层信息融合；文献[30]采用并联的多分类器体系结构，选择三个基于最近邻准则的分类器对三个不同特征进行融合识别。
2 研究难点
步态识别是计算机视觉领域结合生物识别技术的一个崭新方向，它融合了视频序列处理、图像处理及模式识别等相关技术。对步态识别的研究旨在建立高效、准确的计算机步态自动识别系统，借助计算机完成目标对象与数据库的自动匹配以达到身份识别的目的。对于步态识别的研究已经有二十余年，但迄今为止还没有能投入使用的步态识别系统，这是因为步态序列图像获取易受干扰，特征提取和识别算法复杂，完整匹配数据库的建立比较困难。步态识别研究在计算机视觉领域和应用领域都有很大的研究潜力，同时也存在诸多的问题和挑战。
(1) 步态检测关系到后续特征提取的有效性和分类识别的准确性，人体轮廓提取的好与坏直接影响着识别结果，但当前还没有通用性很好的步态检测算法能适应各种噪声和干扰，因此如何有效地分割人体轮廓是亟待解决的问题。
(2) 多视角研究方法可以消除遮挡，带来视角间的信息互补，但各个视角下所提供的信息有所差别，不同视角间的步态信息存在冗余，在进行多视角研究时，首要问题是去除冗余的同时使步态特征信息的损失降到最低。
(3) 识别系统的通用性不强。当前研究都是在相似的步态相关变量(衣着、背包等)下获取的步态序列中进行的，一旦测试序列和样本序列的变量条件不同或者测试序列的变量条件未知，识别效果会受很大影响。实际情况下同一视频序列中存在着多种变量的变化问题，这对步态表征的鲁棒性及系统的通用性提出了很高的要求。
3 发展趋势
从当前的研究现状和实际应用的需求出发，可以预测步态识别的发展趋势如下：
(1) 对特征层融合方法的探索。相比于数据层融合，特征层融合减少了信息损失，实现了信息压缩，有利于实时处理。对特征层融合进行研究，利用单视角下的多特征及不同视角间的特征进行融合，获取具有互补性的特征，有助于提高步态识别系统的性能。
(2) 对目前应用较广的投票机制、D-S证据理论等决策层融合算法进行完善，发展基于人工神经网络、遗传算法等的方法，使其符合多视角步态识别研究的算法要求。
(3) 开展复杂环境下的步态识别研究。真实环境中总是不可避免地出现背景变化、多人同时出现等情况，这就需要开展诸如动态背景、多人环境等复杂情况的步态识别研究，从而促进步态识别从实验室的理论研究向现实环境中的实际应用转变。
4 结语
步态识别作为生物特征识别领域的一个很有发展潜力的研究方向，已经引起越来越多科研工作者的注意，他们从不同角度提出了多种识别方法。本文结合当前步态研究的现状，从步态识别的数据获取、步态检测、步态表征、步态识别方面进行了概括，重点回顾了步态表征的最新研究成果，并对研究难点与发展趋势进行了总结与展望。
引言
步态识别是生物特征识别技术中的一个新兴领域。它旨在根据人们的走路姿势实现对个人身份的识别或生理、病理及心理特征的检测，具有广阔应用前景，成为近年来生物医学信息检测领域备受关注的前沿方向。一个完整的步态识别过程通常包括以下四个步骤：① 拍摄含有人体步行运动的视频序列图像；② 从视频图像中分割出步态轮廓图；③ 从步态轮廓图中提取步态特征；④ 对步态特征进行分类。与其它生物特征识别技术相比，步态识别的最大特点在于无需被监测人配合或接触识别设备、仅在远距离或低视频质量情况下即可进行人体身份识别；此外，人的步态特征是身体各部位的习惯协调动作，在短时间内很难改变，故无法隐藏、伪造或模仿[1]。这些特点使得步态识别具有其他生物认证技术所不具有的独特优势，在门禁系统、安全监控、人机交互、医疗诊断等领域具有广泛的应用前景和经济价值[2]，在近些年成为生物特征识别技术中倍受关注的热点，有关的研究论文与综述评论也逐年增多。从2000年美国国防部高级研究项目署(Defense Advance Research Project Agency,DARPA)提出人远距离身份识别(Human Identification at a Distance,HID)计划至今，国际国内许多研究机构相继开展了步态识别的研究并发表了多篇论文，涌现出诸多新颖算法。本文从特征提取的角度对最近几年的研究成果给予总结，并对步态识别的研究难点和发展趋势进行探讨。
1 研究现状
步态识别是计算机视觉领域结合生物识别技术的一个崭新方向，它融合了视频序列处理、图像处理及模式识别等相关技术。对步态识别的研究旨在建立高效、准确的计算机步态自动识别系统，借助计算机完成目标对象与数据库的自动匹配以达到身份识别的目的。计算机步态识别通常包括步态序列获取、步态检测、步态特征提取、步态识别四个过程。
1.1 步态序列获取
步态序列获取是对目标行走姿态的获取，通常采用消费级DV、专业摄像机或监控摄像机拍摄目标的行走视频序列。为便于研究，国际上建立了多个专门用于步态识别的数据库：
① NIST(National Institute of Standards and Technology)/USF(University of South Florida)数据库[3]是目前比较完备的数据库，该数据库在室外采集包括人脸和步态两方面的数据，由122人的1 870个视频序列构成，所采集的人数和步态序列以及采集条件都是最多的，反映了实际应用时的情况。该数据库对沿着倒置的∑字形路线行走的测试者进行采集，采集条件包括相隔6个月的两个不同日期、两个不同的视角、不同的地面(草地或水泥地面)、不同的鞋型、提不提手提箱等。
② MIT(Massachusetts Institute of Technology)数据库[4]是在室内垂直于摄像机光轴并控制照明的条件下拍摄的，包括14男、11女的25名对象共194个视频序列，在3个月中的数天进行数据采集。
③ CMU(Carnegie Mellon University)数据库[5]共采集25人，是在室内跑步机上使用6个角度的高质量摄像机同步拍摄的。测试者在跑步机上采用慢步行走、快步行走、在倾斜面上行走、抱球慢步行走四种方式。
④ CASIA(Chinese Academy of Sciences Institute of Automation)数据库[6]包括小规模库(又称Dataset A)、多视角库(又称Dataset B)、红外库(又称Dataset C)三个子数据库。Dataset A(即NLPR步态数据库)包含20个人、每人3个行走方向的数据，行走方向分别与图像平面成0°、45°、90°，每个方向获取4个图像序列；Dataset B共包含124个人，是一个大规模多视角的步态库，分别从0°、18°、36°、……、180°的11个视角下，以正常行走、携带包裹行走、穿大衣行走三种行走条件采集，相同视角下分别有6个正常行走步态序列、2个穿大衣行走步态序列和2个携带包裹行走步态序列，视频均以320×240的图像尺寸、每秒25帧的速率拍摄；Dataset C是一个用红外(热感)摄像机在夜间拍摄的大规模数据库，包含153人，每个人有正常行走、带包行走、快步行走、慢步行走四种方式。
⑤ UM(University of Maryland)数据库[7]包含两个数据集。数据集l包括25个单独行走的测试对象，有迎面走来、背面离去、侧面从左到右行走、侧面从右到左行走四种角度；数据集2包括55个测试对象，在历时1个月中的不同时间由两个正交摄像机对T形路上单人行走的测试对象同步拍摄。
1.2 步态检测
步态检测通过对视频序列操作，将人体步态轮廓区域从背景图像中分割出来并进行必要的处理以降低噪声干扰。步态检测首先需要进行步态轮廓分割，常用方法有光流法、帧差法、背景减除法等。光流法善于捕捉运动特性，但抗噪性差，计算复杂，不满足实时性要求；帧差法运算快速，方法简单，稳定性较好，对场景变化不太敏感，能够适应各种动态环境，但对噪声敏感，只能提取轮廓边界；背景减除法计算简单，实时性好，主要适用于静态背景的建模，当背景动态变化时需要实时更新。分割方法对比如表 1所示。
表1
轮廓分割方法对比
Table1.
Comparison among different contour segmentation methods
对于轮廓分割的结果，往往存在噪声和空洞，常采用形态学处理方法进行处理，如膨胀和腐蚀、开运算和闭运算以及它们的组合运算。
1.3 步态特征提取
步态特征提取是对检测出来的步态和数据库中的已知步态进行数学描述以供计算机匹配识别。步态特征往往是基于人在步行过程中随时间变化的某些姿态特点得到的，提取方法多种多样。按照采集人体步态图像序列摄像机数目的不同，步态识别可分为基于单视角的方法和基于多视角的方法。单视角步态识别中的一类特征提取方法从单帧图像出发，获取包含人体运动信息的人体形状或结构特征。Cheng等[8]提出了利用步态轮廓构建步态序列的时空动态模板；张浩等[9]提出了加权动态时间规整(dynamic time warping,DTW)距离的自动步态识别算法，用二值轮廓图像计算质心以及质心到轮廓线上各点的距离作为特征；Yeoh等[10]提出非模型化方法，将人体轮廓分成八个部分，并从中识别关节点，计算关节运动轨迹；Xu等[11]利用提取的关键帧轮廓拟合椭圆模型。另一类特征提取方法从视频序列出发，获取结合时间和空间的步态运动特征。张元元等[12]使用紧致的Procrustes均值形状( procrustes mean shape,PMS)描述人体侧影轮廓；Han等[13]提出了步态能量图(gait energy image,GEI)的步态表征方法；Yang等[14]提出增强的步态能量图(enhanced GEI,EGEI)；Chen等[15]为了降低不完整轮廓图像造成的影响，用帧差能量图( frame difference energy image,FDEI)进行步态表征，同时保留步态形状信息和动态信息；Lee等[16]提出了帧差历史图(frame difference history image,FDHI)的步态表征方法，从而有效提取人体静态形态和动态运动轨迹；Zhang等[17]提出运动能量图(active energy image,AEI)进行步态特征表示，AEI更侧重于动态区域，并且能降低低质量轮廓、携带物品以及服饰变化造成的影响；Bashir等[18]提出步态熵图像(gait entropy image,GEnI)的表征方法。
单视角下的步态序列由于存在遮挡、视角局限性等影响因素，所能提供的步态信息有限。近几年发展出了基于多视角的步态识别研究方法，对多个视角下的步态序列展开研究。相比于单视角的步态识别方法，多视角能消除图像中的遮挡影响，提供更多的步态信息，形成不同视角之间的信息互补。基于多视角的研究关键是对不同视角间的信息进行融合。
Bouchrika等[19]对协变量分析和视角不变性进行了扩展研究，在一个未校准的摄像机下建立基于人体模型的姿态估计方法。Bashir等[20]通过构建高斯分类框架来估计探测序列的视角，使用典型相关分析(canonical correlation analysis,CCA)建立不同视角下步态序列的相关模型，并用关联强度作为相似性度量来解决探测步态序列视角未知的交叉视觉步态识别问题。该方法不需要特征重建便可处理不同视角间的特征失配并且对特征噪声具有鲁棒性。Kusakunniran等[21]为了解决视角变化对步态识别造成的影响，提出了基于视角转换模型(view transformation model,VTM)的交叉视觉和多视角步态识别算法，通过多层感知器(multi-layer perceptron,MLP)退化处理构造的VTM将交叉视角下的步态特征转换到相同视角下进行相似性度量。该方法通过大数据库的验证，表明对交叉视角和多视角步态识别具有很好的识别效果，但系统开销与3D步态模型相当，且仅对一定范围内视角变化有效。赵永伟等[22]提出了基于多特征和多视角信息融合的步态识别方法，在单视角下采用计分的方法对伪Zernike矩、小波描述子和Procrustes形状分析法提取的特征进行多特征融合，然后分别采用基于Rank、基于K近邻(k-nearest neighbor,KNN)和基于Fuzzy等融合机制，完成多视角步态信息的融合识别。该方法在普通条件下获得了比较高的识别率，但所提出的特征易受衣着、背包等情况的影响。Hu等[23]为了利用不同行走阶段的显著特征，提出多视角多实例步态识别方法，使用统一多视角的总体隐马尔可夫模型(population hidden Markov models,pHMMs)提取多视角实例，应用多线性分析进行多视角多实例步态识别。实例关系的采用，无论各视角下步态周期是否完整，都可以获得最佳内在标识向量估计。Liu等[24]发现如果3D目标能通过相同视角下少数原型的线性组合很好地表征，那么具有相同原型的表征系数在不同视角间仍很相似，因此提出用这样的表征系数作为视角无关的特征，通过使用典型相关分析和主元分析的联合子空间学习(joint subspace learning,JSL)获取不同视角下的原型，使用相同视角下少数原型的线性组合作为视角无关的特征。
多视角步态识别还可采用立体视觉的方法，通过构建合适的立体模型展开研究。刘海涛[25]在步态识别问题的求解中首次引入立体视觉的方法，构造了以三维人体轮廓的质心为参考中心的三维人体轮廓描述子(3D body contour descriptor,3D-BCD)。立体视觉步态识别完成了像素级的融合，但需要立体视觉标定、立体匹配以及三维重建，并且系统结构比较复杂。Sivapalan等[26]提出一种基于3D椭球的快速步态识别算法，使用椭球拟合3D体素模型(3D voxel model)并从中提取步态特征。该方法可以解决现有以椭圆拟合模型为基础的方法的视角依赖和自闭塞局限性。Canton-Ferrer等[27]为了克服视角带来的外观变化，利用多视角信息生成3D体素重建现场并提取步态周期将输入数据在时间域对齐，然后通过超球面Radon变换(hyperspherical radon transform)从时空步态模板中提取特征，该特征具有比例、平移和旋转不变性。Sivapalan等[28]为了克服GEI本身对视角依赖的问题，将GEI扩展到3D，通过重建体素卷来构造步态能量卷(gait energy volume,GEV)。在多视角下，该方法相比于GEI等特征具有更好的识别效果。
1.4 步态识别
步态识别是将待识别的步态序列与样本库中的已知序列进行匹配，通过一定的判别依据决定它所属的类别。步态的表征方式与整个识别系统的构造密切相关，选取适当的步态表征方式与匹配策略十分关键。目前常见的分类器有：近邻分类器、各种神经网络分类器以及基于统计学的支持向量机(support vecter machine,SVM)分类器和隐马尔可夫模型(hidden Markov model,HMM)等。常见分类器如表 2所示。
表2
常见分类器
Table2.
Common classifiers
此外，对于多视角的步态研究方法，在识别时多采用基于决策层的信息融合方法。这种方法对单个不同的特征先分别处理，得到各自独立的决策结果，然后进行关联并依据融合策略综合匹配得到最终识别结果。决策层融合主要的研究方法有贝叶斯推理、统计决策、D-S(Dempster-Shafer)证据推理法、专家系统法、人工神经网络、遗传算法、粗糙集理论等。文献[22]分别采用了基于Rank、KNN、Fuzzy的融合方法对多个视角信息进行融合识别；文献[29]采用了简单投票机制和D-S证据理论进行决策层信息融合；文献[30]采用并联的多分类器体系结构，选择三个基于最近邻准则的分类器对三个不同特征进行融合识别。
2 研究难点
步态识别是计算机视觉领域结合生物识别技术的一个崭新方向，它融合了视频序列处理、图像处理及模式识别等相关技术。对步态识别的研究旨在建立高效、准确的计算机步态自动识别系统，借助计算机完成目标对象与数据库的自动匹配以达到身份识别的目的。对于步态识别的研究已经有二十余年，但迄今为止还没有能投入使用的步态识别系统，这是因为步态序列图像获取易受干扰，特征提取和识别算法复杂，完整匹配数据库的建立比较困难。步态识别研究在计算机视觉领域和应用领域都有很大的研究潜力，同时也存在诸多的问题和挑战。
(1) 步态检测关系到后续特征提取的有效性和分类识别的准确性，人体轮廓提取的好与坏直接影响着识别结果，但当前还没有通用性很好的步态检测算法能适应各种噪声和干扰，因此如何有效地分割人体轮廓是亟待解决的问题。
(2) 多视角研究方法可以消除遮挡，带来视角间的信息互补，但各个视角下所提供的信息有所差别，不同视角间的步态信息存在冗余，在进行多视角研究时，首要问题是去除冗余的同时使步态特征信息的损失降到最低。
(3) 识别系统的通用性不强。当前研究都是在相似的步态相关变量(衣着、背包等)下获取的步态序列中进行的，一旦测试序列和样本序列的变量条件不同或者测试序列的变量条件未知，识别效果会受很大影响。实际情况下同一视频序列中存在着多种变量的变化问题，这对步态表征的鲁棒性及系统的通用性提出了很高的要求。
3 发展趋势
从当前的研究现状和实际应用的需求出发，可以预测步态识别的发展趋势如下：
(1) 对特征层融合方法的探索。相比于数据层融合，特征层融合减少了信息损失，实现了信息压缩，有利于实时处理。对特征层融合进行研究，利用单视角下的多特征及不同视角间的特征进行融合，获取具有互补性的特征，有助于提高步态识别系统的性能。
(2) 对目前应用较广的投票机制、D-S证据理论等决策层融合算法进行完善，发展基于人工神经网络、遗传算法等的方法，使其符合多视角步态识别研究的算法要求。
(3) 开展复杂环境下的步态识别研究。真实环境中总是不可避免地出现背景变化、多人同时出现等情况，这就需要开展诸如动态背景、多人环境等复杂情况的步态识别研究，从而促进步态识别从实验室的理论研究向现实环境中的实际应用转变。
4 结语
步态识别作为生物特征识别领域的一个很有发展潜力的研究方向，已经引起越来越多科研工作者的注意，他们从不同角度提出了多种识别方法。本文结合当前步态研究的现状，从步态识别的数据获取、步态检测、步态表征、步态识别方面进行了概括，重点回顾了步态表征的最新研究成果，并对研究难点与发展趋势进行了总结与展望。
