音乐诱发下的情感状态评估结果可为辅助音乐治疗提供理论支持与帮助。情感状态评估的关键是情感脑电的特征提取，故本文针对情感脑电特征提取算法的性能优化问题开展研究。采用 Koelstra 等提出的分析人类情绪状态的多模态标准数据库 DEAP，提取 8 种正负情绪代表各个脑区的 14 个通道脑电数据，基于小波分解重构 δ、θ、α、β 四种节律波；在分析比较小波特征（小波系数能量和小波熵）、近似熵和 Hurst 指数三种脑电特征情感识别效果的基础上，提出一种基于主成分分析（PCA）融合小波特征、近似熵和 Hurst 指数的脑电特征提取算法。本算法保留累积贡献率大于 85% 的主成分，并选择特征根差异较大的特征参数，基于支持向量机实现情感状态评估。结果表明，使用单一小波特征（小波系数能量和小波熵）、近似熵和 Hurst 指数特征量，情感识别的正确率均值分别是 73.15%、50.00% 和 45.54%，而改进算法识别准确率均值在 85% 左右。基于改进算法情感识别的分类准确率比传统方法至少能提升 12%，可为情感脑电特征提取以及辅助音乐治疗提供帮助。
引用本文： 李昕, 蔡二娟, 田彦秀, 孙小棋, 范梦頔. 一种改进脑电特征提取算法及其在情感识别中的应用. 生物医学工程学杂志, 2017, 34(4): 510-517. doi: 10.7507/1001-5515.201605066 复制
引言
音乐治疗是一个系统的干预过程，是治疗师利用音乐体验的各种形式，结合医疗手段，通过音乐来缓解某些疾病（如阿尔茨海默症、脑损伤等）的病情和解决一些特定的身心健康问题（如儿童心理障碍、自闭症、抑郁症等）[1]。在音乐治疗中，音乐对人的情感影响是巨大的，强调情感决定认知行为，并且情感能在不同程度上影响患者的感知、思维、记忆与决策，因此音乐情感识别结果直接影响着音乐治疗的效果。与外围生理信号相比，脑电（electroencephalogram，EEG）信号作为中枢神经生理信号[2]，不受人的主观控制，能够真实准确地体现人的情感状态变化，基于脑电的情感识别将为音乐治疗及其他相关领域研究提供帮助。
提取有效的脑电特征参数，是音乐情感状态识别的关键。Lin 等[3]利用短时傅里叶变换把时域脑电信号转换到频域内，将 δ、θ、α、β、γ 这五种频段的能量谱作为情感的脑电特征。Duan 等[4]提取脑电信号的微分熵特征用于情感识别，发现微分熵特征对于正、负情感识别具有较高的准确率。Petran tonakis 等[5]提取了 4 个通道的统计特征作为脑电特征对 6 种基本情感进行了分类。Murugappan 等[6]将小波变换 α 波能量、熵、均值方差作为情感脑电特征进行五种情感识别，达到 78.04% 的分类效果。李立[7]将提取出的情感脑电信号的样本熵特征、近似熵（approximate entropy，ApEn）、Lempel-Ziv（LZ）复杂度和 Hurst 指数特征用于情感识别。谢康[8]将五种脑电节律下的功率谱密度信息和脑网络属性特征作为音乐情感脑电特征进行情感识别。张迪[9]分析了情感脑电信号的频域功率谱能量特征和不对称特征，得到了 80.42% 的情感识别率。
本文首先提取音乐情感脑电的全方位特征参数，即四种节律波的近似熵、小波系数能量、小波熵（wavelet entropy，WE）和 Hurst 指数特征，其中近似熵测量情感脑电信号的复杂性，小波系数能量表征信号在各阶频段能量的分布情况，小波熵反映信号谱能量在各个空间分布的有无序程度，Hurst 指数衡量时间序列的统计相关性特征，这几种特征从不同的方面反映音乐情感脑电的特征变化。再基于主成分分析（principal component analysis，PCA），融合全方位特征，选取与情感状态高度相关的特征参数，实现情感识别。本文充分利用了不同特征量在音乐情感脑电有效特征中所占的权重不同，综合特征参数能够更有效地反映情感脑电的本质特征，降低冗余特征量，提高情感识别效果。
1 数据
采用 Koelstra 等[10]提出的分析人类情感状态的多模态数据库 DEAP。该数据库记录了 32 位健康受试者观看 40 个时长为 1 min 的不同音乐视频时的脑电信号和外周生理信号。受试者的平均年龄为 26.9 岁，男女各半，实验前被告知实验的各个细节。该实验记录的脑电信号采样频率为 512 Hz，脑电的采集使用 32 导 AgCl 电极，电极的分布根据国际通用的标准 10-20 系统，同时采集 8 个电极的外周生理信号，共 40 个通道。每位受试者每次实验信号采集过程如表 1 所示。
表1
信号采集过程表
Table1.
Signal acquisition procedure
本文所选的脑电信号实验数据是经过预处理（降采样，去除眼电等噪声，经过 4.0～45 Hz 的滤波等）的数据，采样频率为 128 Hz。每个受试者数据形式为 40×40×8 064，其中第一个 40 代表音频，第二个 40 代表脑电常用通道。按照国际标准 10-20 系统，分别提取前额区（FP1、FP2）、额区（F3、F4、F7、F8）、中央（C3、C4）、颞区（T7、T8）、顶区（P3、P4）和枕区（O1、O2）的通道数据。DEAP 数据库是应用“效价-唤醒度”二维度的情感模型，该情感模型依据效价将情感分为正、负两极，位于正极的称正性情感，通常带来愉悦感受，位于负极的称负性情感。本文选择 8 种常见的正负性情感：高兴、激动、欢乐、喜爱、憎恨、抑郁、难过、恐惧。所选的脑电信号数据都按时间随机截取长度为 8 s 的数据段，即 1 024 个数据点，则每个通道中每种情感有 32 个数据段，即 32 个样本。
2 方法
本文选取 DEAP 数据库中 8 种情感的 14 个通道数据，基于小波变换、近似熵、Hurst 指数这三种脑电信号分析方法提取出每种情感的脑电特征。小波变换是一种时频域脑电信号分析方法，近似熵是对脑电信号进行序列规律性和复杂性测度分析的非线性动力学方法，而 Hurst 指数则是从时间序列统计相关性方面对脑电信号进行非线性特性分析。本文所提出的改进算法从这三个不同特征提取角度出发，充分提取脑电特征信息并进行融合，算法流程如图 1 所示。
图1
算法流程图
Figure1.
The algorithm flowchart
首先，利用小波变换分解重构出情感脑电的 δ、θ、α、β 四种节律波，提取出小波系数能量和小波熵作为小波变换特征，表征情感脑电的能量分布情况。其次，基于近似熵提取出四种节律波的熵值，测量情感脑电的复杂性。同时，基于 R/S 分析方法求出四种节律波的 Hurst 指数，作为分形特征。然后基于 PCA 融合这三类特征参数，从而更有效地实现情感识别。
2.1 小波变换特征
小波变换[11-15]是一种典型的用于脑电信号分析的时频域分析方法。小波变换将信号分解成一系列小波函数的叠加，小波窗口大小随频率改变，在低频时，时间分辨率较低但频率分辨率较高；在高频时，时间分辨率较高但频率分辨率较低。由于小波变换的这种多分辨率特点，特别适合提取像脑电这样的非平稳信号局部特征。
本文选择四阶的 Daubechies 小波基函数将采样频率为 128 Hz 的信号 s（t）划分为不同频段的子带信号，经过 4 层离散小波变换分解后，可得：
 |
式中，l 为分解层数，Al 为低频分量，Dj 为不同尺度下的细节分量，各分量所对应的子频带范围如表 2 所示。
表2
子带信号对应的不同频率范围
Table2.
Different frequency range of sub-band signals
对应的近似系数为 cAl，各层小波系数为 cDj，
，单一尺度下的小波能量是这个尺度下小波系数的平方和，记为 Ei，
，那么总的小波能量定义为：
 |
相对小波能量定义为：
，
，根据香农熵理论和相对小波能量的定义，小波熵（We）的定义如下：
 |
小波熵反映了对信号谱能量在各个空间分布的有序或无序程度的一种测度，能够对时频域上的能量分布特性进行定量描述[16]。本文利用小波分解重构出 θ、δ、β、α 四种节律波，并提取出 7 个小波系数能量特征 Ei 和 1 个小波熵 We 作为小波变换特征。
2.2 近似熵
近似熵[6, 16-17]是由 Pincus 在 1991 年提出来的，可以测量时间序列的复杂性和规律性的一种无需粗粒化的复杂性测度分析方法。其物理意义是当维数变化时时间序列中产生新模式的概率的大小，产生新模式的概率越大，序列越复杂，相应的近似熵也就越大。近似熵（ApEn）定义为：
 |
式中，预先设定模式维数为 m 和相似性容限为 r。一般来说，此极限的极值存在且为 1。实际工作中 n 不可能为 ∞，因此，当 n 为有限值时可以对近似熵进行估算，即为：
 |
式中 ApEn 的值与 m、r 的取值有关，Pincus 根据研究建议 m=2，r=0.1SD～0.25SD（SD 为信号序列的标准差），n 最好在 100～5 000 之间。近似熵值的大小与信号序列的复杂程度成正比，且利用较短的数据就可以得到比较稳定的估计值，可以很好地度量脑电序列的复杂性。
本文提取出音乐情感脑电 θ、δ、β、α 四种节律波的近似熵值作为度量脑电复杂性的特征。
2.3 Hurst 指数
Hurst 指数是一种衡量时间序列统计相关性的非线性指标，可用于脑电非线性特性的分析[18]。Hurst 指数的计算方法较多，其中最常用的是 R/S 分析方法（rescaled range analysis）[19]，它最初是由英国水文学家 Hurst 于 1965 年提出的，通常用来分析时间序列的分形特征和长程相关性，被用在各种时间序列的分析之中。R（m）为极差，S（m）为标准差，Hurst 认为 R（m）/S（m）与 k 之间存在着指数关系，即
 |
其中 α 为系数，H 为 Hurst 指数。
对上式两边取对数，可得
，因此对
和
进行最小二乘法拟合求斜率，即可得到 Hurst 指数 H。
Hurst 指数是一种度量分形时间序列的平滑性、表征脑电信号非平稳行为的分析方法，能够较好地刻画脑电序列的非线性行为特征。本文提取出音乐情感脑电 θ、δ、β、α 四种节律波的 Hurst 值作为统计相关性的特征。
2.4 特征融合
（1）假设原始特征矩阵 M 为 n×p 数据集，其均值为
，则对原始特征矩阵进行去均值处理，得到矩阵
。
（2）求
的协方差矩阵 C，
。
（3）对协方差矩阵 C 进行特征根分解，得到特征根及其特征向量。
 |
其中，
是协方差矩阵 C 的特征向量，特征根矩阵
为对角矩阵，特征根的大小表示新变量（主成分）方差的大小。
（4）求 PCA 的投影矩阵。每个主成分蕴含信息量的多少用对应特征根的大小来表示，其贡献率 CR 定义为
 |
则前 k 个主成分的累积贡献率定义为：
 |
根据累积贡献率的大小来确定主成分的投影矩阵 W，一般而言，保留累积贡献率大于 85% 的 m 个主成分，由于特征根向量 Λ 是由特征根大小顺序排列的，所以投影坐标系 W 为矩阵 U 的前 m 个特征向量，即
 |
（5）根据投影矩阵 W 可以计算出原特征量 M 在新特征空间中的低维特征量
。
PCA 的目的在于压缩变量的个数，剔除冗余信息，使降维后的特征更好地反映信号的实用特征。本文利用 PCA 方法将提取的小波变换特征、四种节律波的近似熵值和 Hurst 指数共计 14 个特征量进行降维，保留累积贡献率大于 85% 的主成分，所得主成分的特征根和累积贡献率变化如图 2 所示。
图2
主成分的特征根和累积贡献率变化
Figure2.
Changes of the characteristic root and cumulative contribution rate of PCA
从图 2 的左图中可以看出，14 个特征量的累积贡献率均大于 85%，第一主成分的累积贡献率在 87% 左右，而第三主成分累积贡献率已经达到 100%。右图是对应主成分的特征根大小，从图中可以看出前三个主成分特征根的差异比较大，而后 11 个主成分的特征根差异不明显且值很小，接近于零。一般而言，方差矩阵的特征根差异较大时，对应的贡献率相对较大，特征区分度就相对较高。差异性较大的主成分对情感特征分类效果起决定性作用，因此，在保留累积贡献率在 85% 以上的主成分的基础上，选择方差矩阵的特征根差异性较大的主成分作为新的特征量。不同情感分类时最终特征量数目统计如表 3 所示。
表3
不同情感分类中最优特征量数量
Table3.
Number of the best features in different emotion
2.5 支持向量机分类
支持向量机（support vector machine，SVM）的目标是基于训练数据产出一个模型，用来预测只给出属性的测试数据的目标值。本文选择 SVM 分类模型为 C-support vector classification（C-SVC）类型。
C-SVC 分类模型算法[23-24]的基本原理：设给定的训练集
，
，寻找函数 h（X），利用决策函数
来推断出输入向量 X 相对应的输出 y 值。
本文选择高斯径向基核函数（Gaussian radial basis function，RBF）作为核函数，σ 是宽度参数。本文选用林智仁教授 2001 年开发的 LibSVM 分类器工具箱实现音乐脑电的分类。利用粒子群优化（particle swarm optimization，PSO）算法进行参数寻优，得到最佳的惩罚因子 c 和核函数参数 g。
本文惩罚因子 c 和核函数参数 g 的 PSO 搜索区间范围分别设为[0.1 100]和[0.01 1 000]，PSO 的最大进化代数设为 200；粒子群最大数量为 20。图 3 为粒子群优化算法对 SVM 分类器进行参数优化的适应度曲线，其中平均适应度为所有粒子在每一代中平均的适应度值，最佳适应度曲线为粒子群中所有粒子在每一代中的最大适应度值。从图 3 中可以看到，适应度曲线在前 20 个进化周期内收敛较快，随后逐渐趋于平缓，实现了参数的寻优。
图3
粒子群优化参数的适应度曲线图
Figure3.
Fitness curves of PSO
3 结果与分析
3.1 三种特征参数识别结果
本文提取了音乐情感脑电的小波变换特征、近似熵和 Hurst 指数这三类特征量，不同的特征量情感识别效果可能不同。因此，仅用单一特征量进行情感识别，发现这三类特征识别效果有一定的差异。为降低偶然性的影响，本文从 8 种情感中随机抽取一种情感与其他 7 种情感识别，得到的识别结果如表 4 所示。
表4
三种特征参数情感识别结果（%）
Table4.
Emotion recognition results of the three kinds of features (%)
由表 4 数据可知，不同的特征量对情感识别效果有很大差异。随机抽取一种与其他 7 种情感进行识别，从数据集中的趋势来看，小波变换特征除个别情感识别结果外得到的识别效果是最好的，说明该特征与情感相关性较高，音乐情感脑电中信号的谱能量变化可能比较明显，因此，在综合所有指标中所占的权重应该是最大的；而近似熵和 Hurst 指数的分类准确率均值则相差不大。就与单个情感进行识别而言，这三类特征量分类效果差异较大。利用小波变换特征进行情感识别，分类准确率最大能达到 87.50%，最低仅有 50.00%，说明如果两种不同情感的谱能量分布情况相似，仅利用谱能量特征不能很好地将这两种情感区别开来。仅利用近似熵特征进行情感识别，得到的准确率最高为 68.75%，最低 37.75%，表明不同音乐情感脑电信号的复杂性差异并不是特别明显。同样地，对 Hurst 指数特征来说，分类结果和近似熵差不多。从表格横向数据比较可得，与同一种情感识别时，不同特征量得到的识别效果有一定差异。比如，第一行数据中，小波变换特征的识别率能达到 71.34%，近似熵特征有 43.75%，而 Hurst 指数特征仅有 37.50%；第六行数据中，Hurst 指数的识别率能达到 56.25%，近似熵为 68.75%，而小波变换仅有 50.00%，说明同一情感与两种不同情感识别时，相同的特征量识别效果也有可能差异很大。也就是说，同一特征量对不同情感脑电信号的特异性不同。因此，在进行不同情感识别时，同一特征量对不同情感的特异性大小不同，不同特征量对同一情感脑电的识别效果也有一定的差异。
研究表明，不同情感引起的脑电信号变化不同，所引起的某种节律波活跃程度也不同[25]。小波变换特征是从能量角度上对频域音乐情感脑电信号能量分布特性进行定量分析；θ、δ、β、α 四种节律波的近似熵特征，度量不同音乐情感所引起的节律波复杂性的变化；四种节律波的 Hurst 指数可以显现出不同情感节律波的非线性平稳性的变化。这三类特征量从不同角度揭示情感脑电的变化，但从表 4 可以看出，不同特征量与不同情感的相关性高低不同，如果仅将这些特征量组合在一起，得到的识别效果很差。因此，需对初步提取的特征量进行融合，将这些特征量融合成一个或几个总的指标量，这样可突出不同情感的相关脑电特征，提高情感的识别效果。
3.2 改进算法识别结果
改进算法基于 PCA，实现全方位特征融合。为降低偶然因素的影响，本文利用 3.1 中随机抽取的一种情感与其他 7 种情感进行分类识别，不同通道情感识别结果如表 5 所示。
表5
改进算法情感识别结果（%）
Table5.
Emotion recognition results of the improved algorithm (%)
由表 5 可知，从数据集中程度来看，随机抽取一种情感与其他 7 种情感识别时，分类准确率比单一特征量识别效果均有提高，且各个通道之间分类效果差异不大。由表中第一列数据可以看出，情感识别结果最低为 74.55%，最高能达到 95.98%，均比单一脑电特征量识别效果要好。然而，当识别两种情感时，不同区域脑电通道特征数据识别效果有所差异，可能是不同情感引起的脑电信号变化所在的关键脑区不同所引起的。从表中每列数据来看，情感分类结果绝大部分都在 80% 以上，最好的识别结果能达到 97.77%，而且通道准确率均值比单一特征量的效果有大幅度提升，说明融合指标比单一特征量能更好地体现不同音乐情感脑电的特异性。表 5 中的数据绝大部分的识别效果达到 80% 以上，与其他 7 种情感的分类准确率均值在 85% 左右，而且分类准确率较表 4 中的三种特征量单纯组合进行情感识别的结果提升了 20%～30%，表明特征融合后的指标的情感识别效果比特征量单纯组合在一起要好，算法改进后的特征量能体现出情感脑电信号的总体特性。
表 5 中每行数据表示所选通道算法改进后的特征量音乐情感识别结果，行与行之间的数据有所不同，可能也是因为不同情感脑电所在的关键脑区不同所致。但就某一行数据来看，分类结果相差不大，比如，FP2 通道情感识别结果均为 80%～90%，F7 通道分类结果均在 90% 以上，说明将一种情感与不同情感进行识别时，利用本文改进算法所提取的脑电特征量不仅能得到较好的分类准确率，而且对情感的识别有一定的普适性。
本文利用改进算法所提出的特征量进行 8 种情感两两分类，得出的通道分类准确率均值结果如表 6 所示。从表中数据可以看出，利用此算法特征量能够使得正负性情感分类正确率达到 85% 左右，正性情感之间识别结果在 78%～83% 之间，负性情感之间识别结果绝大部分在 80% 以上。说明这些特征量能够表征不同情感脑电信号的差异性，利用本方法可以将不同情感有效地识别出来。
表6
改进算法两两分类识别结果（%）
Table6.
Classification results of the improved algorithm for any two of the 8 emotions (%)
4 讨论
情感特征提取是情感识别的关键问题，针对这一问题，研究人员从不同角度做了大量工作，比如分别提取能量特征量、功率谱特征量、熵值等非线性参数以及统计特性量等，目的都是希望提取有效的情感特征，得到良好的情感识别效果。基于能量特征提取，如 Murugappan 等[26]提取了五种情感脑电 α 波能量、熵值以及均值方差特征量，得到的情感分类准确率为 79% 左右。基于非线性动力学参数，如 Wang 等[27]采用小波变换、近似熵、分形指数分析提取情感脑电特征，对比三种特征量分类效果，小波变换特征的情感分类准确率达到 77% 左右，近似熵特征量的情感分类结果为 65.12%，Hurst 指数分类准确率为 71.38%。从节律分析的角度，如 Heraz 等[28]利用四种节律的波幅特征量对八种情感进行分类，最优的分类结果达到 82.27%，最低分类准确率为 73.10%。该结果与本文小波变换特征量得出的结果类似，说明这四种节律能在一定程度上表现出相应的情感特征状态。以上这些研究成果中近似熵特征量分类结果与本文单一特征得出的结果接近，而 Hurst 指数特征量的分类结果高于本文单一特征所得结果，这与所要识别的情感类别有关。本文基于 PCA 改进算法，融合脑电信号的能量分布、节律波的复杂性和统计相关性三个不同角度的特征参数，更好地实现了情感分类，将单一特征量与融合指标分类结果对比，希望可以提取有效的音乐情感特征参数，为音乐情感特征提取与情感识别研究提供参考。
5 结论
本文采用多模态 DEAP 音乐情感数据库中的数据，提取出 8 种正负性音乐情感脑电信号，每种情感选择代表各脑区的 14 个通道数据。先用小波变换分解重构出 θ、δ、β、α 四种节律波，并计算出小波系数能量和小波熵值，其次提取出这四种节律波的近似熵值和 Husrt 指数，最后用单一类型的特征量进行情感识别，对比这三类特征量的音乐情感分类效果。结果显示，仅用单一类型的特征量进行音乐情感识别效果不好，并且不同类型音乐情感脑电信号的特异性不同。有的情感识别用近似熵特征的分类效果较好，有的情感识别用小波变换特征得到的分类结果较好，也就是说这三类特征量在不同的情感特征中所占比重不同，因此可以将这些特征量进行整合。
本文利用 PCA 将三类特征量整合成一个或几个综合指标代替原来的特征量进行情感识别，发现整合后的特征量分类准确率至少能提升 10%，并且 8 种情感两两识别分类准确率多在 80% 以上。说明这种方法不仅能得到较好的分类准确率，而且也体现出这种特征综合的方法对情感的识别有一定的普适性。
引言
音乐治疗是一个系统的干预过程，是治疗师利用音乐体验的各种形式，结合医疗手段，通过音乐来缓解某些疾病（如阿尔茨海默症、脑损伤等）的病情和解决一些特定的身心健康问题（如儿童心理障碍、自闭症、抑郁症等）[1]。在音乐治疗中，音乐对人的情感影响是巨大的，强调情感决定认知行为，并且情感能在不同程度上影响患者的感知、思维、记忆与决策，因此音乐情感识别结果直接影响着音乐治疗的效果。与外围生理信号相比，脑电（electroencephalogram，EEG）信号作为中枢神经生理信号[2]，不受人的主观控制，能够真实准确地体现人的情感状态变化，基于脑电的情感识别将为音乐治疗及其他相关领域研究提供帮助。
提取有效的脑电特征参数，是音乐情感状态识别的关键。Lin 等[3]利用短时傅里叶变换把时域脑电信号转换到频域内，将 δ、θ、α、β、γ 这五种频段的能量谱作为情感的脑电特征。Duan 等[4]提取脑电信号的微分熵特征用于情感识别，发现微分熵特征对于正、负情感识别具有较高的准确率。Petran tonakis 等[5]提取了 4 个通道的统计特征作为脑电特征对 6 种基本情感进行了分类。Murugappan 等[6]将小波变换 α 波能量、熵、均值方差作为情感脑电特征进行五种情感识别，达到 78.04% 的分类效果。李立[7]将提取出的情感脑电信号的样本熵特征、近似熵（approximate entropy，ApEn）、Lempel-Ziv（LZ）复杂度和 Hurst 指数特征用于情感识别。谢康[8]将五种脑电节律下的功率谱密度信息和脑网络属性特征作为音乐情感脑电特征进行情感识别。张迪[9]分析了情感脑电信号的频域功率谱能量特征和不对称特征，得到了 80.42% 的情感识别率。
本文首先提取音乐情感脑电的全方位特征参数，即四种节律波的近似熵、小波系数能量、小波熵（wavelet entropy，WE）和 Hurst 指数特征，其中近似熵测量情感脑电信号的复杂性，小波系数能量表征信号在各阶频段能量的分布情况，小波熵反映信号谱能量在各个空间分布的有无序程度，Hurst 指数衡量时间序列的统计相关性特征，这几种特征从不同的方面反映音乐情感脑电的特征变化。再基于主成分分析（principal component analysis，PCA），融合全方位特征，选取与情感状态高度相关的特征参数，实现情感识别。本文充分利用了不同特征量在音乐情感脑电有效特征中所占的权重不同，综合特征参数能够更有效地反映情感脑电的本质特征，降低冗余特征量，提高情感识别效果。
1 数据
采用 Koelstra 等[10]提出的分析人类情感状态的多模态数据库 DEAP。该数据库记录了 32 位健康受试者观看 40 个时长为 1 min 的不同音乐视频时的脑电信号和外周生理信号。受试者的平均年龄为 26.9 岁，男女各半，实验前被告知实验的各个细节。该实验记录的脑电信号采样频率为 512 Hz，脑电的采集使用 32 导 AgCl 电极，电极的分布根据国际通用的标准 10-20 系统，同时采集 8 个电极的外周生理信号，共 40 个通道。每位受试者每次实验信号采集过程如表 1 所示。
表1
信号采集过程表
Table1.
Signal acquisition procedure
本文所选的脑电信号实验数据是经过预处理（降采样，去除眼电等噪声，经过 4.0～45 Hz 的滤波等）的数据，采样频率为 128 Hz。每个受试者数据形式为 40×40×8 064，其中第一个 40 代表音频，第二个 40 代表脑电常用通道。按照国际标准 10-20 系统，分别提取前额区（FP1、FP2）、额区（F3、F4、F7、F8）、中央（C3、C4）、颞区（T7、T8）、顶区（P3、P4）和枕区（O1、O2）的通道数据。DEAP 数据库是应用“效价-唤醒度”二维度的情感模型，该情感模型依据效价将情感分为正、负两极，位于正极的称正性情感，通常带来愉悦感受，位于负极的称负性情感。本文选择 8 种常见的正负性情感：高兴、激动、欢乐、喜爱、憎恨、抑郁、难过、恐惧。所选的脑电信号数据都按时间随机截取长度为 8 s 的数据段，即 1 024 个数据点，则每个通道中每种情感有 32 个数据段，即 32 个样本。
2 方法
本文选取 DEAP 数据库中 8 种情感的 14 个通道数据，基于小波变换、近似熵、Hurst 指数这三种脑电信号分析方法提取出每种情感的脑电特征。小波变换是一种时频域脑电信号分析方法，近似熵是对脑电信号进行序列规律性和复杂性测度分析的非线性动力学方法，而 Hurst 指数则是从时间序列统计相关性方面对脑电信号进行非线性特性分析。本文所提出的改进算法从这三个不同特征提取角度出发，充分提取脑电特征信息并进行融合，算法流程如图 1 所示。
图1
算法流程图
Figure1.
The algorithm flowchart
首先，利用小波变换分解重构出情感脑电的 δ、θ、α、β 四种节律波，提取出小波系数能量和小波熵作为小波变换特征，表征情感脑电的能量分布情况。其次，基于近似熵提取出四种节律波的熵值，测量情感脑电的复杂性。同时，基于 R/S 分析方法求出四种节律波的 Hurst 指数，作为分形特征。然后基于 PCA 融合这三类特征参数，从而更有效地实现情感识别。
2.1 小波变换特征
小波变换[11-15]是一种典型的用于脑电信号分析的时频域分析方法。小波变换将信号分解成一系列小波函数的叠加，小波窗口大小随频率改变，在低频时，时间分辨率较低但频率分辨率较高；在高频时，时间分辨率较高但频率分辨率较低。由于小波变换的这种多分辨率特点，特别适合提取像脑电这样的非平稳信号局部特征。
本文选择四阶的 Daubechies 小波基函数将采样频率为 128 Hz 的信号 s（t）划分为不同频段的子带信号，经过 4 层离散小波变换分解后，可得：
|
式中，l 为分解层数，Al 为低频分量，Dj 为不同尺度下的细节分量，各分量所对应的子频带范围如表 2 所示。
表2
子带信号对应的不同频率范围
Table2.
Different frequency range of sub-band signals
对应的近似系数为 cAl，各层小波系数为 cDj，
，单一尺度下的小波能量是这个尺度下小波系数的平方和，记为 Ei，
，那么总的小波能量定义为：
|
相对小波能量定义为：
，
，根据香农熵理论和相对小波能量的定义，小波熵（We）的定义如下：
|
小波熵反映了对信号谱能量在各个空间分布的有序或无序程度的一种测度，能够对时频域上的能量分布特性进行定量描述[16]。本文利用小波分解重构出 θ、δ、β、α 四种节律波，并提取出 7 个小波系数能量特征 Ei 和 1 个小波熵 We 作为小波变换特征。
2.2 近似熵
近似熵[6, 16-17]是由 Pincus 在 1991 年提出来的，可以测量时间序列的复杂性和规律性的一种无需粗粒化的复杂性测度分析方法。其物理意义是当维数变化时时间序列中产生新模式的概率的大小，产生新模式的概率越大，序列越复杂，相应的近似熵也就越大。近似熵（ApEn）定义为：
|
式中，预先设定模式维数为 m 和相似性容限为 r。一般来说，此极限的极值存在且为 1。实际工作中 n 不可能为 ∞，因此，当 n 为有限值时可以对近似熵进行估算，即为：
|
式中 ApEn 的值与 m、r 的取值有关，Pincus 根据研究建议 m=2，r=0.1SD～0.25SD（SD 为信号序列的标准差），n 最好在 100～5 000 之间。近似熵值的大小与信号序列的复杂程度成正比，且利用较短的数据就可以得到比较稳定的估计值，可以很好地度量脑电序列的复杂性。
本文提取出音乐情感脑电 θ、δ、β、α 四种节律波的近似熵值作为度量脑电复杂性的特征。
2.3 Hurst 指数
Hurst 指数是一种衡量时间序列统计相关性的非线性指标，可用于脑电非线性特性的分析[18]。Hurst 指数的计算方法较多，其中最常用的是 R/S 分析方法（rescaled range analysis）[19]，它最初是由英国水文学家 Hurst 于 1965 年提出的，通常用来分析时间序列的分形特征和长程相关性，被用在各种时间序列的分析之中。R（m）为极差，S（m）为标准差，Hurst 认为 R（m）/S（m）与 k 之间存在着指数关系，即
|
其中 α 为系数，H 为 Hurst 指数。
对上式两边取对数，可得
，因此对
和
进行最小二乘法拟合求斜率，即可得到 Hurst 指数 H。
Hurst 指数是一种度量分形时间序列的平滑性、表征脑电信号非平稳行为的分析方法，能够较好地刻画脑电序列的非线性行为特征。本文提取出音乐情感脑电 θ、δ、β、α 四种节律波的 Hurst 值作为统计相关性的特征。
2.4 特征融合
（1）假设原始特征矩阵 M 为 n×p 数据集，其均值为
，则对原始特征矩阵进行去均值处理，得到矩阵
。
（2）求
的协方差矩阵 C，
。
（3）对协方差矩阵 C 进行特征根分解，得到特征根及其特征向量。
|
其中，
是协方差矩阵 C 的特征向量，特征根矩阵
为对角矩阵，特征根的大小表示新变量（主成分）方差的大小。
（4）求 PCA 的投影矩阵。每个主成分蕴含信息量的多少用对应特征根的大小来表示，其贡献率 CR 定义为
|
则前 k 个主成分的累积贡献率定义为：
|
根据累积贡献率的大小来确定主成分的投影矩阵 W，一般而言，保留累积贡献率大于 85% 的 m 个主成分，由于特征根向量 Λ 是由特征根大小顺序排列的，所以投影坐标系 W 为矩阵 U 的前 m 个特征向量，即
|
（5）根据投影矩阵 W 可以计算出原特征量 M 在新特征空间中的低维特征量
。
PCA 的目的在于压缩变量的个数，剔除冗余信息，使降维后的特征更好地反映信号的实用特征。本文利用 PCA 方法将提取的小波变换特征、四种节律波的近似熵值和 Hurst 指数共计 14 个特征量进行降维，保留累积贡献率大于 85% 的主成分，所得主成分的特征根和累积贡献率变化如图 2 所示。
图2
主成分的特征根和累积贡献率变化
Figure2.
Changes of the characteristic root and cumulative contribution rate of PCA
从图 2 的左图中可以看出，14 个特征量的累积贡献率均大于 85%，第一主成分的累积贡献率在 87% 左右，而第三主成分累积贡献率已经达到 100%。右图是对应主成分的特征根大小，从图中可以看出前三个主成分特征根的差异比较大，而后 11 个主成分的特征根差异不明显且值很小，接近于零。一般而言，方差矩阵的特征根差异较大时，对应的贡献率相对较大，特征区分度就相对较高。差异性较大的主成分对情感特征分类效果起决定性作用，因此，在保留累积贡献率在 85% 以上的主成分的基础上，选择方差矩阵的特征根差异性较大的主成分作为新的特征量。不同情感分类时最终特征量数目统计如表 3 所示。
表3
不同情感分类中最优特征量数量
Table3.
Number of the best features in different emotion
2.5 支持向量机分类
支持向量机（support vector machine，SVM）的目标是基于训练数据产出一个模型，用来预测只给出属性的测试数据的目标值。本文选择 SVM 分类模型为 C-support vector classification（C-SVC）类型。
C-SVC 分类模型算法[23-24]的基本原理：设给定的训练集
，
，寻找函数 h（X），利用决策函数
来推断出输入向量 X 相对应的输出 y 值。
本文选择高斯径向基核函数（Gaussian radial basis function，RBF）作为核函数，σ 是宽度参数。本文选用林智仁教授 2001 年开发的 LibSVM 分类器工具箱实现音乐脑电的分类。利用粒子群优化（particle swarm optimization，PSO）算法进行参数寻优，得到最佳的惩罚因子 c 和核函数参数 g。
本文惩罚因子 c 和核函数参数 g 的 PSO 搜索区间范围分别设为[0.1 100]和[0.01 1 000]，PSO 的最大进化代数设为 200；粒子群最大数量为 20。图 3 为粒子群优化算法对 SVM 分类器进行参数优化的适应度曲线，其中平均适应度为所有粒子在每一代中平均的适应度值，最佳适应度曲线为粒子群中所有粒子在每一代中的最大适应度值。从图 3 中可以看到，适应度曲线在前 20 个进化周期内收敛较快，随后逐渐趋于平缓，实现了参数的寻优。
图3
粒子群优化参数的适应度曲线图
Figure3.
Fitness curves of PSO
3 结果与分析
3.1 三种特征参数识别结果
本文提取了音乐情感脑电的小波变换特征、近似熵和 Hurst 指数这三类特征量，不同的特征量情感识别效果可能不同。因此，仅用单一特征量进行情感识别，发现这三类特征识别效果有一定的差异。为降低偶然性的影响，本文从 8 种情感中随机抽取一种情感与其他 7 种情感识别，得到的识别结果如表 4 所示。
表4
三种特征参数情感识别结果（%）
Table4.
Emotion recognition results of the three kinds of features (%)
由表 4 数据可知，不同的特征量对情感识别效果有很大差异。随机抽取一种与其他 7 种情感进行识别，从数据集中的趋势来看，小波变换特征除个别情感识别结果外得到的识别效果是最好的，说明该特征与情感相关性较高，音乐情感脑电中信号的谱能量变化可能比较明显，因此，在综合所有指标中所占的权重应该是最大的；而近似熵和 Hurst 指数的分类准确率均值则相差不大。就与单个情感进行识别而言，这三类特征量分类效果差异较大。利用小波变换特征进行情感识别，分类准确率最大能达到 87.50%，最低仅有 50.00%，说明如果两种不同情感的谱能量分布情况相似，仅利用谱能量特征不能很好地将这两种情感区别开来。仅利用近似熵特征进行情感识别，得到的准确率最高为 68.75%，最低 37.75%，表明不同音乐情感脑电信号的复杂性差异并不是特别明显。同样地，对 Hurst 指数特征来说，分类结果和近似熵差不多。从表格横向数据比较可得，与同一种情感识别时，不同特征量得到的识别效果有一定差异。比如，第一行数据中，小波变换特征的识别率能达到 71.34%，近似熵特征有 43.75%，而 Hurst 指数特征仅有 37.50%；第六行数据中，Hurst 指数的识别率能达到 56.25%，近似熵为 68.75%，而小波变换仅有 50.00%，说明同一情感与两种不同情感识别时，相同的特征量识别效果也有可能差异很大。也就是说，同一特征量对不同情感脑电信号的特异性不同。因此，在进行不同情感识别时，同一特征量对不同情感的特异性大小不同，不同特征量对同一情感脑电的识别效果也有一定的差异。
研究表明，不同情感引起的脑电信号变化不同，所引起的某种节律波活跃程度也不同[25]。小波变换特征是从能量角度上对频域音乐情感脑电信号能量分布特性进行定量分析；θ、δ、β、α 四种节律波的近似熵特征，度量不同音乐情感所引起的节律波复杂性的变化；四种节律波的 Hurst 指数可以显现出不同情感节律波的非线性平稳性的变化。这三类特征量从不同角度揭示情感脑电的变化，但从表 4 可以看出，不同特征量与不同情感的相关性高低不同，如果仅将这些特征量组合在一起，得到的识别效果很差。因此，需对初步提取的特征量进行融合，将这些特征量融合成一个或几个总的指标量，这样可突出不同情感的相关脑电特征，提高情感的识别效果。
3.2 改进算法识别结果
改进算法基于 PCA，实现全方位特征融合。为降低偶然因素的影响，本文利用 3.1 中随机抽取的一种情感与其他 7 种情感进行分类识别，不同通道情感识别结果如表 5 所示。
表5
改进算法情感识别结果（%）
Table5.
Emotion recognition results of the improved algorithm (%)
由表 5 可知，从数据集中程度来看，随机抽取一种情感与其他 7 种情感识别时，分类准确率比单一特征量识别效果均有提高，且各个通道之间分类效果差异不大。由表中第一列数据可以看出，情感识别结果最低为 74.55%，最高能达到 95.98%，均比单一脑电特征量识别效果要好。然而，当识别两种情感时，不同区域脑电通道特征数据识别效果有所差异，可能是不同情感引起的脑电信号变化所在的关键脑区不同所引起的。从表中每列数据来看，情感分类结果绝大部分都在 80% 以上，最好的识别结果能达到 97.77%，而且通道准确率均值比单一特征量的效果有大幅度提升，说明融合指标比单一特征量能更好地体现不同音乐情感脑电的特异性。表 5 中的数据绝大部分的识别效果达到 80% 以上，与其他 7 种情感的分类准确率均值在 85% 左右，而且分类准确率较表 4 中的三种特征量单纯组合进行情感识别的结果提升了 20%～30%，表明特征融合后的指标的情感识别效果比特征量单纯组合在一起要好，算法改进后的特征量能体现出情感脑电信号的总体特性。
表 5 中每行数据表示所选通道算法改进后的特征量音乐情感识别结果，行与行之间的数据有所不同，可能也是因为不同情感脑电所在的关键脑区不同所致。但就某一行数据来看，分类结果相差不大，比如，FP2 通道情感识别结果均为 80%～90%，F7 通道分类结果均在 90% 以上，说明将一种情感与不同情感进行识别时，利用本文改进算法所提取的脑电特征量不仅能得到较好的分类准确率，而且对情感的识别有一定的普适性。
本文利用改进算法所提出的特征量进行 8 种情感两两分类，得出的通道分类准确率均值结果如表 6 所示。从表中数据可以看出，利用此算法特征量能够使得正负性情感分类正确率达到 85% 左右，正性情感之间识别结果在 78%～83% 之间，负性情感之间识别结果绝大部分在 80% 以上。说明这些特征量能够表征不同情感脑电信号的差异性，利用本方法可以将不同情感有效地识别出来。
表6
改进算法两两分类识别结果（%）
Table6.
Classification results of the improved algorithm for any two of the 8 emotions (%)
4 讨论
情感特征提取是情感识别的关键问题，针对这一问题，研究人员从不同角度做了大量工作，比如分别提取能量特征量、功率谱特征量、熵值等非线性参数以及统计特性量等，目的都是希望提取有效的情感特征，得到良好的情感识别效果。基于能量特征提取，如 Murugappan 等[26]提取了五种情感脑电 α 波能量、熵值以及均值方差特征量，得到的情感分类准确率为 79% 左右。基于非线性动力学参数，如 Wang 等[27]采用小波变换、近似熵、分形指数分析提取情感脑电特征，对比三种特征量分类效果，小波变换特征的情感分类准确率达到 77% 左右，近似熵特征量的情感分类结果为 65.12%，Hurst 指数分类准确率为 71.38%。从节律分析的角度，如 Heraz 等[28]利用四种节律的波幅特征量对八种情感进行分类，最优的分类结果达到 82.27%，最低分类准确率为 73.10%。该结果与本文小波变换特征量得出的结果类似，说明这四种节律能在一定程度上表现出相应的情感特征状态。以上这些研究成果中近似熵特征量分类结果与本文单一特征得出的结果接近，而 Hurst 指数特征量的分类结果高于本文单一特征所得结果，这与所要识别的情感类别有关。本文基于 PCA 改进算法，融合脑电信号的能量分布、节律波的复杂性和统计相关性三个不同角度的特征参数，更好地实现了情感分类，将单一特征量与融合指标分类结果对比，希望可以提取有效的音乐情感特征参数，为音乐情感特征提取与情感识别研究提供参考。
5 结论
本文采用多模态 DEAP 音乐情感数据库中的数据，提取出 8 种正负性音乐情感脑电信号，每种情感选择代表各脑区的 14 个通道数据。先用小波变换分解重构出 θ、δ、β、α 四种节律波，并计算出小波系数能量和小波熵值，其次提取出这四种节律波的近似熵值和 Husrt 指数，最后用单一类型的特征量进行情感识别，对比这三类特征量的音乐情感分类效果。结果显示，仅用单一类型的特征量进行音乐情感识别效果不好，并且不同类型音乐情感脑电信号的特异性不同。有的情感识别用近似熵特征的分类效果较好，有的情感识别用小波变换特征得到的分类结果较好，也就是说这三类特征量在不同的情感特征中所占比重不同，因此可以将这些特征量进行整合。
本文利用 PCA 将三类特征量整合成一个或几个综合指标代替原来的特征量进行情感识别，发现整合后的特征量分类准确率至少能提升 10%，并且 8 种情感两两识别分类准确率多在 80% 以上。说明这种方法不仅能得到较好的分类准确率，而且也体现出这种特征综合的方法对情感的识别有一定的普适性。
