一种基于Gabor和EOH特征的自动微表情识别方法

本发明提供一种自动表情识别方法，包括：步骤10)、捕获视频的帧图像中的人脸区域，并进行预处理；步骤20)、对相应人脸区域的图像提取Gabor特征和EOH特征；步骤30)、将相应特征进行融合，获取目标视频的最终表征；通过训练所得的分类器，获取每一帧视频图像的表情标签序列；步骤40)、对该表情标签序列进行扫描，判断表情的持续时间，根据获取的微表情，输出表情类别。

1.一种自动微表情识别方法，包括：步骤10)、捕获视频的帧图像中的人脸区域，并进行预处理；步骤20)、对相应人脸区域的图像提取Gabor特征和EOH特征；步骤30)、将相应特征进行融合，获取目标视频的最终表征；通过训练所得的分类器，获取每一帧视频图像的表情标签序列；步骤40)、对该表情标签序列进行扫描，判断表情的持续时间，根据获取的微表情，输出表情类别。
2.根据权利要求1所述的方法，其中，步骤10包括：捕获到的人脸图像将首先被转化为8位灰度图像；以二次线性插值方法将图像归一化至48×48像素大小。
3.根据权利要求1所述的方法，其中，步骤20包括：采用二维Gabor滤波器组对捕获到的人脸图像进行特征提取，以形成人脸表情的Gabor表征；二维Gabor滤波器是一组具有高斯包络的平面波，其Gabor核被定义为： Ψ u , v ( z ) = | | k u , v | | 2 σ 2 e ( - | | k u , v | | 2 | | z | | 2 / 2 σ 2 ) ( e i k u , v z - e - σ 2 / 2 ) . , ]]>其中 k u , v = k v e i φ u , ]]> k v = k max f v , ]]>K_max是最大频率，f是频域中Gabor核之间的间隔因子，φ_u∈[0，π)，z＝(x，y)表示位置，参数u和v分别代表控制Gabor滤波器的方向和尺度。
4.根据权利要求3所述的方法，其中，步骤20还包括：对图像进行边缘提取，在此使用Sobel算子进行边缘提取，其中图像在某点的梯度由相应方向的Sobel算子与图像的卷积获取，选择将捕获到的人脸缩放至24×24像素大小。
5.根据权利要求4所述的方法，其中，步骤20还包括：在完成Gabor与EOH特征提取后，将EOH特征与Gabor转化为一个列向量，并与Gabor特征联结，形成一个新的列向量，进行特征融合。
6.根据权利要求5所述的方法，其中，步骤30包括：采用Gentleboost作为分类器，并且采用互信息的方法来去除被选择到的弱分类器之间的信息冗余，以剔除无效的弱分类器；进一步，在每一轮选择时，选择剔除在训练集上具有最小加权平方误差且符合MI条件的弱分类器；更进一步，训练集中的样本将根据其样本权重进行过滤。
7.根据权利要求5所述的方法，其中，步骤30的训练步骤还包括：用PreAvgGentleboost_EOHfilter对Gabor和EOH的融合特征进行选择，选择SVM前馈型神经网络在经过特征选择而形成的新的表征上进行训练以形成分类器；其中，在PreAvgGentleboost_EOHfilter的训练完成后，将其选择出的弱分类器所采用的特征在去除冗余特征后重新连接起来，形成对人脸表情的新表征，SVM将在该新的表征上进行训练。
8.根据权利要求5所述的方法，其中，步骤30的训练步骤还包括：对于Gentleboost，在训练迭代中选择具有最小平均误差等级的弱分类器。
9.根据权利要求5所述的方法，其中，步骤10的预处理还包括对图像灰度均值归一化为0，而图像灰度的方差归一化为1。
10.根据权利要求1所述的方法，其中，步骤40包括：步骤410)、对视频中的每一帧图像进行识别，获得对该视频的表情标签；步骤420)、将对该表情标签输出进行扫描，以确认视频中表情变换的转折点；步骤430)、将获得的转折点和视频的帧率对表情的持续时间进行测量，根据微表情定义对微表情及其所属标签进行提取。
11.根据权利要求6、7或者8的方法，其中，步骤30的训练步骤还包括：在执行Gentleboost训练迭代前，对样本特征进行预过滤；使用Gentleboost算法在全部的训练样本上为每一特征训练一个弱分类器，该弱分类器在训练集上的错误率大于或等于预先设定的阈值，则将该弱分类器所对应的特征予以抛弃；将所有保留的特征予以联结，组成新的表征，形成新的训练集；对于Gabor和EOH混合特征，仅针对EOH特征进行过滤。