一种自动检测非手势模式的手势分割识别方法及系统

本发明公开了一种自动检测非手势模式的手势分割识别方法及系统，该方法包括：步骤1，基于摄像头和传感器采集的异构数据训练手势动作识别模型，利用所述手势动作识别模型构建阈值模型，手势动作识别模型和阈值模型构成手势分割模型；步骤2，利用所述手势分割模型从输入的连续动作序列中自动检测非手势模式；步骤3，利用所述非手势模式训练非手势动作识别模型；步骤4，基于非手势动作识别模型扩展手势分割模型，对输入的连续动作序列进行分割识别。本发明，使得手势分割识别系统能够更好的表征非手势模式，减少了将非手势模式误判为手势模式的概率，提高了手势分割算法的准确性。

1.一种自动检测非手势模式的手势分割识别方法，其特征在于，包括：步骤1，基于摄像头和传感器采集的异构数据训练手势动作识别模型，利用所述手势动作识别模型构建阈值模型，手势动作识别模型和阈值模型构成手势分割模型；步骤2，利用所述手势分割模型从输入的连续动作序列中自动检测非手势模式，其中所述步骤2包括步骤21，利用所述的手势分割模型从输入的连续动作序列中分割和识别出有效的手势模式，所述步骤21包括步骤201～步骤211：步骤201，通过摄像头和多个传感器检测手势动作，获得用于训练手势动作识别模型的第一样本数据，其中所述第一样本数据是记录某一手势动作的三维位置、三轴角速度、三轴加速度的数据序列；步骤202，结合所述摄像头和多个传感器的特性，对所述第一样本数据中的各个数据序列进行预处理，得到第二样本数据；步骤203，从所述第二样本数据中提取不受动作幅度和空间跨度影响的特征向量，其中所述特征向量融合了动作的位移方向、转动角度和加速度的特征，并利用所述特征向量训练手势动作识别模型；步骤204，设定初始时间t＝1，并将观测序列和手势栈置为空，同时将所述特征向量作为t时刻的观测值增添到观测序列中，对于采用的隐马尔科夫模型，数据序列统称为观测序列；步骤205，分别使用所有手势动作识别模型和阈值模型对t时刻的观测序列采用韦特比算法进行解码，分别得到所述观测序列的似然值；步骤206，找到所述似然值最大的第一手势动作识别模型；步骤207，判断所述第一手势动作识别模型的似然值是否高于阈值模型的似然值；若高于则将所述t时刻记为所述第一手势动作识别模型对应的手势模式的候选终点，并利用韦特比回馈算法找出该手势模式的起点，同时执行步骤208；否则执行步骤209；步骤208，将上述手势模式与手势栈栈顶缓存的手势模式进行对比，当两者相同时，返回步骤201采集下一时刻的第一样本数据，否则按下述情况进行判断和操作：当上述手势模式的起点在手势栈栈顶缓存的手势模式的第一个候选终点的前面，则弹出手势栈栈顶缓存的手势模式，并压入上述手势模式及其起点和候选终点，同时返回步骤201采集下一时刻的第一样本数据；当上述手势模式的起点在手势栈栈顶缓存的手势模式的第一个候选终点和最后一个候选终点之间，则弹出手势栈栈顶缓存的手势模式，并将上述手势模式的起点的前一时刻作为手势栈栈顶缓存的手势模式的终点，然后将上述手势模式及其起点和候选终点压栈，并执行步骤210；步骤209，弹出手势栈栈顶手势模式，并将t-1时刻设为该手势模式的终点，并利用韦特比回馈算法找出该手势模式的起点，然后执行步骤210；步骤210，对手势栈弹出的手势模式的长度进行判别，如若手势模式的长度满足约束条件，那么其是一个真手势模式，执行步骤211；否则返回步骤201采集下一时刻的第一样本数据，其中手势模式的长度记为其终点时刻和起点时刻之间的时间段长度；步骤211，根据相应的手势动作识别模型，对所述真手势模式在起点时刻和终点时刻之间的观测序列进行标记，同时返回步骤201采集下一时刻的动作数据；所述步骤2还包括步骤22与步骤23：所述步骤22，将所述手势模式的起点与前一个手势模式或非手势模式的终点之间的观测序列作为一个非手势模式从动作序列中检测出来；所述步骤23，计算所述手势模式的似然值，并对其进行判断：若似然值小于T_L，则判定当前的手势模式为伪手势模式，并将其作为一个非手势模式从动作序列中检测出来，否则判定当前的手势模式为一个真手势模式，对其进行分割识别，其中T_L是一个小于训练手势的最低似然值的似然值阈值；步骤3，利用所述非手势模式训练非手势动作识别模型；步骤4，基于非手势动作识别模型扩展手势分割模型，对输入的连续动作序列进行分割识别。
2.如权利要求1所述的手势分割识别方法，其特征在于，所述步骤3包括：步骤301，通过基于欧式距离的动态时间规整算法计算非手势模式间的相似度矩阵，再采用ISODATA算法对非手势模式集进行聚类；步骤302，对聚类后的每个非手势模式聚类训练一个非手势动作识别模型，其中非手势动作识别模型采用左右结构的隐马尔可夫模型。
3.如权利要求1所述的手势分割识别方法，其特征在于，所述步骤4包括：步骤401，判断所述第一手势动作识别模型的似然值是否同时高于阈值模型的似然值和所有非手势动作识别模型的似然值；若高于则将t时刻记为所述第一手势动作识别模型对应的手势模式的候选终点，并利用韦特比回馈算法找出该手势模式的起点，同时执行步骤402；否则执行步骤403；步骤402，将上述手势模式与手势栈栈顶缓存的手势模式进行对比，当两者相同时，返回步骤201采集下一时刻的第一样本数据，否则按下述情况进行判断和操作：当上述手势模式的起点在手势栈栈顶缓存的手势模式的第一个候选终点的前面，则弹出手势栈栈顶缓存的手势模式，并压入上述手势模式及其起点和候选终点，同时返回步骤201采集下一时刻的第一样本数据；当上述手势模式的起点在手势栈栈顶缓存的手势模式的第一个候选终点和最后一个候选终点之间，则弹出手势栈顶缓存的手势模式，并将上述手势模式的起点的前一时刻作为手势栈栈顶缓存的手势模式的终点，然后将上述手势模式及其起点和候选终点压栈，并执行步骤404；步骤403，弹出手势栈栈顶缓存的手势模式，并将t-1时刻作为该手势模式的终点，并利用韦特比回馈算法找出该手势模式的起点，然后执行步骤404；步骤404，对手势栈弹出的手势模式的长度进行判别，如若手势模式的长度满足约束条件，那么其是一个真手势模式，执行步骤405；否则返回步骤201采集下一时刻的第一样本数据，其中手势模式的长度记为其终点时刻和起点时刻之间的时间段长度；步骤405，根据相应的手势动作识别模型，对所述真手势模式的起点时刻和终点时刻之间的观测序列中进行标记，同时返回步骤201采集下一时刻的第一样本数据。
4.一种自动检测非手势模式的手势分割识别系统，其特征在于，包括：手势分割模型训练模块、非手势模式检测模块、非手势动作识别模型训练模块、分割识别模块所述手势分割模型训练模块，基于摄像头和传感器采集的异构数据训练手势动作识别模型，利用所述手势动作识别模型构建阈值模型，手势动作识别模型和阈值模型构成手势分割模型；所述非手势模式检测模块，利用所述手势分割模型从输入的连续动作序列中自动检测非手势模式，其中所述非手势模式检测模块包括手势模式检测模块、非手势模式截取模块、非手势模式判断模块；所述手势模式检测模块，利用所述的手势分割模型从输入的连续动作序列中分割和识别出有效的手势模式，所述手势模式检测模块包括样本数据获得模块、预处理模块、特征向量提取模块、观测序列增添模块、似然值计算模块、判断模块、对比模块、第一弹出模块、第一判别模块、第一标记模块：所述样本数据获得模块，通过摄像头和多个传感器检测手势动作，获得用于训练手势动作识别模型的第一样本数据，其中所述第一样本数据是记录某一手势动作的三维位置、三轴角速度、三轴加速度的数据序列；所述预处理模块，结合所述摄像头和多个传感器的特性，对所述第一样本数据中的各个数据序列进行预处理，得到第二样本数据；所述特征向量提取模块，用于从所述第二样本数据中提取不受动作幅度和空间跨度影响的特征向量，其中所述特征向量融合了动作的位移方向、转动角度和加速度的特征，利用所述特征向量训练手势动作识别模型；所述观测序列增添模块，设定初始时间t＝1，并将观测序列和手势栈置为空，同时将所述特征向量作为t时刻的观测值增添到观测序列中，对于采用的隐马尔科夫模型，数据序列统称为观测序列；所述似然值计算模块，分别使用所有手势动作识别模型和阈值模型对t时刻的观测序列采用韦特比算法进行解码，分别得到所述观测序列的似然值；所述判断模块，找到所述似然值最大的第一手势动作识别模型，判断所述手势动作识别模型的似然值是否高于阈值模型的似然值；若高于则将所述t时刻记为所述第一手势动作识别模型对应的手势模式的候选终点，并利用韦特比回馈算法找出该手势模式的起点，同时执行对比模块；否则执行第一弹出模块；所述对比模块，将上述手势模式与手势栈栈顶缓存的手势模式进行对比，当两者相同时，返回样本数据获得模块采集下一时刻的第一样本数据，否则按下述情况进行判断和操作：当上述手势模式的起点在手势栈栈顶缓存的手势模式的第一个候选终点的前面，则弹出手势栈栈顶缓存的手势模式，并压入上述手势模式及其起点和候选终点，同时返回样本数据获得模块采集下一时刻的第一样本数据；当上述手势模式的起点在手势栈栈顶缓存的手势模式的第一个候选终点和最后一个候选终点之间，则弹出手势栈栈顶缓存的手势模式，并将上述手势模式的起点的前一时刻作为手势栈栈顶缓存的手势模式的终点，同时将上述手势模式及其起点和候选终点压栈，然后执行第一判别模块；所述第一弹出模块，弹出手势栈栈顶手势模式，并将t-1时刻设为该手势模式的终点，并利用韦特比回馈算法找出该手势模式的起点，然后执行第一判别模块；所述第一判别模块，对手势栈弹出的手势模式的长度进行判别，如若手势模式的长度满足约束条件，那么其是一个真手势模式，执行第一标记模块；否则返回样本数据获得模块采集下一时刻的第一样本数据，其中手势模式的长度记为其终点时刻和起点时刻之间的时间段长度；所述第一标记模块，根据相应的手势动作识别模型，对所述真手势模式在起点时刻和终点时刻之间的观测序列进行标记，同时返回样本数据获得模块采集下一时刻的动作数据；所述非手势模式截取模块，将所述手势模式的起点与前一个动作模式的终点之间的观测序列作为一个非手势模式从动作序列中检测出来；所述非手势模式判断模块，计算所述手势模式的似然值，并对其进行判断：若似然值小于T_L，则判定当前的手势模式为伪手势模式，并将其作为一个非手势模式从动作序列中检测出来，否则判定当前的手势模式为一个真手势模式，对其进行分割识别，其中T_L是一个小于训练手势的最低似然值的似然值阈值；所述非手势动作识别模型训练模块，利用所述非手势模式训练非手势动作识别模型；所述分割识别模块，基于非手势动作识别模型扩展手势分割模型，以对输入的连续动作序列进行分割识别。
5.如权利要求4所述的手势分割识别系统，其特征在于，所述非手势动作识别模型训练模块包括：非手势模式聚类模块，通过基于欧式距离的动态时间规整算法计算非手势模式间的相似度矩阵，再采用ISODATA算法对非手势模式集进行聚类；训练模块，对聚类后的每个非手势模式聚类训练一个非手势模型，其中非手势模型采用左右结构的隐马尔可夫模型。
6.如权利要求4所述的手势分割识别系统，其特征在于，所述分割识别模块包括：手势模式判断模块，判断所述第一手势动作识别模型的似然值是否同时高于阈值模型的似然值和所有非手势动作识别模型的似然值；若高于则将t时刻记为所述第一手势动作识别模型对应的手势模式的候选终点，并利用韦特比回馈算法找出该手势模式的起点，同时执行对比判断模块；否则执行第二弹出模块；对比判断模块，将上述手势模式与手势栈栈顶缓存的手势模式进行对比，当两者相同时，返回样本数据获得模块采集下一时刻的第一样本数据，否则按下述情况进行判断和操作：当上述手势模式的起点在手势栈栈顶缓存的手势模式的第一个候选终点的前面，则弹出手势栈栈顶缓存的手势模式，并压入上述手势模式及其起点和候选终点，同时返回样本数据获得模块采集下一时刻的第一样本数据；当上述手势模式的起点在手势栈栈顶缓存的手势模式的第一个候选终点和最后一个候选终点之间，则弹出手势栈顶缓存的手势模式，并将上述手势模式的起点的前一时刻作为手势栈栈顶缓存的手势模式的终点，同时将上述手势模式及其起点和候选终点压栈，并执行第二判别模块；第二弹出模块，弹出手势栈栈顶缓存的手势模式，并将t-1时刻作为该手势模式的终点，并利用韦特比回馈算法找出该手势模式的起点，然后执行第二判别模块；第二判别模块，对手势栈弹出的手势模式的长度进行判别，如若手势模式的长度满足约束条件，那么其是一个真手势模式，执行第二标记模块；否则返回样本数据获得模块采集下一时刻的第一样本数据，其中手势模式的长度记为其终点时刻和起点时刻之间的时间段长度；第二标记模块，根据相应的手势动作识别模型，对所述真手势模式的起点时刻和终点时刻之间的观测序列中进行标记，同时返回样本数据获得模块采集下一时刻的第一样本数据。