您现在的位置: 首页 > 技术转让 > 基于异构数据融合的传感器协同手势识别方法及系统
基于异构数据融合的传感器协同手势识别方法及系统

基于异构数据融合的传感器协同手势识别方法及系统

  • 专利类型:发明专利
  • 有效期:不限
  • 发布日期:2021-07-15
  • 技术成熟度:详情咨询
交易价格: ¥面议
  • 法律状态核实
  • 签署交易协议
  • 代办官方过户
  • 交易成功

专利推荐

  • 技术(专利)类型 发明专利
  • 申请号/专利号 CN201210397255.7 
  • 技术(专利)名称 基于异构数据融合的传感器协同手势识别方法及系统 
  • 项目单位 中国科学院计算技术研究所
  • 发明人 陈益强;黄美玉;纪雯 
  • 行业类别 物理
  • 技术成熟度 详情咨询
  • 交易价格 ¥面议
  • 联系人 李志文
  • 发布时间 2021-07-15  
  • 01

    项目简介

    本发明公开了一种基于异构数据融合的传感器协同手势识别方法及系统,该方法包括:步骤1,基于摄像头和传感器采集的异构数据训练手势动作识别模型;步骤2,利用所述手势动作识别模型构建阈值模型;步骤3,基于所述手势动作识别模型和阈值模型对输入的连续动作序列进行分割识别。本发明克服了基于视觉的技术普遍对周围环境和位置有强烈依赖性和对翻转动作不敏感的问题,同时解决了基于传感器的手势识别中手势识别精度和效率不高,经常会出现错判和漏判的问题,提供了一种识别准确率高、鲁棒性强,手势动作识别可靠的手势识别方法及系统。
    展开
  • 02

    说明书


    1.一种基于异构数据融合的传感器协同手势识别方法,其特征在于,包括:步骤1,基于摄像头和传感器采集的异构数据训练手势动作识别模型;步骤2,利用所述手势动作识别模型构建阈值模型;步骤3,基于所述手势动作识别模型和阈值模型对输入的连续动作序列进行分割识别,其中所述步骤3包括:步骤301,设定初始时间t=1,并将观测序列和手势栈置为空,同时将所述手势动作识别模型的特征向量作为t时刻的观测值增添到观测序列中,对于隐马尔科夫模型,数据序列统称为观测序列;步骤302,分别使用所有手势动作识别模型和阈值模型对t时刻的观测序列采用韦特比算法进行解码,分别得到所述观测序列的似然值;步骤303,找到所述似然值最大的第一手势动作识别模型;步骤304,判断所述第一手势动作识别模型的似然值是否高于阈值模型的似然值;若高于则将所述t时刻记为所述第一手势动作识别模型对应的手势模式的候选终点,并利用韦特比回馈算法找出该手势模式的起点,同时执行步骤305;否则执行步骤306;步骤305,将所述手势模式与手势栈栈顶缓存的手势模式进行对比,当两者相同时,采集下一时刻的第一样本数据,否则按下述情况进行判断和操作:当上述手势模式的起点在手势栈栈顶缓存的手势模式的第一个候选终点的前面,则弹出手势栈栈顶缓存的手势模式,并压入上述手势模式及其候选终点,同时采集下一时刻的第一样本数据;当上述手势模式的起点在手势栈栈顶缓存的手势模式的第一个候选终点和最后一个候选终点之间,则弹出手势栈顶缓存的手势模式,并将上述手势模式的起点的t-1时刻作为手势栈栈顶缓存的手势模式的终点,同时将上述手势模式及其候选终点压栈,执行步骤307;步骤306,弹出手势栈栈顶手势模式,并将t-1时刻设为该手势模式的终点,并利用韦特比回馈算法找出该手势模式的起点,然后执行步骤307;步骤307,对手势栈弹出的手势模式的长度进行判别,如若手势模式的长度满足约束条件,那么其是一个真手势模式,执行步骤308;否则采集下一时刻的第一样本数据,其中手势模式的长度记为其终点时刻和起点时刻之间的时间段长度;步骤308,根据相应的手势动作识别模型,对所述真手势模式的起点时刻和终点时刻之间的观测序列中进行标记,同时采集下一时刻的动作数据。
    2.如权利要求1所述的基于异构数据融合的传感器协同手势识别方法,其特征在于,所述步骤1包括:步骤11,通过摄像头和多个传感器检测手势动作,获得用于训练手势动作识别模型的第一样本数据,其中所述第一样本数据是记录某一手势动作的三维位置、三轴角速度、三轴加速度的数据序列;步骤12,结合所述摄像头和多个传感器的特性,对所述第一样本数据中的各个数据序列进行预处理,得到第二样本数据;步骤13,从所述第二样本数据中提取不受动作幅度和空间跨度影响的特征向量,其中所述特征向量融合了动作的位移方向、转动角度和加速度的特征,并利用所述特征向量训练手势动作识别模型。
    3.如权利要求1所述的基于异构数据融合的传感器协同手势识别方法,其特征在于,所述手势动作识别模型为左-右结构的连续隐马尔科夫模型。
    4.如权利要求2所述的基于异构数据融合的传感器协同手势识别方法,其特征在于,所述步骤11中采用用户协同实现的分割方法以区分手势对应的数据序列。
    5.如权利要求2所述的基于异构数据融合的传感器协同手势识别方法,其特征在于,所述步骤12中的所诉预处理包括:空闲数据和异常数据剔除以及数据平滑滤波。
    6.如权利要求1所述的基于异构数据融合的传感器协同手势识别方法,其特征在于,所述步骤2中所述阈值模型是由系统中所有手势动作识别模型的隐状态完全连接的遍历结构的隐马尔可夫模型,且对于给定的一个手势动作识别模式,所述阈值模型的似然值都小于任意一个手势模式的手势动作识别模型的似然值。
    7.一种基于异构数据融合的多传感器协同手势识别系统,其特征在于,包括:手势动作识别模型训练模块,基于摄像头和传感器采集的异构数据训练手势动作识别模型;阈值模型构建模块,利用所述手势动作识别模型构建阈值模型;分割识别模块,基于所述手势动作识别模型和阈值模型对输入的连续动作序列进行分割识别,其中所述分割识别模块包括:所述分割识别模块包括:观测序列增添模块,设定初始时间t=1,并将观测序列和手势栈置为空,同时将所述手势动作识别模型的特征向量作为t时刻的观测值增添到观测序列中,对于隐马尔科夫模型,数据序列统称为观测序列;似然值计算模块,分别使用所有手势动作识别模型和阈值模型对t时刻的观测序列采用韦特比算法进行解码,分别得到所述观测序列的似然值;判断模块,找到所述似然值最大的第一手势动作识别模型,判断所述手势动作识别模型的似然值是否高于阈值模型的似然值;若高于则将所述t时刻记为所述第一手势动作识别模型对应的手势模式的候选终点,并利用韦特比回馈算法找出该手势模式的起点,同时执行对比模块;否则执行弹出模块;对比模块,将上述手势模式与手势栈栈顶缓存的手势模式进行对比,当两者相同时,返回样本数据获得模块采集下一时刻的第一样本数据,否则按下述情况进行判断和操作:当上述手势模式的起点在手势栈栈顶缓存的手势模式的第一个候选终点的前面,则弹出手势栈栈顶缓存的手势模式,并压入上述手势模式及其候选终点,并利用韦特比回馈算法找出该手势模式的起点,同时返回样本数据获得模块采集下一时刻的第一样本数据;当上述手势模式的起点在手势栈栈顶缓存的手势模式的第一个候选终点和最后一个候选终点之间,则弹出手势栈栈顶缓存的手势模式,并将上述手势模式的起点的t-1时刻作为手势栈栈顶缓存的手势模式的终点,同时将上述手势模式及其候选终点压栈,并利用韦特比回馈算法找出该手势模式的起点,并执行判别模块;弹出模块,用于弹出手势栈栈顶手势模式,并将t-1时刻设为该手势模式的终点,并利用韦特比回馈算法找出该手势模式的起点,并利用韦特比回馈算法找出该手势模式的起点,然后执行判别模块;判别模块,对手势栈弹出的手势模式的长度进行判别,如若手势模式的长度满足约束条件,那么其是一个真手势模式,执行标记模块;否则返回样本数据获得模块采集下一时刻的第一样本数据,其中手势模式的长度记为其终点时刻和起点时刻之间的时间段长度;标记模块,根据相应的手势动作识别模型,对所述真手势模式的起点时刻和终点时刻之间的观测序列中进行标记,同时返回样本数据获得模块采集下一时刻的动作数据。
    8.如权利要求7所述的多传感器协同手势识别系统,其特征在于,所述手势动作识别模型训练模块包括:样本数据获得模块,通过单目摄像头和多个传感器检测手势动作,获得用于训练手势动作识别模型的第一样本数据,其中所述第一样本数据是记录某一手势动作的三维位置、三轴角速度、三轴加速度的数据序列;预处理模块,结合所述单目摄像头和多个传感器的特性,对所述第一样本数据中的各个数据序列进行预处理,得到第二样本数据;特征向量提取模块,用于从所述第二样本数据中提取不受动作幅度和空间跨度影响的特征向量,其中所述特征向量融合了动作的位移方向、转动角度和加速度的特征,利用所述特征向量训练手势动作识别模型。
    展开

专利技术附图

< >

服务流程

过户资料

  • 买卖双方需提供资料
  • 平台提供
  • 过户后您将获得
  • 买家
  • 卖家
  • 公司
  • 企业营业执照
  • 企业营业执照

    专利注册证原件

  • 个人
  • 身份证

    个体户营业执照

  • 身份证

    专利注册证原件

  • 专利代理委托书

    转让申请书

    转让协议

  • 手续合格通知书

    专利证书

    专利利登记簿副本

安全保障

  • 品类齐全

    海量资源库,平台整合几十万闲置资源。
  • 交易保障

    完善的资金保障体系确保买卖双方资金安全。
  • 专人跟进

    专业交易顾问全程服跟进,确保交易流畅。
  • 快速响应

    专业在线/电话客服服务,快速响应贴心服务。
  • 售后无忧

    资质过硬,国内大知识产权服务平台。

在线客服

在线咨询

010-83278899

返回顶部