您现在的位置: 首页 > 技术转让 > 基于深度传感器的在线视频分割后的处理方法及系统
基于深度传感器的在线视频分割后的处理方法及系统

基于深度传感器的在线视频分割后的处理方法及系统

  • 专利类型:发明专利
  • 有效期:不限
  • 发布日期:2021-07-15
  • 技术成熟度:详情咨询
交易价格: ¥面议
  • 法律状态核实
  • 签署交易协议
  • 代办官方过户
  • 交易成功

专利推荐

  • 技术(专利)类型 发明专利
  • 申请号/专利号 CN201210395366.4 
  • 技术(专利)名称 基于深度传感器的在线视频分割后的处理方法及系统 
  • 项目单位 中国科学院计算技术研究所
  • 发明人 黄美玉;陈益强;纪雯 
  • 行业类别 物理
  • 技术成熟度 详情咨询
  • 交易价格 ¥面议
  • 联系人 李志文
  • 发布时间 2021-07-15  
  • 01

    项目简介

    本发明公开了一种基于深度传感器的在线视频分割后的处理方法及系统,该方法包括:步骤1,深度传感器基于视频帧和其对应的深度图像提取特征,对所述特征进行视频帧前景、背景分割,得到二值图像;步骤2,对该二值分割图像中的前景孔洞进行检测和填充,得到前景孔洞填充后的二值图像;步骤3,对该前景孔洞填充后的二值图像进行边界优化,获取优化后的二值图像;步骤4,将该优化后的二值图像融合虚拟背景和所述视频帧,生成虚实融合图像。本发明解决了基于深度传感器的在线视频分割在深度非连续处容易出错和现有技术在准确度和实时性上存在顾此失彼的问题,提供了一种满足实时性要求的高质量的基于深度传感器的在线视频分割后处理方法和虚实融合系统。
    展开
  • 02

    说明书


    1.一种基于深度传感器的在线视频分割后的处理方法,其特征在于,包括:步骤1,深度传感器基于视频帧和其对应的深度图像提取特征,对所述特征进行视频帧前景、背景分割,得到二值图像;步骤2,对该二值图像中的前景孔洞进行检测和填充,得到前景孔洞填充的二值图像;步骤3,对该前景孔洞填充的二值图像进行边界优化,获取优化后的二值图像,其中所述步骤3包括:步骤301,获取所述前景孔洞填充的二值图像的前景、背景边界过渡区域;步骤302,计算所述边界过渡区域中每个像素的局部alpha值,其中alpha值用于反映前景和背景的合成情况,alpha值取0到1之间的连续值,alpha值越趋近于0表示像素与背景越相似,alpha值越趋近于1表示像素与前景越相似;步骤303,计算所述边界过渡区域中每个像素相对前两帧的运动概率;步骤304,以运动概率为权值,计算所述边界过渡区域每个像素的时序分割结果和局部alpha值的加权和,得到混合alpha值;步骤305,判断所述混合alpha值是否大于给定的阈值Tf,大于时,将所述前景孔洞填充的二值图像上对应位置的像素置为1,表示该像素为前景;否则将所述前景孔洞填充的二值图像上对应位置的像素置为0,表示该像素为背景;步骤306,得到边界优化后的二值图像;步骤4,根据该优化后的二值图像融合虚拟背景和所述视频帧,生成虚实融合图像。
    2.如权利要求1所述的在线视频分割后的处理方法,其特征在于,所述步骤2包括:步骤201,对所述二值图像进行轮廓检测,记轮廓个数为Num,初始化轮廓计数器n=1;步骤202,判断n是否小于等于所述轮廓个数Num,当n小于等于所述轮廓个数Num时,执行步骤203;否则执行步骤3;步骤203,对第n个轮廓的内部包含区域进行标记,并记该轮廓及其内部包含区域为一个孔洞;步骤204,统计所述孔洞的区域对应位置的非零深度像素的个数;步骤205,判断所述个数是否为零,非零时执行步骤206,否则执行步骤211;步骤206,计算孔洞轮廓边缘及其权重;步骤207,计算孔洞区域背景相似度及其权重;步骤208,对所述孔洞轮廓边缘及其权重、所述孔洞区域背景相似度及其权重进行加权计算,得到孔洞背景相似度;步骤209,判断所述孔洞背景相似度是否小于给定的阈值Tb,小于时,执行步骤210,否则执行步骤211;步骤210,在所述孔洞进行前景填充得到前景孔洞填充的二值图像;步骤211,对轮廓计数器n执行加一操作,并返回步骤202。
    3.如权利要求2所述的在线视频分割后的处理方法,其特征在于,所述步骤209中的阈值Tb为0.3。
    4.如权利要求1所述的在线视频分割后的处理方法,其特征在于,所述步骤305中阈值Tf为0.5。
    5.一种基于深度传感器的在线视频分割后的处理系统,其特征在于,包括:在线视频前、背景分割模块,基于视频帧和其对应的深度图像提取特征,对所述特征进行视频帧前景、背景分割得到二值图像;检查填充模块,用于对该二值图像中的前景孔洞进行检测和填充得到前景孔洞填充后的二值图像;优化处理模块,用于对该前景孔洞填充后的二值图像进行边界优化,获取优化后的二值图像,其中所述优化处理模块包括获取模块、第二计算模块、前、背景判断模块、二值图像获得模块:所述获取模块,用于获取所述前景孔洞填充的二值图像的前景、背景边界过渡区域;所述第二计算模块,用于计算所述边界过渡区域中每个像素的局部alpha值、所述边界过渡区域中每个像素相对前两帧的运动概率,并以运动概率为权值,计算所述边界过渡区域每个像素的时序分割结果和局部alpha值的加权和,得到混合alpha值,其中alpha值用于反映前景和背景的合成情况,alpha值取0到1之间的连续值,alpha值越趋近于0表示像素与背景越相似,alpha值越趋近于1表示像素与前景越相似;所述前、背景判断模块,用于判断所述混合alpha值是否大于给定的阈值Tf,大于时,将所述前景孔洞填充的二值图像上对应位置的像素值置为1,表示该像素为前景;否则将所述前景孔洞填充的二值图像上对应位置的像素值置为0,表示该像素为背景;所述二值图像获得模块,用于根据所述前景和背景得到边界优化后的二值图像;虚实融合模块,用于根据所述优化后的二值图像融合虚拟背景和所述视频帧,生成虚实融合合成视频。
    6.如权利要求5所述的在线视频分割后的处理系统,其特征在于,所述检查填充模块包括:轮廓检测模块,用于对所述二值图像进行轮廓检测,记轮廓个数为Num,初始化轮廓计数器n=1;第一判断模块,用于判断第n个轮廓的轮廓个数是否小于等于所述轮廓个数Num,当n小于等于所述轮廓个数Num时,执行孔洞标记模块,否则执行优化处理模块;孔洞标记模块,用于对所述第n个轮廓的内部包含区域进行标记,并记该轮廓及其内部包含区域为一个孔洞;统计模块,用于统计所述孔洞的区域对应位置的非零深度像素的个数;第二判断模块,用于判断个数是否为零,非零时执行第一计算模块,否则执行加一模块;所述第一计算模块,用于计算孔洞轮廓边缘及其权重、计算孔洞区域背景相似度及其权重,并利用所述孔洞轮廓边缘及其权重、所述孔洞区域背景相似度及其权重进行加权计算,得到孔洞背景相似度;第三判断模块,用于判断所述孔洞背景相似度是否小于给定的阈值Tb,若小于,则进入填充模块,否则进入加一模块;填充模块,对所述孔洞进行前景填充得到前景孔洞填充后的二值图像;加一模块,用于对轮廓计数器n执行加一操作,并返回第一判断模块。
    7.如权利要求6所述的在线视频分割后的处理系统,其特征在于,所述第三判断模块中的阈值Tb为0.3。
    8.如权利要求5所述的在线视频分割后的处理系统,其特征在于,所述前、背景判断模块中阈值Tf为0.5。
    展开

专利技术附图

< >

服务流程

过户资料

  • 买卖双方需提供资料
  • 平台提供
  • 过户后您将获得
  • 买家
  • 卖家
  • 公司
  • 企业营业执照
  • 企业营业执照

    专利注册证原件

  • 个人
  • 身份证

    个体户营业执照

  • 身份证

    专利注册证原件

  • 专利代理委托书

    转让申请书

    转让协议

  • 手续合格通知书

    专利证书

    专利利登记簿副本

安全保障

  • 品类齐全

    海量资源库,平台整合几十万闲置资源。
  • 交易保障

    完善的资金保障体系确保买卖双方资金安全。
  • 专人跟进

    专业交易顾问全程服跟进,确保交易流畅。
  • 快速响应

    专业在线/电话客服服务,快速响应贴心服务。
  • 售后无忧

    资质过硬,国内大知识产权服务平台。

在线客服

在线咨询

010-83278899

返回顶部