语音和文本联合驱动的卡通人脸动画生成方法

本发明涉及一种语音和文本联合驱动的卡通人脸动画生成方法，包括建立语音视位映射库、文本分析、语音切分及语音合并、视位参数拼接步骤；本发明的优点在于：能够自定义音节一视位映射，从而实现各种具有夸张表情效果的唇型和脸形，最终合成卡通人脸动画；不需要大规模数据库进行训练；能够在文本的指导下，进行语音切分，提取音节时长信息，从而合成具有唇型和表情同步的人脸动画。

1、语音和文本联合驱动的卡通人脸动画生成方法，其特征在于， 包括如下步骤： 1)输入一段语音数据及其相应的文本，对所述输入文本进行文 本分析，提取所述输入文本中所有的有效发音音节，得到输入语音数 据中所包含的音节个数；并根据所述有效发音音节查找音节视位映射 库，得到输入语音数据中每个音节所对应的视位参数子序列； 所述音节视位映射库的建立过程如下： 选择发音标准饱满，面部表情丰富的演员朗读语料文本，该语料 文本对应的语音覆盖汉语所有的常用音节； 演员面部按照MPEG4动画网格固定运动捕捉设备的感光点，采用 运动捕捉设备采集演员的面部运动数据，并在同时进行语音录制，从 而得到同步录取的语音序列和视位参数序列，进行后期分割处理后， 得到所有常用音节与视位参数子序列一一对应的音节视位映射库； 所述的后期分割的过程是：用语音切分工具从语音序列中切分出 一个完整的音节，获得该音节的起止时间，根据所述起止时间，从视 位参数序列上分割出该音节对应的视位参数子序列；同理得出所有音 节所对应的视位参数子序列； 2)采用双阈值端点检测算法对输入的语音数据进行语音切分， 得到一系列语音段，该语音段个数多于步骤1)中得到的音节个数； 不断地将时长最短的语音段与其相邻语音段合并，直到语音段的数目 与步骤1)中得到的音节个数一致，将最终得到的各语音段的时长作 为各音节的时长信息；本步骤中，将时长最短的语音段与其相邻语音 段合并的方法如下：设定时间轴方向为从左到右，首先从所有语音段 中，找出时长最短的语音段，然后比较和该语音段左右相邻的两个语 音段的时长，选择时长较短的语音段与所述时长最短语音段合并为一 个语音段，合并过程中将两个语音段最左端的端点作为合并后语音段 的起始点，两个语音段最右端的端点作为合并后语音段的结束点； 3)根据步骤2)中获得的各音节的时长信息，将步骤1)中得到 的各音节的视位参数子序列拼接成整个输入语音的视位参数序列，将 该视位参数序列作为最后输出的连续的动画参数； 本步骤中，包括如下子步骤： 31)根据步骤2)获得的各音节的时长与音节视位映射库中的原 始音节的时长的比例，对步骤1)中得到的各音节的视位参数子序列 进行同比例缩放，然后将缩放后的各音节视位参数子序列按顺序拼接 成完整的视位参数序列； 32)采用三阶埃尔米特函数对步骤31)中得到的视位参数序列 进行平滑处理，得到最终的视位参数序列。