(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211327162.7 (22)申请日 2022.10.27 (71)申请人 科大讯飞股份有限公司 地址 230088 安徽省合肥市高新 开发区望 江西路666号 (72)发明人 杨硕　何山　殷兵　刘聪　周良　 胡金水　 (74)专利代理 机构 北京布瑞知识产权代理有限 公司 11505 专利代理师 尚文文 (51)Int.Cl. G06T 13/40(2011.01) G06T 17/00(2006.01) (54)发明名称 一种虚拟角色模型处理方法、 装置、 电子设 备及存储介质 (57)摘要 本申请提供一种虚拟角色模 型处理方法、 装 置、 电子设备及存储介质， 所述虚拟角色模型处 理方法， 在获得具有目标纹理的参考图像， 以及 虚拟角色三维模 型的二维图像后， 基于对参考图 像的纹理编码和对二维图像的结构编码， 获得参 考图像的目标纹理特征编码和二维图像的目标 结构特征编码， 保证了纹理特征和结构特征的精 确解耦， 从而确保后续在对所述目标结构特征编 码和目标纹理特征编码进行联合解码的过程中， 参考图像的目标纹理特征能够有效迁移至虚拟 角色三维模 型， 有效的保证了虚拟角色三维模型 的纹理真实性。 权利要求书3页 说明书14页 附图3页 CN 115393487 A 2022.11.25 CN 115393487 A 1.一种虚拟角色模型处 理方法， 其特 征在于， 包括： 获取具有目标纹 理的参考图像， 以及虚拟角色三维模型的二维图像； 对所述参考图像进行纹理特征编码， 获得所述参考图像的目标纹理特征编码； 以及， 对 所述二维图像进行 结构特征编码， 获得 所述二维图像的目标 结构特征编码； 对所述目标纹理特征编码和所述目标结构特征编码进行联合解码， 并根据解码结果获 得具有所述目标纹 理的虚拟角色三维模型。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述参考图像进行纹理特征编码， 获得所述参考图像的目标纹 理特征编码， 包括： 将所述参考图像输入预先训练 的纹理特征编码器， 以使所述纹理特征编码器对所述参 考图像进行纹 理特征编码， 获得 所述参考图像的目标纹 理特征编码。 3.根据权利要求2所述的方法， 其特征在于， 所述纹理特征编码器通过以下方式训练得 到： 将第一样本图像输入预设的包括纹理特征编码器和结构特征编码器的变分自编码器， 以使所述变分自编码器的纹理特征编码器和结构特征编码器对所述第一样本图像进行纹 理特征编 码和结构特征编 码， 并通过所述变分自编 码器的解码器对纹理特征编 码结果和结 构特征编码结果进行图像还原， 获得还原后的样本图像； 基于所述第 一样本图像的纹理特征和所述还原后的样本图像的纹理特征， 构建纹理感 知损失函数； 基于所述纹 理感知损失函数， 对所述纹 理特征编码器进行训练。 4.根据权利要求1所述的方法， 其特征在于， 所述对所述二维图像进行结构特征编码， 获得所述二维图像的目标 结构特征编码， 包括： 将所述二维图像输入预先训练 的结构特征编码器， 以使所述结构特征编码器对所述二 维图像进行 结构特征编码， 获得 所述二维图像的目标 结构特征编码。 5.根据权利要求4所述的方法， 其特征在于， 所述结构特征编码器通过以下方式训练得 到： 将第二样本图像输入预设的包括纹理特征编码器和结构特征编码器的变分自编码器， 以使所述变分自编码器的纹理特征编码器和结构特征编码器对所述第二样本图像进行纹 理特征编 码和结构特征编 码， 并通过所述变分自编 码器的解码器对纹理特征编 码结果和结 构特征编码结果进行图像还原， 获得还原后的样本图像； 基于所述第 二样本图像的结构特征和所述还原后的样本图像的结构特征， 构建结构差 异损失函数； 基于所述差异损失函数， 对所述结构特 征编码器进行训练。 6.根据权利要求1所述的方法， 其特征在于， 所述对所述目标纹理特征编码和所述目标 结构特征编码进行联合解码， 并根据解码结果获得具有所述目标纹理的虚拟角色三维模 型， 包括： 对所述目标纹理特征编码和所述目标结构特征编码进行联合解码， 获得具有目标纹理 的二维图像； 对所述具有目标纹理 的二维图像进行三维重建， 获得具有所述目标纹理 的虚拟角色三 维模型。权　利　要　求　书 1/3 页 2 CN 115393487 A 27.根据权利要求6所述的方法， 其特征在于， 所述对所述目标纹理特征编码和所述目标 结构特征编码进行 联合解码， 获得 具有目标纹 理的二维图像， 包括： 将所述目标纹理特征编码和所述目标结构特征编码进行融合处理， 获得融合特征编 码； 将所述融合特征编码输入预先训练 的融合特征解码器， 以使所述融合特征解码器对所 述融合特 征编码进行解码， 获得 具有所述目标纹 理的二维图像。 8.根据权利要求6所述的方法， 其特征在于， 所述虚拟角色三维模型的二维图像， 包括： 所述虚拟角色三维模型的多个视角的二维图像； 所述对所述目标纹理特征编码和所述目标结构特征编码进行联合解码， 获得具有目标 纹理的二维图像， 包括： 分别对所述虚拟角色三维模型的多个视角的二维图像的目标结构特征， 以及所述目标 纹理特征进行联合解码， 获得 具有目标纹 理的多个视角的二维图像。 9.根据权利要求8所述的方法， 其特征在于， 所述对所述具有目标纹理 的二维图像进行 三维重建， 获得 具有所述目标纹 理的虚拟角色三维模型， 包括： 从具有目标纹理 的多个视角的二维图像中， 确定所述虚拟角色三维模型的各个顶点的 颜色信息； 根据所述各个顶点的颜色信息， 对所述虚拟角色三维模型进行颜色填充， 获得具有所 述目标纹 理的虚拟角色三维模型。 10.根据权利要求9所述的方法， 其特征在于， 所述从具有目标纹理的多个视角的二维 图像中， 确定所述虚拟角色三维模型的各个顶点的颜色信息， 包括： 对于任一顶点， 获得具有目标纹理的各个视角的二维图像中该顶点的颜色信息， 将所 述具有目标纹理的各个视角的二维图像中该顶点的颜色信息的颜色信息平均值作为所述 虚拟角色三维模型中该顶点的颜色信息 。 11.根据权利要求9所述的方法， 其特征在于， 所述根据所述各个顶点的颜色信 息， 对所 述虚拟角色三维模型进行颜色填充， 获得 具有所述目标纹 理的虚拟角色三维模型， 包括： 确定所述虚拟角色三维模型处于第一姿态时， 各个顶点的顶点朝向； 对于任一顶点， 判断该顶点的顶点朝向是否在预设的视角范围内； 如果该顶点的顶点朝向在预设的视角范围内， 则将该顶点的颜色信息填充至该顶点； 通过不断调 整所述虚拟角色三维模型的姿态， 对各个姿态下的虚拟角色三维模型顶点 进行颜色填充， 直至 完成所述虚拟角色三维模型 所有顶点的顶点颜色填充。 12.一种虚拟角色模型处 理装置， 其特 征在于， 包括： 获取单元， 用于获取 具有目标纹 理的参考图像， 以及虚拟角色三维模型的二维图像； 编码单元， 用于对所述参考图像进行纹理特征编码， 获得所述参考图像的目标纹理特 征编码； 以及， 对所述二维图像进行结构特征编码， 获得所述二维图像的目标结构特征编 码； 解码单元， 用于对所述目标纹理特征编码和所述目标结构特征编码进行联合解码， 并 根据解码结果获得 具有所述目标纹 理的虚拟角色三维模型。 13.一种电子设备， 其特 征在于， 包括： 处理器；权　利　要　求　书 2/3 页 3 CN 115393487 A 3