(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211272420.6 (22)申请日 2022.10.18 (71)申请人 兰州未来 新影文化科技 集团有限责 任公司 地址 730300 甘肃省兰州市兰州新区综合 保税区综合 服务楼B区121号 (72)发明人 杜华　王语堂　岳宗　赵朋飞　 (74)专利代理 机构 北京东方芊悦知识产权代理 事务所(普通 合伙) 11591 专利代理师 陈益奇 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/46(2022.01) G06V 40/16(2022.01) (54)发明名称 一种三维人脸模型自动生成方法 (57)摘要 本发明属于图像处理技术领域， 具体为一种 三维人脸模型自动生成方法， 其特征在于， 该三 维人脸模型自动生成方法的具体步骤为： 数据加 载处理、 基于计算机视觉的用户模型生成、 用户 模型网格重拓扑、 模型网格局部形状优化、 模型 网格融合拼接、 输出结果模型。 网格生成方法依 据人脸予以关键点确保2D映射准确； 网格变形和 平滑方法在合理变形的前提下使用户模型和标 准人脸模型在3D空间更接近， 使映射更准确； 重 拓扑模型网格局部形状优化， 利用原始网格信 息， 修正网格畸形情况， 提高模型的质量。 模型网 格融合拼接， 采用网格变形和 网格平滑方法， 使 得输出结果 即符合设计需求， 也保证模型的完整 性和高质量， 减少后期处 理工作。 权利要求书2页 说明书6页 附图1页 CN 115546409 A 2022.12.30 CN 115546409 A 1.一种三维人脸模型自动生成方法， 其特征在于， 该三维人脸模型自动生成方法的具 体步骤为： 数据加载处理， 针对两个类型的数据， 首先是加载用户人脸 图像Iusr， 其次是标准人脸 模型； 用户人脸图像Iusr指以人脸前面部为主要部分的图像， 在加载图像之后会对其进行语 义关键点的检测； 标准人脸模型是指带有脸部区域或除脸部区域以外其它人体部位的3D模型， 标准人脸 模型脸部区域在设计时进行划分， 根据标准人脸模型指定的脸部区域将人脸三维信息Mstd 和纹理信息Istd提取出来， 然后 将人脸正面区域的纹理信息投影到图像上， 得到标准人脸模 型投影图Istd_prj， 然后在标准人脸模型投影图Istd_prj中检测语义关键点Pkey_std； 基于计算机视觉的用户模型Musr生成， 针对单张用户图像并结合人脸 图像的语义关键 点Pkey_std自动生成用户模型Musr， 该用户模型Musr含有用户的纹理信息Istd和用户脸部形状 信息； 利用语义 关键点Pkey_std和人脸边缘信息优 化用户模型Musr， 人脸图像中每个语义关键点 均能在用户模型Musr中对应一个固定索引的三维顶点， 这些三维顶点称为用户模型三维关 键点Vkey； 用户模型网格重拓扑过程， 是将用户模型Musr的拓扑结构重构成标准人脸模型的拓扑 结构， 该过程利用纹理信息Istd和模型三维信息， 分别计算2D映射和3D映射， 得到重拓扑后 的用户人脸模型； 在计算映射的过程中加入边界约束， 将网格顶点与映射点连线， 计算连线与映射点法 平面夹角、 两点法向量夹角和连线长度， 为这三个数值设置阈值， 超 出范围则认定为边界之 外， 不作映射； 模型网格局部形状优化过程， 是对重拓扑后的用户人脸模型依据标准人脸模型网格表 面几何信息对存在畸形的网格进 行优化， 畸形是指网格出现尖锐、 分裂和重叠现象， 对重拓 扑后的标准人脸网格顶点， 将该点在原始标准人脸模型网格中的相邻点， 刚性配准到重拓 扑后的空间， 以找到当前点的修 正点； 网格优化完成之后， 需要对重拓扑后的用户人脸模型在纹理图像上的uv坐标进行更 新， 针对每个优化后的网格顶 点查找用户模 型Musr中多个最近点， 利用这些最近点的uv坐标 插值得到新的uv坐标， 并赋 给重拓扑后的用户人脸模型； 模型网格融合拼接过程， 是对已重拓扑部分的用户人脸模型与标准人脸模型进行融合 操作， 将带有用户人脸信息的重 拓扑模型融入标准人脸模型， 生成用户标准模型； 输出结果模型， 将用户标准模型输出。 2.根据权利要求1所述的一种三维人脸模型自动 生成方法， 其特征在于： 所述标准人脸 模型带有骨骼和蒙皮信息， 能够模拟人体动作和表情。 3.根据权利要求1所述的一种三维人脸模型自动 生成方法， 其特征在于： 所述用户脸部 形状信息包含脸部平均模型T、 形状参数alpha、 形状基S、 表情参数beta和表情基E， 用户模 型Musr三维信息的表达式为： Musr＝T+alpha*S+beta* E。 4.根据权利要求1所述的一种三维人脸模型自动生成方法， 其特征在于： 所述3D映射是权　利　要　求　书 1/2 页 2 CN 115546409 A 2利用刚性配准、 网格变形使用户人脸模型和标准人脸模型 的表面在空间中重合度更高， 从 而找到映射关系以达到重拓扑的目的， 配准和变形的方向是从标准人脸模 型到用户人脸模 型， 其中刚性配准能够 在不改变模型 形状的前提下保证两个模型在空间中重合度最大。 5.根据权利要求1所述的一种三维人脸模型自动 生成方法， 其特征在于： 利用人脸图像 的语义关键点Pkey_std和用户模型三维关键点Vkey的投影点Vkey_proj的误差构造问题求解模 型， 求解最优的姿态R、 形状参数alpha和表情参数beta； 上述公式中n表示参与优化的关键点数量， 当用户模型Musr初始姿态出现侧脸达到一定 阈值， 则被遮挡的关键点将不 参与优化， 所以n的数值 根据用户模型Musr初始姿态确定 。 6.根据权利要求1所述的一种三维人脸模型自动生成方法， 其特征在于： 所述2D映射是 利用用户模 型Musr的投影坐标、 用户人脸语义关键点Pkey和标准人脸模 型投影的语义关键点 Pkey_std， 在二维空间上对投影坐标进行仿射变换， 从而找到标准模型到用户模型Musr的初步 映射。 7.根据权利要求1所述的一种三维人脸模型自动 生成方法， 其特征在于： 所述网格变形 和网格平滑均能实现 网格融合， 网格平滑是对接缝处局部出现尖锐凸起或凹陷的情况进 行 平滑操作， 所述网格变形是利用已重拓扑部分的边缘点作为控制点， 对未重拓扑部分的模 型进行变形操作。权　利　要　求　书 2/2 页 3 CN 115546409 A 3