(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211079040.0 (22)申请日 2022.09.05 (71)申请人 咪咕动漫有限公司 地址 361000 福建省厦门市集美区集美大 道1133号 申请人 咪咕文化科技有限公司 　 中国移动通信集团有限公司 (72)发明人 胡良军　洪毅强　罗德海　王乐　 廖智勇　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 王径武 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 人脸网格获取方法、 装置、 设备及存 储介质 (57)摘要 本申请公开了一种人脸网格获取方法、 装 置、 设备及存储介质， 该方法包括步骤： 从视频流 中获取人脸图像， 并基于所述人脸图像在所述视 频流中的图像序列位置， 从所述人脸图像中获取 五官图像； 输入 所述人脸图像和所述五官图像至 人脸网格预测模型， 得到第一人脸网格； 所述人 脸网格预测模型是基于预设训练数据集对待训 练预测模型进行训练得到的。 申请人发现， 在人 脸存在动态表情时， 人脸中变化较大的是五官， 本申请提高了人脸网格预测模型对人脸图像中 五官所在区域的预测效果， 以提高人脸网格预测 模型预测人脸图像中五官所在区域的网格点的 准确性， 并进而提高人脸网格预测模 型预测得到 的人脸网格的准确性。 权利要求书2页 说明书10页 附图3页 CN 115497132 A 2022.12.20 CN 115497132 A 1.一种人脸网格获取 方法， 其特 征在于， 所述方法包括： 从视频流中获取人脸图像， 并基于所述人脸图像在所述视频流中的图像序列位置， 从 所述人脸图像中获取五官图像； 输入所述人脸图像和所述五官图像至人脸网格预测模型， 得到第一人脸网格； 所述人 脸网格预测模型 是基于预设训练数据集对待训练预测模型进行训练得到的。 2.如权利要求1所述的方法， 其特征在于， 所述基于所述人脸图像在所述视频流中的图 像序列位置， 从所述人脸图像中获取五官图像， 包括： 确定所述人脸图像是否为视频流中的首帧图像； 若是， 则输入所述人脸图像至人脸关键点检测模型； 基于所述人脸关键点检测模型输出的人脸关键点， 对所述人脸图像进行抠图， 得到五 官图像。 3.如权利要求2所述的方法， 其特征在于， 所述基于所述人脸关键点检测模型输出的人 脸关键点， 对所述人脸图像进行抠图， 得到五官图像， 包括： 基于所述人脸关键点检测模型输出的人脸关键点， 计算所述五官中的每一器官的人脸 关键点中心点； 基于所述人脸关键点中心点的坐标以及由所属器官的人脸关键点确定的边长， 确定所 述每一器官的区域范围； 从所述人脸图像中抠取 所述区域范围内的图像， 得到五官图像。 4.如权利要求2所述的方法， 其特征在于， 所述确定所述人脸图像是否为视频流中的首 帧图像之后， 包括： 若否， 则获取 所述视频流中所述人脸图像的上一帧的第二人脸网格； 从所述第二人脸网格中， 确定五官图像对应的网格点； 从所述人脸图像中抠取 所述网格点对应的图像， 得到五官图像。 5.如权利要求1所述的方法， 其特征在于， 所述人脸网格预测模型至少包括第 一人脸网 格预测子模型和 第二人脸网格预测子模型， 所述输入所述人脸图像和所述五官图像至人脸 网格预测模型， 得到第一人脸网格， 包括： 输入所述人脸图像至第 一人脸网格预测子模型， 并输入所述五官图像至第 二人脸网格 预测子模型； 对所述第一人脸网格预测子模型的输出和所述第二人脸网格预测子模型的输出进行 特征融合， 得到融合特 征向量； 对所述融合特 征向量与预设卷积核 进行卷积操作， 得到第一人脸网格。 6.如权利要求5所述的方法， 其特征在于， 所述输入所述五官图像至第 二人脸网格预测 子模型， 包括： 获取所述第二人脸网格预测子模型的输入尺寸； 基于所述输入尺寸对所述五官图像进行尺寸调整； 输入尺寸调整后的五官图像至所述第二人脸网格预测子模型。 7.如权利要求1所述的方法， 其特征在于， 所述输入所述人脸图像和所述五官图像至人 脸网格预测模型， 得到第一人脸网格之前， 包括： 获取待训练预测模型和预设训练数据集；权　利　要　求　书 1/2 页 2 CN 115497132 A 2将所述预设训练数据集输入所述待训练预测模型， 对所述预设训练数据进行分类， 得 到训练分类标签； 基于所述训练分类标签和所述预设训练数据对应的预设真实标签， 计算所述待训练预 测模型的梯度； 基于所述梯度， 确定所述待训练预测模型 是否满足预设迭代训练结束条件； 若满足， 则将所述待训练预测模型作为所述人脸网格预测模型； 若未满足， 则继续对所述待训练预测模型进行迭代训练， 直至所述待训练预测模型满 足预设迭代训练结束条件。 8.一种人脸网格获取装置， 其特 征在于， 所述装置包括： 第一获取模块， 用于从视频流中获取人脸图像， 并基于所述人脸图像在所述视频流中 的图像序列位置， 从所述人脸图像中获取五官图像； 第一输入模块， 用于输入所述人脸图像和所述五官图像至人脸网格预测模型， 得到第 一人脸网格； 所述人脸网格预测模型是基于预设训练数据集对待训练预测模型进 行训练得 到的。 9.一种人脸网格获取设备， 其特征在于， 所述人脸网格获取设备包括存储器、 处理器和 存储在所述存储器上并可在所述处理器上运行的人脸网格获取程序， 所述人脸网格获取程 序被所述处 理器执行时实现如权利要求1至7中任一项所述的人脸网格获取 方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有人脸网 格获取程序， 所述人脸网格获取程序被处理器执行时实现如权利要求 1至7中任一项 所述的 人脸网格获取 方法的步骤。权　利　要　求　书 2/2 页 3 CN 115497132 A 3