(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211148240.7 (22)申请日 2022.09.20 (71)申请人 广州方硅信息技 术有限公司 地址 510000 广东省广州市番禺区南村镇 万博二路79号3108 (72)发明人 宫凯程　 (74)专利代理 机构 广州市律帆知识产权代理事 务所(普通 合伙) 44614 专利代理师 余永文 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/46(2022.01) G06V 10/77(2022.01) (54)发明名称 人脸关键点检测模型训练方法、 直播图像处 理方法及装置 (57)摘要 本申请涉及直播及图像处理技术领域， 提供 人脸关键点检测模型训练方法、 直播图像处理方 法、 装置、 设备和介质。 本申请能够兼顾人脸 关键 点检测的精度与效率。 包括： 根据数据集中每张 人脸图像上各人脸关键点的标注位置得到平均 位置， 确定数据集中人脸图像的主成分集合及获 取每张图像在各主成分的拟合系数， 将图像输入 待训练的人脸关键点检测模型， 通过第一空间变 换网络获得变换后人脸图像， 通过系数预测网络 获得其在各主成分的预测拟合系数， 根据预测拟 合系数、 各主成分和平均位置获得各人脸关键点 的预测位置， 通过第二空间变换网络获得人脸图 像上各人脸 关键点的预测位置， 根据表征拟合系 数一致性的第一损失及表征位置一致性的第二 损失训练该模型。 权利要求书2页 说明书13页 附图6页 CN 115457635 A 2022.12.09 CN 115457635 A 1.一种人脸关键点检测模型的训练方法， 其特 征在于， 所述方法包括： 根据人脸图像数据集中每张人脸图像上各人脸关键点的标注位置， 得到所述各人脸关 键点的平均位置； 基于主成分分析和标注位置， 确定所述人脸图像数据集中人脸图像的主成分集合， 获 取所述每张人脸图像在各主成分对应的拟合系数； 所述主成分集合中不同主成分分别对应 人脸的不同形态变化维度； 将所述人脸图像输入待训练 的人脸关键点检测模型， 以使所述待训练 的人脸关键点检 测模型通过第一空间变换网络根据所述人脸图像获得变换后人脸图像， 通过系数预测网络 根据所述变换后人脸图像获得在各主成分对应的预测拟合系数， 根据所述预测拟合系数以 及所述各主成分和平均位置获得所述变换后人脸图像上各人脸关键点的预测位置， 通过第 二空间变换网络根据所述变换后人脸图像上各人脸关键点的预测 位置获得所述人脸图像 上各人脸关键点的预测位置； 获取表征所述预测拟合系数与拟合系数的一致性的第 一模型损失， 获取表征所述各人 脸关键点的预测位置与标注位置的一 致性的第二模型损失； 根据所述第 一模型损失和第 二模型损失， 对所述待训练 的人脸关键点检测模型进行训 练。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述预测拟合系数以及所述各主 成分和平均位置获得 所述变换后人脸图像上 各人脸关键点的预测位置， 包括： 根据所述变换后人脸图像在各主成分对应的预测拟合系数与 所述各主成分， 得到所述 变换后人脸图像上 各人脸关键点的预测位置变化； 根据所述预测位置变化与 所述平均位置， 得到所述变换后人脸图像上各人脸关键点的 预测位置 。 3.根据权利要求1所述的方法， 其特征在于， 所述确定所述人脸图像数据集中人脸图像 的主成分集 合， 包括： 基于所述各人脸关键点的平均位置对所述每张人脸图像上各人脸关键点的标注位置 进行相似变换， 获取 所述每张人脸图像上 各人脸关键点的变换位置； 根据所述每张人脸图像上各人脸关键点的变换位置进行主成分分析， 得到所述主成分 集合。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述每张人脸图像上各人脸关键 点的变换位置进行主成分 分析， 得到所述主成分集 合， 包括： 对所述每张人脸图像上各人脸关键点的变换位置进行相对于人脸图像中心的归一化 处理， 得到所述每张人脸图像上 各人脸关键点的归一 化的变换位置； 根据所述每张人脸图像上各人脸关键点的归一化的变换位置进行主成分分析， 得到所 述主成分集 合。 5.根据权利要求4所述的方法， 其特征在于， 所述获取所述每张人脸图像在各主成分对 应的拟合系数， 包括： 利用所述每张人脸图像上各人脸关键点的归一化的变换位置拟合所述主成分集合， 得 到所述每张人脸图像在各主成分对应的拟合系数。 6.根据权利要求1至 5任一项所述的方法， 其特 征在于，权　利　要　求　书 1/2 页 2 CN 115457635 A 2所述获取表征所述预测拟合系数与拟合系数的一致性的第一模型损 失， 包括： 根据所 述预测拟合系数与拟合系数的差值， 得到第一模型损失； 所述获取表征所述各人脸关键点的预测位置与 标注位置的一致性的第 二模型损失， 包 括： 获取每一人脸关键点各自对应的预测位置与标注位置的差值， 基于所述每一人脸关键 点各自对应的预测位置与标注位置的差值得到差值均值， 根据所述差值均值得到第二模型 损失。 7.一种网络直 播的人脸图像处 理方法， 其特 征在于， 所述方法包括： 获取网络直 播中待处 理的人脸图像； 通过经训练的人脸关键点检测模型检测得到所述待处理 的人脸图像上各人脸关键点； 所述人脸关键点检测模型根据权利要求1至 6任一项所述的方法训练得到； 基于所述待处 理的人脸图像上 各人脸关键点， 对所述待处 理的人脸图像施加特效。 8.一种人脸关键点检测模型的训练装置， 其特 征在于， 所述装置包括： 位置获取模块， 用于根据人脸图像数据集中每张人脸图像上各人脸关键点的标注位 置， 得到所述各 人脸关键点的平均位置； 主成分分析模块， 用于基于主成分分析和标注位置， 确定所述人脸图像数据集中人脸 图像的主成分集合， 获取所述每张人脸图像在各主成分对应的拟合系 数； 所述主成分集合 中不同主成分 分别对应人脸的不同形态变化维度； 图像输入模块， 用于将所述人脸图像输入待训练的人脸关键点检测模型， 以使所述待 训练的人脸关键点检测模型通过第一空间变换网络根据所述人脸图像获得变换后人脸图 像， 通过系 数预测网络根据所述变换后人脸图像获得在各主成分对应的预测拟合系 数， 根 据所述预测拟合系数以及所述各主成分和平均位置获得所述变换后人脸图像上各人脸关 键点的预测位置， 通过第二空间变换网络根据所述变换后人脸图像上各人脸关键点的预测 位置获得 所述人脸图像上 各人脸关键点的预测位置； 损失获取模块， 用于获取表征所述预测拟合系数与拟合系数的一致性的第一模型损 失， 获取表征 所述各人脸关键点的预测位置与标注位置的一 致性的第二模型损失； 模型训练模块， 用于根据所述第一模型损 失和第二模型损 失， 对所述待训练的人脸关 键点检测模型进行训练。 9.一种网络直 播的人脸图像处 理装置， 其特 征在于， 所述装置包括： 图像获取模块， 用于获取网络直 播中待处 理的人脸图像； 关键点检测模块， 用于通过经训练 的人脸关键点检测模型检测得到所述待处理 的人脸 图像上各人脸关键点； 所述人脸关键点检测模型利用权利要求8所述的装置训练得到； 图像处理模块， 用于基于所述待处理的人脸图像上各人脸关键点， 对所述待处理的人 脸图像施加特效。 10.一种电子设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。 11.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115457635 A 3