(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111661862.5 (22)申请日 2021.12.3 0 (71)申请人 广州方硅信息技 术有限公司 地址 511442 广东省广州市番禺区南村镇 万博二路79号3108 (72)发明人 龙翔　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 代理人 彭祯奇 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/40(2022.01) G06V 10/24(2022.01) G06T 3/00(2006.01) G06T 5/00(2006.01)G06T 17/20(2006.01) G06T 19/20(2011.01) (54)发明名称 虚拟上妆方法、 装置、 设备和计算机可读存 储介质 (57)摘要 本申请提供了一种虚拟上妆方法、 装置、 设 备和计算机可读存储介质， 获取包含 人脸的目标 图像； 根据目标图像上确定人脸转动角和多个人 脸关键点； 其中， 人脸转动角是指人脸以正面标 准姿态为基准发生偏转时在水平方向上形成的 夹角； 基于人脸转动角对每一个人脸关键点进行 调整； 基于调整后的每个人脸关键点和妆容素材 对目标图像进行上妆。 该虚拟上妆 方法在人脸从 正面标准姿态发生转动时(即转变成侧脸时)， 基 于转动时产生的人脸转动角来对人脸关键点进 行调整(或校正)， 然后基于校正后的人脸 关键点 再进行上妆处理， 能有效避免妆容素材被拉伸。 并且还可以是妆容素材绘制在人脸精 准的位置， 进一步提高上妆效果。 权利要求书2页 说明书10页 附图5页 CN 114360017 A 2022.04.15 CN 114360017 A 1.一种虚拟上妆方法， 其特 征在于， 所述方法包括： 获取包含人脸的目标图像； 根据所述目标图像上确定人脸转动角和多个人脸关键点； 其中， 所述人脸转动角是指 人脸以正 面标准姿态为基准发生偏转时在水平方向上 形成的夹角； 基于所述人脸 转动角对每一个所述人脸关键点进行调整； 基于调整后的每 个人脸关键点和妆容素 材对所述目标图像进行 上妆。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述人脸转动角对每一个所述人 脸关键点进行调整， 包括： 根据所述目标图像确定人脸竖直中轴的起 点向量和终点向量； 根据所述 起点向量和所述终点向量计算人脸竖直中轴的向量差； 根据所述起点向量、 所述向量差和所述人脸转动角对每一个所述人脸关键点进行调 整。 3.根据权利要求2所述的方法， 其特征在于， 所述人脸关键点包括近侧人脸关键点， 所 述近侧人脸关键点是指人脸 发生偏转时靠近所述正面标准姿态的侧脸的人脸关键点； 所述 根据所述起点向量、 所述人脸竖直中轴向量差和所述人脸转动角对每一个所述人脸关键点 进行调整， 包括： 基于近侧关键点的数量 值对所述向量差进行 校正； 根据所述起点向量、 校正后的向量差、 每一个所述近侧人脸关键点和所述人脸转动角 计算每一个所述近侧人脸关键点的偏移向量； 根据每一个所述近侧人脸关键点和每一个所述近侧人脸关键点对应的偏移向量确定 各新的近侧人脸关键点； 将每一个所述近侧人脸关键点更新 为对应的新的近侧人脸关键点。 4.根据权利要求3所述的方法， 其特征在于， 所述人脸关键点包括远侧人脸关键点， 所 述远侧人脸关键点是指人脸 发生偏转时远离所述正面标准姿态的侧脸的人脸关键点； 所述 根据所述起点向量、 所述向量差和所述人脸转动角对每一个所述人脸关键点进行调整， 包 括： 根据所述起点向量、 校正后的向量差、 每一个所述远侧人脸关键点和所述人脸转动角 计算每一个所述远侧人脸关键点的偏移向量； 根据所述起点向量和每一个所述远侧人脸关键点的偏移向量来确定各新的远侧人脸 关键点； 将每一个所述远侧人脸关键点更新 为对应的新的远侧人脸关键点。 5.根据权利要求4所述的方法， 其特征在于， 所述根据所述起点向量、 校正后的向量差、 每一个所述近侧人脸关键点和所述人脸转动角计算每一个所述近侧人脸关键点的偏移向 量， 包括： 计算所述 起点向量和校正后向量差的向量之和， 记为第一向量； 基于每一个近侧人脸关键点确定每一个近侧人脸关键点向量； 计算所述第一向量和每一个近侧人脸关键点向量的向量差， 记为各第二向量； 根据第一预测向量系数、 所述人脸转动角和各所述第 二向量计算每一个所述近侧人脸 关键点的偏移向量。权　利　要　求　书 1/2 页 2 CN 114360017 A 26.根据权利要求5所述的方法， 其特征在于， 所述根据所述起点向量、 校正后的向量差、 每一个所述远侧人脸关键点和所述人脸转动角计算每一个所述远侧人脸关键点的偏移向 量， 包括： 基于每一个 远侧人脸关键点确定每一个 远侧人脸关键点向量； 计算每一个 远侧人脸关键点向量和所述第一向量的向量差， 记为各第三向量； 根据第二预测向量系数、 所述人脸 转动角和各 所述第三向量计算各第四向量； 计算所述校正后的向量差与 各所述第四向量的向量和， 记为每一个所述远侧人脸关键 点的偏移向量。 7.根据权利要求3 ‑6任一项所述的方法， 其特征在于， 基于调整后的每个人脸关键点和 妆容素材对所述目标图像进行 上妆， 包括： 当人脸关键点为远侧人脸关键点时， 根据调整前的每个人脸关键点绘制人脸掩膜模 板； 根据所述人脸淹没模板、 调整后的每个远侧人脸关键点和妆容素材对所述目标图像进 行上妆。 8.一种虚拟上妆 装置， 其特 征在于， 所述装置包括： 模板图像模块， 用于获取包 含人脸的目标图像； 关键点及转动角确定模块， 用于根据 所述目标图像上确定人脸转动角和多个人脸关键 点； 其中， 所述人脸转动角是指人脸以正面标准姿态为基准发生偏转时在水平方向上形成 的夹角； 关键点调整模块， 用于基于所述人脸 转动角对每一个所述人脸关键点进行调整； 上妆模块， 用于基于调整后的每 个人脸关键点和妆容素 材对所述目标图像进行 上妆。 9.一种终端设备， 其特 征在于， 包括： 存储器； 一个或多个处理器， 与所述存储器耦接； 一个或多个应用程序， 其中， 一个或多 个应用程序被存储在存储器中并被配置为由一个或多个处理器执行， 一个或多个应用程序 配置用于执 行如权利要求1 ‑7任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读取存储介质中存储有程序 代码， 所述 程序代码可被处 理器调用执 行如权利要求1 ‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114360017 A 3