(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211188781.2 (22)申请日 2022.09.27 (71)申请人 度小满科技 （北京） 有限公司 地址 100085 北京市海淀区西北旺路10号 院西区4号楼6层6 06 (72)发明人 梁涛　杨青　 (74)专利代理 机构 北京知帆远景知识产权代理 有限公司 1 1890 专利代理师 刘岩磊 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/00(2022.01) G06V 40/40(2022.01) (54)发明名称 人脸伪造 检测方法、 装置及电子设备 (57)摘要 本申请提供了一种人脸伪造检测方法、 装置 及电子设备， 包括： 获取待检测人脸视频； 将待检 测人脸视频输入至人脸图像重建模 型， 以通过人 脸图像重建模 型对待检测人脸视频进行帧采样， 得到N个第一待检测人脸视频帧， 对N个第一待检 测人脸视频帧进行特征提取， 得到至少一个第一 初始特征， 根据至少一个第一真实人脸特征和至 少一个第一初始特征确定第一重建人脸图像特 征， 根据第一重建人脸图像特征， 得到N个第一重 建人脸图像， N为正整数； 根据N个第一待检测人 脸视频帧和N个第一重建人脸图像的差异检测待 检测人脸视频是否为伪造人脸视频； 其中， 人脸 图像重建模 型是通过真实人脸视频训练得到的。 以提高人脸伪造 检测的准确性。 权利要求书4页 说明书21页 附图15页 CN 115512416 A 2022.12.23 CN 115512416 A 1.一种人脸伪造检测方法， 其特 征在于， 包括： 获取待检测人脸视频； 将所述待检测人脸视频输入至人脸图像重建模型， 以通过所述人脸图像重建模型对所 述待检测人脸视频进行帧采样， 得到所述待检测人脸视频在当前分辨率下 的N个第一待检 测人脸视频帧， 对所述N个第一待检测人脸视频帧进行特征提取， 得到所述N个待检测人脸 视频帧的至少一个第一初始特征， 根据至少一个第一真实人脸特征和所述至少一个第一初 始特征确定第一重建人脸图像特征， 根据所述第一重 建人脸图像特征， 得到N个第一重 建人 脸图像， N 为正整数； 根据所述N个第一待检测人脸视频帧和所述N个第一重建人脸图像的差异检测所述待 检测人脸视频 是否为伪造人脸视频； 其中， 所述人脸图像重建模型 是通过真实人脸视频训练得到的。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述N个第一待检测人脸视频帧进 行特征提取， 得到所述 N个待检测人脸视频帧的至少一个第一初始特 征之前， 还 包括： 将所述N个第一待检测人脸视频帧中的每 个第一待检测人脸视频帧划分为多个区域； 擦除所述 N个第一待检测人脸视频帧中至少一个区域； 确定第一类型区域和第二类型区域， 所述第一类型区域是在所述N个第一待检测人脸 视频帧中均被擦除的同一区域， 所述第二类型区域是所述多个区域中除所述第一类型区域 以外的区域； 确定所述第一类型区域的位置编码； 将第二真实人脸特征和所述第 一类型区域的位置编码进行拼接， 得到所述第 一类型区 域的特征； 相应的， 所述对所述N个第一待检测人脸视频帧进行特征提取， 得到所述N个待检测人 脸视频帧的至少一个第一初始特 征， 包括： 对所述N个第一待检测人脸视频帧中的第二类型区域进行特征提取， 得到所述至少一 个第一初始特 征； 相应的， 所述根据至少一个第 一真实人脸特征和所述至少一个第 一初始特征确定第 一 重建人脸图像特 征， 包括： 根据所述第 一类型区域的特征、 所述至少一个第 一真实人脸特征和所述至少一个第 一 初始特征确定所述第一重建人脸图像特 征。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述第一类型区域的特征、 所述 至少一个第一真实人脸特征和所述至少一个第一初始特征确定所述第一重建人脸图像特 征， 包括： 针对所述至少一个第 一初始特征中的每个第 一初始特征， 确定所述至少一个第 一真实 人脸特征中每个第一真实人脸特征的权重， 根据所述每个第一真实人脸特征的权重对所述 每个第一真实人脸特征进行加权求和， 得到第二重建人脸图像特征， 将所述第一初始特征 和所述第二重建人脸图像特 征进行拼接， 得到第三重建人脸图像特 征； 根据所述第一类型区域的特征和所述至少一个第一初始特征分别对应的第三重建人 脸图像特 征确定所述第一重建人脸图像特 征。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述第 一类型区域的特征和所述权　利　要　求　书 1/4 页 2 CN 115512416 A 2至少一个第一初始特征分别对应的第三重建人脸图像特征确定所述第一重建人脸图像特 征， 包括： 对所述第一类型区域的特征和所述至少一个第一初始特征分别对应的第三重建人脸 图像特征进行组合， 得到所述第一重建人脸图像特 征。 5.根据权利要求3所述的方法， 其特征在于， 所述确定所述至少一个第 一真实人脸特征 中每个第一真实人脸特 征的权重， 包括： 计算所述第一初始特 征和所述每 个第一真实人脸特 征的相似度； 将所述第一初始特征和所述每个第一真实人脸特征的相似度转换为所述每个第一真 实人脸特 征的权重。 6.根据权利要求1 ‑5任一项所述的方法， 其特征在于， 所述根据所述N个第一待检测人 脸视频帧和所述N个第一重 建人脸图像的差异检测所述待检测人脸视频是否为伪造人脸视 频， 包括： 计算所述N个第 一待检测人脸视频帧中每个像素点的RGB值和所述N个第一重建人脸图 像中对应 像素点的RGB值的差值的平方； 根据所述N个第 一待检测人脸视频帧中每个像素点的RGB值和所述N个第一重建人脸图 像中对应 像素点的RGB值的差值的平方确定第一重建误差； 根据所述第一重建误差检测所述待检测人脸视频 是否为伪造人脸视频。 7.根据权利要求6所述的方法， 其特征在于， 所述根据所述N个第一待检测人脸视频帧 中每个像素点的RGB值和所述N个第一重 建人脸图像中对应像素点的RGB值的差值的平方确 定第一重建误差， 包括： 计算所述N个第 一待检测人脸视频帧中每个像素点的RGB值和所述N个第一重建人脸图 像中对应 像素点的RGB值的差值的平方之和， 得到所述第一重建误差 。 8.根据权利要求6所述的方法， 其特征在于， 所述根据所述第 一重建误差检测所述待检 测人脸视频 是否为伪造人脸视频， 包括： 若所述第一重建误差大于第一预设阈值， 则确定所述待检测人脸视频为伪造人脸视 频； 若所述第一重建误差小于或等于所述第 一预设阈值， 则确定所述待检测人脸视频不是 伪造人脸视频。 9.根据权利要求1 ‑5任一项所述的方法， 其特征在于， 所述根据所述N个第一待检测人 脸视频帧和所述N个第一重 建人脸图像的差异检测所述待检测人脸视频是否为伪造人脸视 频之前， 还 包括： 通过所述人脸图像重建模型将所述N个第一待检测人脸视频帧调整为M组第二待检测 人脸视频帧， 所述M组第二待检测人脸视频帧中每组第二待检测人脸视频帧包括N个第二待 检测人脸视频帧， 且所述每组第二待检测人脸视频帧与所述N个第一待检测人脸视频帧的 分辨率不同， M为 正整数； 针对所述每组第二待检测人脸视频帧， 通过所述人脸图像重建模型对该组第 二待检测 人脸视频帧进行特征提取， 得到该组第二待检测人脸视频帧的至少一个第二初始特征， 根 据所述至少一个第一真实人脸特征和所述至少一个第二初始特征确定第四重建人脸图像 特征， 根据所述第四重建人脸图像特 征确定N个第二重建人脸图像；权　利　要　求　书 2/4 页 3 CN 115512416 A 3