(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210229466.3 (22)申请日 2022.03.09 (71)申请人 华南理工大 学 地址 511458 广东省广州市南沙区环市大 道南路25号 华工大广州产研院 (72)发明人 姚其森　胡永健　刘琲贝　余翔宇　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 郑秋松 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/30(2017.01) G06T 5/10(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于多域块特征标志点配准的篡改视频检 测方法及系统 (57)摘要 本发明公开了一种基于多域块特征标志点 配准的篡改视频检测方法及系统， 该方法的步骤 包括： 提取各帧图像待检测区域； 构建特征提取 模块； 计算待检测区域的RGB图像空域特征和DCT 频谱； 提取多尺度空域和频域特征进行特征拼接 获得融合特征； 融合特征输入注 意力模块生成注 意力引导特征； 根据人脸标志点从注 意力引导特 征提取局部块特征和关键块特征； 计算块特征间 的相似度并拼接成相似度矩阵， 输出二分类预测 结果； 采用二分类标签、 帧图像局部篡改概率和 帧图像边缘梯度对网络训练进行监督； 利用训练 好的模型进行预测分类， 输出视频篡改检测结 果。 本发明利用人脸标志点对关键块特征的位置 进行配准， 提高了模型的泛化能力， 优化模型对 多个领域分类特 征的学习。 权利要求书3页 说明书12页 附图5页 CN 114693607 A 2022.07.01 CN 114693607 A 1.一种基于多域 块特征标志点配准的篡改视频检测方法， 其特 征在于， 包括下述 步骤： 将待测数据集视频分帧， 提取 各帧图像人脸区域作为待检测区域； 计算各帧图像待检测区域的RGB图像空域特 征和DCT频谱； 构建双支路卷积神经网络的特征提取模块， 所述特征提取模块包括空域特征提取分支 和频域特 征提取分支； 将图像待检测区域的RGB图像空域特征输入空域特征提取分支提取多尺度空域特征， 将图像待检测区域的D CT频谱输入自适应滤波器， 得到滤波后的特征， 将滤波后的特征通过 IDCT变换 得到特征FDCT； 将特征FDCT输入频域特征提取分支提取多尺度频域特征， 将多尺度空域特征和多尺度 频域特征沿通道维度进行 特征拼接得到融合特 征； 将融合特 征输入注意力模块， 生成注意力引导特 征； 提取各帧图像待检测区域的人脸标志点， 根据人脸标志点从注意力引导特征提取局部 块特征和关键块特 征； 计算局部块特征和关键块特征的相似度， 将计算结果拼接成相似度矩阵， 通过全连接 层输出二分类预测结果； 将注意力引导特征依次通过卷积层、 批归一化层和 ReLU激活函数， 输出视频帧图像边 缘梯度预测图； 分别采用二分类标签、 帧图像局部篡改概率、 帧图像边缘梯度对二分类预测结果、 相似 度矩阵、 图像边缘梯度预测图的训练进行监督， 计算损失函数并反向传播更新网络权重系 数， 保存训练后的网络模型和权 重； 基于训练后的双支路卷积神经网络进行特征提取和预测分类， 输出测试样本篡改检测 结果。 2.根据权利要求1所述的基于多域块特征标志点配准的篡改视频检测方法， 其特征在 于， 计算各帧图像待检测区域的RGB图像空域特 征和DCT频谱， 具体 计算步骤包括： 对各帧图像待检测区域使用 双线性插值方法统一调整图像大小， 并进行归一化， 得到 各帧图像 检测区域的空域特 征IRGB； 对各帧图像待检测区域进行DCT变换 得到DCT频谱。 3.根据权利要求1所述的基于多域块特征标志点配准的篡改视频检测方法， 其特征在 于， 所述空域特征提取分支和频域特征提取分支均采用EfficientNetB4作为基准网络， 选 择各自主干网络的block2、 block4以及最后一层特征图的输出[FRGB_low， FRGB_mid， FRGB_high]和 [FDCT_low， FDCT_mid， FDCT_high]作为多尺度空域特 征和多尺度频域特 征。 4.根据权利要求3所述的基于多域块特征标志点配准的篡改视频检测方法， 其特征在 于， 所述将多尺度 空域特征和多尺度频域特征沿通道维度进行特征拼接得到融合特征， 具 体步骤包括： 将三组相同尺度的特征FRGB_low和特征FDCT_low， 特征FRGB_mid和特征FDCT_mid， 特征FRGB_high和 特征FDCT_high分别进行矩阵加法运算得到特征Flow、 特征Fmid和特征Fhigh， 沿通道维度将特征 Flow、 特征Fmid和特征Fhigh进行拼接得到融合特 征。 5.根据权利要求1所述的基于多域块特征标志点配准的篡改视频检测方法， 其特征在 于， 所述自适应滤波器包括高通滤波器和带通滤波器， 所述高通滤波器包括固定高通滤波权　利　要　求　书 1/3 页 2 CN 114693607 A 2器和对应可 学习层， 所述带通滤波器包括固定带通滤波器和对应可 学习层； 所述固定高通滤波器滤去DCT频谱左上角横纵坐标之和小于设定第一阈值的低频频 带， 所述固定带通滤波器滤去左上角横纵坐标之和小于设定第二阈值的低频频带， 以及右 下角横纵坐标之和大于设定第三阈值的高频 频带； 经过训练获得 可学习层的权 重， 共同构成自适应滤波器。 6.根据权利要求1所述的基于多域块特征标志点配准的篡改视频检测方法， 其特征在 于， 所述将融合特 征输入注意力模块， 生成注意力引导特 征， 具体计算公式为： Freq＝co ncat([Freq0， Freq1， ...， Freqi]) 其中， A(Fconcat)表示融合特征Fconcat经过注意力模块后生成的注意力通道权重向量， 表示矩阵乘法， 和 分别表示 和C通道数的全连接层， σ1表示ReLU激活函数， σ2表示 Sigmoid激活函 数， Freqi表示特征DCT分量， H和W分别表示融合 特征的高度和宽度， xi表示所 选DCT频率分量横坐标， yi表示所选DCT频率分量纵坐标， concat表示特征频率分量沿通道 维度拼接， i表示融合特 征沿通道维度等分次数。 7.根据权利要求1所述的基于多域块特征标志点配准的篡改视频检测方法， 其特征在 于， 所述根据人脸标志点从注意力引导特 征提取局部块特 征和关键块特 征， 具体步骤 包括： 将注意力引导特 征沿宽和高等分为多个局部块特 征； 根据人脸标志点确定图像 中心点坐标， 包括嘴巴的中心点、 鼻子的中心点、 左眼中心点 和右眼中心点的坐标， 将图像中心点坐标做等比例变换， 得到嘴巴、 鼻子、 左眼和右眼对应 的特征中心点 坐标； 以嘴巴、 鼻子、 左眼和右眼对应的特征中心点坐标为中心， 设定边长值， 划分出关键块 特征， 并将关键块特 征变换为向量形式。 8.根据权利要求1所述的基于多域块特征标志点配准的篡改视频检测方法， 其特征在 于， 所述帧图像局部篡改概 率的计算 步骤包括： 获取帧图像检测区域掩膜， 掩膜中0表示非篡改区域， 1表示篡改区域， 根据每个块特征 的位置和 编号划分多个掩膜块区域， 计算每个掩膜块区域的均值作为该掩膜块区域的篡改 概率； 帧图像局部篡改概 率对图像边 缘梯度预测图的训练进行监 督， 具体步骤 包括： 计算每两条篡改概 率之间的相似度， 得到相似度矩阵的监 督标签， 具体表示 为： S(m， n)＝1 ‑(Pm‑Pn)2 其中， Pm和Pn表示编号为m、 n的块区域篡改概率， S(m， n)表示相似度矩阵Similarity的 监督标签S中， 坐标为(m， n)时的值； 计算相似度矩阵Similarity与监督标签之间的距离， 通过反向传播缩减损失， 更新网 络权重系数， 保存训练后的网络模型和权 重。 9.根据权利要求1所述的基于多域块特征标志点配准的篡改视频检测方法， 其特征在权　利　要　求　书 2/3 页 3 CN 114693607 A 3