(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211149912.6 (22)申请日 2022.09.21 (71)申请人 四川大学 地址 610065 四川省成 都市武侯区一环路 南一段24号 (72)发明人 梁刚　朱春宇　杨进　赵奎　许春　 杨鑫岩　陈良银　 (74)专利代理 机构 成都其高专利代理事务所 (特殊普通 合伙) 5124 4 专利代理师 贾波　贺立中 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/24(2022.01) G06V 10/52(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种改进的多尺度图像篡改区域定位模型 及方法 (57)摘要 本发明公开了一种改进的多尺度图像篡改 区域定位模型及方法， 为了解决现有技术的不 足， 通过特征采集模块利用级联的卷积神经网络 对输入的高频特征分量采集浅层篡改特征分量， 并将采集的最小尺度的浅层篡改特征分量送入 空洞卷积网络， 输出深层篡改特征分量； 将深层 篡改特征分量送入注意力机制融合模块， 分别计 算出通道注 意力权值图和空间注 意力权值图， 并 利用矩阵乘法分别与深层篡改特征分量在空间 和通道维度上进行权重分配后， 利用特征融合模 块进行特征融合输出得到融合篡改特征分量； 融 合篡改特征分量和浅层篡改特征分量通过三级 反卷积网络进行相同尺度的跨层融合， 以此逐步 重建出篡改区域定位效果图。 权利要求书3页 说明书13页 附图1页 CN 115471733 A 2022.12.13 CN 115471733 A 1.一种改进的多尺度图像篡改区域定位模型， 其特征在于： 包括用于实现多尺度篡改 特征采集的特征采集模块、 具有双分支结构的注 意力机制融合模块及跨层特征连接重 建模 块； 所述特征采集模块， 利用级联的卷积神经网络采集包含全局 篡改特征信 息且尺度不同 的浅层篡改特征分量， 并将采集的最小尺度的浅层篡改特征分量送入空洞卷积网络， 输出 得到深层篡改特 征分量； 所述注意力机制融合模块， 基于空间注意力机制和通道注意力机制相结合技术， 用于 抑制模型 结构对篡改区域语义内容的偏好， 最终输出融合篡改特 征分量； 所述跨层特征连接重建模块， 利用特征采集模块采集的浅层篡改特征分量和融合篡改 特征分量进行相同尺度的跨层融合， 逐步重建出篡改区域定位效果图。 2.根据权利要求1所述的一种改进的多尺度图像篡改区域定位模型， 其特征在于： 还包 括用于将经过归一化处理后的篡改图数据进 行高频特征分量提取的高通滤波层， 提取后的 高频特征分量将输送至特 征采集模块内做后续处 理。 3.根据权利要求1或2所述的一种改进的多尺度图像篡改区域定位模型， 其特征在于： 所述特征采集模块设置有三级 卷积神经网络和两级空洞卷积网络， 每一个卷积神经网络皆 设置有实现连续操作的卷积层、 平均池化层和激活函数； 每一个空洞卷积网络皆设置有实 现连续操作的空洞卷积层和激活函数。 4.根据权利要求1或2所述的一种改进的多尺度图像篡改区域定位模型， 其特征在于： 所述注意力机制融合模块设置有通道注意力机制模块、 空间注意力机制模块、 两个矩阵乘 法及特征融合模块， 所述通道注意力机制模块用于实现通道注意力权值图的计算， 所述空 间注意力机制模块用于实现空间注意力权值图的计算， 计算得到的通道注意力权值图和空 间注意力权值图利用矩阵乘法分别与深层篡改特征分量进行权重分配后再通过特征融合 模块进行 特征融合， 输出 得到篡改痕迹表达更加突出的融合篡改特 征分量。 5.根据权利要求1或2所述的一种改进的多尺度图像篡改区域定位模型， 其特征在于： 所述跨层特征连接重建模块设置有三级反卷积 网络及Sigmoid函数， 融合篡改特征分量和 浅层篡改特征分量通过三级反卷积网络进行相同尺度的跨层融合， 而后通过Sigmoid函数， 最终重建出篡改区域定位效果图。 6.一种改进的多尺度图像篡改区域定位方法， 其特征在于： 基于如权利要求1～5任一 项所述的一种改进的多尺度图像篡改区域定位模型实现， 包括 述步骤： 1)特征采集模块利用级联的卷积神经网络对输入的高频特征分量f0采集包含全局篡改 特征信息且尺度不同的浅层篡改特征分量， 并将采集的最小尺度的浅层篡改特征分量送入 空洞卷积网络， 输出 得到深层篡改特 征分量f5； 2)将深层篡改特征分量f5送入包含 通道注意力机制模块和空间注意力机制模块的注意 力机制融合模块， 分别计算出通道注意力权值图MC(f5)和空间注意力权值图MS(f5)， 并利用 矩阵乘法分别与深层篡改特征分量f5在空间和通道维度上进行权重分配后， 利用特征融合 模块进行 特征融合输出 得到篡改痕迹表达更加突出的融合篡改特 征分量f6； 3)融合篡改特征分量f6和浅层篡改特征分量通过三级反卷积网络进行相同尺度的跨层 融合， 以此 逐步重建出篡改区域定位效果图； 4)将篡改区域定位效果图与输入图像真实标注的篡改区域使用像素级的自适应权重权　利　要　求　书 1/3 页 2 CN 115471733 A 2的二元交叉熵损失函数计算 误差， 以指导整个网络朝最佳 方向进行参数优化。 7.根据权利要求6所述的一种改进的多尺度图像篡改区域定位方法， 其特征在于： 还包 括收集篡改图像数据集， 对篡改图像数据做归一化处理后使用高通滤波层过滤出尺度为w ×h×3高频特征分量f0， 其中， w代表宽度， h代表高度， 3代表高频特征 分量f0通道数； 在进行 归一化处理时， 通过下述公式实现： P ′v＝Pv÷255， 其中Pv代表原始像素值， P ’v代表归一化 处理后的像素值； 高通滤波层是一个由三个参数固定且尺寸大小为5 ×5卷积核组成的卷积 层。 8.根据权利要求6或7所述的一种改进的多尺度图像篡改区域定位方法， 其特征在于： 所述步骤1)包括下述具体步骤： 1.1)高频特征分量f0经过第一级卷积神经网络， 输出尺度为(w/2) ×(h/2)×16的浅层 篡改特征分量； 1.2)步骤1.1)所得的浅层篡改特征分量经第二级卷积神经网络， 输出尺度为(w/4) × (h/4)×32的浅层篡改特 征分量； 1.3)步骤1.2)所得浅层篡改特征分量经第三级卷积神经网络， 输出尺度为(w/8) ×(h/ 8)×64的浅层篡改特 征分量； 1.4)将步骤1.3)所得浅层篡改特征分量输入到第一级空洞卷积网络， 输出尺度为(w/ 8)×(h/8)×128的篡改特 征分量； 1.5)将步骤1.4)所得篡改特征分量输入到第二级空洞卷积网络， 输出尺度为(w/8) × (h/8)×64的深层篡改特 征分量f5。 9.根据权利要求6或7所述的一种改进的多尺度图像篡改区域定位方法， 其特征在于： 所述深层篡改特征分量f5在通道注意力机制模块进行通道注意力权值图MC(f5)计算时， 通 过下述公式实现： 其中， 和 分别代表 对深层篡改特征 分量f5进行全局平均池化和全 局最大池化操作后的结果； MLP( ·)表示具有隐藏层的多层感知机， 其由两个神经网络层组 成， 并且隐藏层中的激活函数为ReLU； σ( ·)表示Sigmoi d激活函数， Sigmoid激活函数的计 算公式如下 所示： x为输入变量， Sigmo id函数为计算结果； 所述深层篡改特征分量f5在空间注意力机制模块进行空间注意力权值图MS(f5)计算 时， 通过下述公式实现： MS(f5)＝σ(F7×7([AvgPc(f5)； MaxPc(f5)]))， 其中， F7×7(·)表示卷积核大小为7 ×7的卷积操作； AvgPc(·)表示对输入特征在通道 维度上进行全局平均池化， 全局平均池化的维度为1*w*h， 其中w代表输入特征的宽度， h代 表输入特征的高度； MaxPc(·)表示对输入特征在 通道维度上进行全局最大池化， 全局最大 池化的维度为1*w* h， 其中w代 表输入特 征的宽度， h代 表输入特 征的高度； 在特征融合模块进行 特征融合时， 通过 下述公式实现： 权　利　要　求　书 2/3 页 3 CN 115471733 A 3