(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210275986.8 (22)申请日 2022.03.21 (71)申请人 华南理工大 学 地址 511458 广东省广州市南沙区环市大 道南路25号 华工大广州产研院 (72)发明人 吴远泸　沃焱　韩国强　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 冯炳辉 (51)Int.Cl. G06V 10/46(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于编解码网络的图像拼接伪造 定位方法 (57)摘要 本发明公开了一种基于编解码网络的图像 拼接伪造定位方法， 包括： 1)构建训练图像集； 2) 用训练图像集来训练构建的图像拼接伪造定位 网络， 并得到最优的图像拼接伪造定位网络的权 重参数； 3)应用图像拼接伪造定位网络和最优的 图像拼接伪造定位网络的权重参数对待测的输 入图像给出预测的伪造区域。 本发 明提出了篡改 痕迹注意网络MTA ‑Net从全局角度提取全局篡改 痕迹来辅助编解码定位网络L ‑Net实现精细的拼 接伪造区域定位， 从而克服了现有的基于编码 器‑解码器网络的方法受限于局部感受野的问 题。 本发明方法与其它拼接伪造区域定位方法相 比， 大幅提升了定位精度， 且对于诸如JPEG压缩、 增加噪声等图像后处 理方法有着较强的鲁棒 性。 权利要求书4页 说明书8页 附图3页 CN 114612693 A 2022.06.10 CN 114612693 A 1.基于编解码网络的图像拼接伪造 定位方法， 其特 征在于， 包括以下步骤： 1)构建训练图像集 获取大量的伪 造图像和其对应的像素级标签， 并对它们 进行切分得到同一尺寸的切分 图像和对应的像素级标签； 在切分过程中得到的切分图像可能不再包含伪造区域， 所以根 据切分得到的像素级标签对这些切分图像重新打上是否伪造的图像级标签， 最后 将这些切 分图像归纳为训练图像集； 2)用步骤1)中构建的训练图像集来训练构建的图像拼接伪 造定位网络， 并得到最优的 图像拼接伪造定位网络的权重参数； 其中所述的图像拼接伪造定位网络包括编解码定位网 络L‑Net、 篡改痕迹注 意网络MTA ‑Net和多个自适应多尺度融合模块AMSFM， 篡改痕迹注意网 络MTA‑Net用于从输入图像中提取全局篡改痕迹， 而多个自适应多尺度融合模块AMSFM用于 将MTA‑Net提取到的全局篡改痕迹与编解码 定位网络L ‑Net提取到的局部篡改痕迹相融合， 从而辅助编解码定位网络L ‑Net实现图像拼接伪造区域定位； 3)应用步骤2)中构建的图像拼接伪造定位网络和最优的图像拼接伪造定位网络的权 重参数对待测的输入图像给 出预测的伪造区域。 2.根据权利要求1所述的基于编 解码网络的图像拼接伪 造定位方法， 其特征在于， 在步 骤1)中， 对于获取到的大量的伪造图像和其对应的像素级标签， 将其 都切分为不重叠的H × W的切分图像和相对应尺寸大小的像素级 标签， 其中H和W分别为切分图像的长度和宽度； 在 切分过程中， 由于得到的切分图像可能不再包含伪造区域， 为此根据切分图像对应的像素 级标签来为其重新打上图像级 标签即该切分图像是否为拼接伪造图像； 将这些切分图像im ＝{im1,im2,...,imm}、 对应的像 素级标签p_label＝{p_label1,p_label2,...,p_labelm}和 图像级标签i_label＝{i_label1,i_label2,...,i_labelm}归纳起来就得到了训练图像集， 其中m为训练图像 集的总样本数量； 而imi、 p_labeli和i_labeli分别代表训练图像 集中第ith 张图像、 以及第ith张图像的像素级标签和图像级标签， i ＝1,2,...,m。 3.根据权利要求1所述的基于编 解码网络的图像拼接伪 造定位方法， 其特征在于， 所述 步骤2)包括以下步骤： 2.1)构建图像拼接伪造定位网络中的编解码定位网络L ‑Net， 该编解码定位网络L ‑Net 包含多个编码器网络块、 相对应的解码器网络块和最后的分类层， 其中各个编码器网络块 和解码器网络块都由多个卷积模块堆叠而成， 每个编码器网络块后都跟着一个最大池化 层， 而每个解码器网络块前都添加了一个上采样层， 最后的分类层由一个1 ×1的卷积层和 一个sigmoid层组成； 编解码 定位网络L ‑Net还引入了跳跃连接结构将各个编码器网络块输 出的特征直接送入到对应的解码器网络块中； 2.2)构建图像拼接伪造定位网络中的篡改痕迹注意网络MTA ‑Net， 该篡改痕迹注意网 络MTA‑Net由多个卷积块和一个最终的全连接层组成， 其中每个卷积块由多个卷积模块堆 叠而成， 卷积块后再跟随一个最大池化层； 不同于其它卷积块， 篡改痕迹注意网络MTA ‑Net 的第一个卷积块的第一层为内容去除卷积层CRCL； 内容去除卷积层CRCL用于去除输入图像 的内容信息， 从数 学表达上， 对于第ith张输入图像imi， CRCL表示 为： R＝imi‑f(imi)    (1) 式中， R表示内容去除卷积层CRCL的输出结果， 而f(*)为一个自适应的低通滤波器； 为 使f(*)为自适应的低通滤波器， 通过强制f(*)的权重参数在每一次更新的时候 都满足以下权　利　要　求　书 1/4 页 2 CN 114612693 A 2约束： 式中， Wfilter代表自适应的低通滤波器f(*)的权重参数， Wfilter有K个卷积核， Wfilterk则表 示Wfilter的第kth个卷积核， 而y和x代表该卷积核的二维坐标， 即Wfilterk(y,x)就代表Wfilter的 第kth个卷积核上y和x所指向的权 重参数； 2.3)构建图像拼接伪造定位网络中的自适应多尺度融合模块AMSFM， 该自适应多尺度 融合模块AMSFM用于融合图像拼接伪造定位网络中的编解码定位网络L ‑Net的编码器网络 块的输出特征和篡改痕迹注意网络MTA ‑Net对应层次的卷积块的输出特征， 并将该输出特 征作为编解码 定位网络L ‑Net下一个编码器网络块的输入； 对于编解码 定位网络L ‑Net的第 lth个编码器网络块的输出特征f_ Ll和篡改痕迹注意网络MTA ‑Net的第lth个卷积块的输出特 征f_MTAl， 第lth个自适应多尺度融合模块AMSFM表示 为： fl＝ReLU(Sl×F(f_Ll+f_MTAl)+Shortcut(f_Ll+f_MTAl))    (3) 式中， fl为自适应多尺度融合模块AMSFM的输出特征， ReLU为激活函数， F代表多分支卷 积模块， Shortcut为1 ×1的卷积层， 而Sl代表第lth个自适应多尺度融合模块学习到的自适 应缩放因子； 多分支卷积模块F包括三个分支， 其中第一个分支由一个1 ×1卷积层和一个3 ×3的空 洞卷积层组成， 第二个分支则由一个1 ×1卷积层、 一个3 ×3卷积层和一个3 ×3的空洞卷积 层组成， 第三个分支包 含一个1×1卷积层、 一个5 ×5的卷积层和一个3 ×3的空洞卷积层； 为了得到自适应缩放因子Sl， 先使用全局平均池化层对多分支卷积模块F输出的特征F (f_Ll+f_MTAl)沿着通道维度方向进行平均， 从而得到第lth个自适应多尺度融合模块的通 道描述子Zl， 其中第cth维通道的通道描述子Zlc表示为： 式中， F(f_Ll+f_MTAl)c代表多分支卷积模块F输出的特征第cth维通道的特征， Hl和Wl分 别为该特征的长度和宽度， y ′和x′为该特征的二维坐标， 即F(f_Ll+f_MTAl)c(y′,x′)代表多 分支卷积模块 F输出的特征中第cth维通道的特征的二维区域 上某个点的值； 接着， 使用全连 接层对得到的通道描述子Zl进行建模， 再通过sigmoid层即得到自适应缩放因子Sl， 它表示 为： Sl＝σ(ReLU(FC(Zl)))    (5) 式中， σ 代表sigmoid函数， ReLU为激活函数， FC则为全连接层； 2.4)建立训练图像拼接伪造定位网络所需的损失函数， 图像拼接伪造定位网络的损失 函数由LLNet和LMTA两部分组成； 对于训练图像集im＝{im1,im2,...,imm}、 对应的像素级标签 p_label＝{p_label1,p_label2,...,p_labelm}和图像级标签i_label＝{i_label1,i_ label2,...,i_labelm}， imi、 p_labeli和i_labeli分别代表训练图像集中第ith张图像、 以及 第ith张图像的像素级标签和图像级标签， i＝1,2,...,m， 每次随机选取N个样本用于训练， 损失函数LLNet表示为：权　利　要　求　书 2/4 页 3 CN 114612693 A 3