(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210236171.9 (22)申请日 2022.03.11 (71)申请人 安徽大学 地址 230601 安徽省合肥市经开区九龙路 111号 (72)发明人 涂铮铮　王洪顺　刘夫武　张瑞欣　 陈弘悦　王欣悦　钮洁　李成龙　 (74)专利代理 机构 南京华恒专利代理事务所 (普通合伙) 32335 专利代理师 宋方园 (51)Int.Cl. G06T 7/00(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 基于模态独有和共有特征提取的图像显著 目标检测方法 (57)摘要 本发明公开一种基于模态独有和共有特征 提取的图像显著目标检测方法， 通过模态共有特 征提取模块SFA来建模两种模态之间的强相关 性， 特征擦 除模块(FEB)来建模不同模态之间的 差异性； 本发 明充分利用多模态之间的相关性和 差异性， 从而使网络获得更强大的模态融合与信 息选择的能力； 通过特征解码实现各种信息的有 利交互， 本发 明的显著图的置信度高于其他先进 的方法。 权利要求书3页 说明书9页 附图4页 CN 114663371 A 2022.06.24 CN 114663371 A 1.一种基于模态独有和共有特征提取的图像显著目标检测方法， 其特征在于： 包括以 下步骤： 步骤S1、 使用双流特征编码器编码获得可见光图像和热红外图像的多级特征， 并将可 见光的骨干特 征标记为r1～r4， 热红外的骨干特 征标记为t1～t4； 步骤S2、 将 最深层特征r4和t4经过金字塔池化PPM处理得到具有全局感受野的全局特征 G， G＝PPM(r4,t4)； 步骤S3、 使用模态共有特征提取模 块SFA对r1～r4和t1～t4进行模态关联处理， 并基于注 意力将高层的语义信息传递到低层特征中， 从而得到具有多模态共有信息的共有区域特征 F， F包括F1～F4； 步骤S4、 使用特征擦除模 块FEB分别对r1～r4和t1～t4进行模态 差异性处理， 从而得到具 有各自模态独有信息的特 征R和T， R包括R1～R4和T包括T1～T4； 步骤S5、 在多模态解码器中， 先聚合差异性特征， 得到多模态下的差异性特征 然后使用注意力机制引导独有信息和共有信息进行相互优化 和融合， 得到 显著图S， S包括S1～S4， S4为最终显著图； 步骤S6、 通过损失函数监 督训练网络得到最终预测图。 2.根据权利要求1所述的基于模态独有和共有特征提取的图像显著目标检测方法： 其 特征在于： 所述步骤S1中的双流特征编码器采用Swin ‑Transformer结构， 特征图开始输入 到两层transformer中， 这两层transformer的核心一个是普通的window  attention， 另一 个是shift  window attention， 然后在 stage与stage之间使用pooling来降低要处理的数 据的尺寸， 每一个sta ge输出的通道数分别为128、 25 6、 512和1024。 3.根据权利要求1所述的基于模态独有和共有特征提取的图像显著目标检测方法： 其 特征在于： 所述 步骤S3中 高层的语义信息传递的具体方法为： 首先， 将两个模态的骨干特征分别均等化分成四份， 利用Si gmoid将高层 特征生成注意 力掩码， 分别作用于 两种模态的四份特 征， 如下： 其中Split()为Pytorch框架集成的函数， ConvBlock()是卷积、 归一化和Relu激活函 数集成的卷积块， σ 代 表激活函数， 代表高层特 征， Mask代 表由高层信息产生的权 重掩码； 然后， 根据c hannel‑wise乘法将Mask分别作用于fr和ft； 最后， 将f ′r和f′t进行通道合并， 并通过卷积核大小为3 ×3卷积块将对其特征上下文进 行细化， 最后得到融合有层级信息和上 下文信息的Fr和Ft； 其中， [*]是通道连接操作； 使用Fr、 Ft和G提炼共有区域特 征， 具体方法为，权　利　要　求　书 1/3 页 2 CN 114663371 A 2在Fr、 Ft上应用两个通道 注意力对每 个通道的权 重进行划分； F′r＝CA(Fr)＝Fr×σ(AvgPool(Fr)+MaxPool(Fr)) F′t＝CA(Ft)＝Ft×σ(AvgPool(Ft)+MaxPool(Ft)) 其中， CA()为通道注意力 函数， AvgPooling和Maxpooling分别表示平均池化和最大池 化； 然后利用输出通道为128的卷积块对G进行处理， 最后 与F′r和F′t进行融合实现共有区域 特征的提取； F＝F′r+F′t+ConvBlock(G) 最终得到四个层级的共有区域特 征Fk， 其中k＝1,2,3,4。 4.根据权利要求1所述的基于模态独有和共有特征提取的图像显著目标检测方法： 其 特征在于： 所述 步骤S4模态擦除模块的具体操作为： 首先， 使用余弦相似度在每一层计算各自的共有特 征和骨干特 征的相关性图； M(i,j)＝(F(i,j))T(wT×f),1≤i≤ H,1≤j≤W 其中(i,j)代表每个像素点的位置， f代表了骨干特征r或者骨干特征t， w反映f到F的空 间映射参数， H是 特征F(i,j)的长的像素 数， W是特征F(i,j)的宽的像素 数； 然后， 在相关性图M上采用滑动窗口的方式生成一个二进制掩码用于擦除操作， 将其定 义为 最后， 利用二进制掩码 对共有特征F进行擦除， 得到具有模态独有信息的特 征R和T； 5.根据权利要求1所述的基于模态独有和共有特征提取的图像显著目标检测方法： 其 特征在于： 所述 步骤S5聚合差异性特 征的具体操作为： 将模态独有信息R和T进行通道合并， 并使用输出通道为128的卷积块对聚合后的特有 信息进行细化， 得到多模态下差异性特 征， 6.根据权利要求1所述的基于模态独有和共有特征提取的图像显著目标检测方法： 其 特征在于： 所述 步骤S5中使用注意力机制的具体方法为： 对于高层特征 首先将低分辨率的高层特征上采样成与该层特征尺寸相同的大小， 然 后使用输出通道为128的卷积块将差异性特征 共有特征F和高层特征 修改成相同通道 数， 随后使用注意力机制自动获取聚合后特 征的每个通道数的重要性； 由于有四层特征， 得到四层预测的特征， 分别经过一个单通道的卷积层， 再利用 Sigmoid函数将分值约束到 0～1之间， 分别记为S1～S4， S4为最终显著图。 7.根据权利要求1所述的基于模态独有和共有特征提取的图像显著目标检测方法： 其 特征在于： 所述 步骤S6的详细内容 为： 给定显著图S＝{S(i)|i＝{1， ...， N}和真实数据 Y＝{Y(i)|i＝{1， ...， N}， 其中， N是显 著图的总像素 数； 二元交叉熵BC E损失函数为：权　利　要　求　书 2/3 页 3 CN 114663371 A 3