(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210211754.6 (22)申请日 2022.03.04 (71)申请人 西安交通大 学 地址 710049 陕西省西安市咸宁西路28号 申请人 同济大学 (72)发明人 王乐　冯雪璐　周三平　陈仕韬　 李建星　刘成菊　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 李鹏威 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/26(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于局部和全局上下文融合的显著性目标 检测方法及系统 (57)摘要 本发明公开了一种基于局部和全局上下文 融合的显著性目标检测方法及系统， 所述方法包 括以下步骤： 获取待显著性目标检测的RGB图片 并输入预训练好的显著性目标检测模 型， 获得显 著性目标检测结果； 其中， 所述显著性目标检测 模型包括： 特征提取网络， 用于获取多尺度特征； 拼接融合网络， 用于获得低层细 节特征和高层语 义特征； 局部上下文提取网络， 用于输出细腻的 局部上下文特征； 全局上下文提取网络， 用于输 出细腻的全局上下文特征； 融合输出网络， 用于 输出显著性目标检测结果。 本发 明能够有效地提 取局部和全局上下文信息， 能够提高复杂场景中 显著性检测的高效性和准确性。 权利要求书3页 说明书9页 附图3页 CN 114581747 A 2022.06.03 CN 114581747 A 1.一种基于局部和全局上下文融合的显著性目标检测方法， 其特征在于， 包括以下步 骤： 获取待显著性目标检测的RGB图片并输入预训练好的显著性目标检测模型， 获得显著 性目标检测结果； 其中， 所述显著性目标检测模型包括： 特征提取网络， 用于获取输入的RGB图片的多尺度特 征； 拼接融合网络， 用于将所述多尺度特征中的预设前几层特征融合， 获得低层细节特征； 用于将所述多尺度特 征中的预设后几层特 征融合， 获得高层语义特 征； 局部上下文提取网络， 用于 输入所述低层 细节特征， 输出细腻的局部上 下文特征； 全局上下文提取网络， 用于 输入所述高层语义特 征， 输出细腻的全局上 下文特征； 融合输出网络， 用于输入细腻的局部上下文特征和细腻的全局上下文特征并融合， 获 得上下文融合特 征； 基于所述上 下文融合特 征， 输出显著性目标检测结果。 2.根据权利要求1所述的一种基于局部和全局上下文融合的显著性目标检测方法， 其 特征在于， 所述局部上 下文提取网络包括： 低层特征融合网络， 用于输入所述低层细节特征， 进行通道数统一处理， 输出融合后的 低层细节特征； 局部特征细化网络， 用于输入所述融合后的低层细节特征， 进行细化处理， 输出细腻的 局部上下文特征； 其中， 所述局部特 征细化网络为自编码器。 3.根据权利要求2所述的一种基于局部和全局上下文融合的显著性目标检测方法， 其 特征在于， 所述局部特 征细化网络为U型自编码器； 所述U型自编码器中， 对每一层上采样解码增加短连接操作， 将下采样编码的特征与上 采样解码的特 征相结合， 用于弥补对特 征进行下采样操作造成的有限上 下文聚合。 4.根据权利要求1所述的一种基于局部和全局上下文融合的显著性目标检测方法， 其 特征在于， 所述全局上 下文提取网络具体包括： 高层特征融合网络， 用于输入所述高层语义特征， 进行通道数统一处理， 输出融合后的 高层语义特 征； 全局特征细化网络， 用于输入所述融合后的高层语义特征， 进行细化处理， 输出细腻的 全局上下文特征； 其中， 所述局部特 征细化网络为基于Transformer的自编码器。 5.根据权利要求4所述的一种基于局部和全局上下文融合的显著性目标检测方法， 其 特征在于， 所述全局特 征细化网络包括： 连续卷积操作和池化操作， 用于输入所述融合后的高层语义特征， 进行连续下采样编 码得到卷积神经网络编码后的语义特 征； Transformer编码器， 用于对卷积神经网络编码后的语义特征再编码， 输出 Transformer编码后的特 征； 基于卷积神经网络的解码器， 用于输入所述Transformer编码后的特征， 采用短连接的 上采样方式得到全局上 下文特征； 其中， 所述Transformer编码器的每层编码块均由Layer  Norm、 Multi ‑Head  Attention、 Dropout和多层感知机组成。 6.根据权利要求1所述的一种基于局部和全局上下文融合的显著性目标检测方法， 其权　利　要　求　书 1/3 页 2 CN 114581747 A 2特征在于， 所述预训练好的显著性目标检测模型的获取步骤 包括： 获取训练样本集； 其中， 所述训练样本集中的每个样本均包括RGB样本图片和对应的真 实显著性图像； 基于所述训练样本集对所述显著性目标检测模型进行训练， 损失函数值达到预设 收敛 条件后， 获得 所述预训练好的显著性目标检测模型； 其中， 所述损失函数值为每个样本的RGB样本图片的预测显著性图像与所述RGB样本图 片对应的真实显著 性图像之 间的损失函数值； 损失函数值采用三种不同的损失函数求和获 得， 三种损失函数依次为BC E损失、 SSIM损失和IOU损失。 7.根据权利要求6所述的一种基于局部和全局上下文融合的显著性目标检测方法， 其 特征在于， 所述基于所述训练样本集对所述显著性 目标检测模型进行训练时， 采用随机梯 度下降算法进行模型参数优化。 8.根据权利要求1所述的一种基于局部和全局上下文融合的显著性目标检测方法， 其 特征在于， 所述融合输出网络中， 输入细腻的局部上下文特征和细腻的全局上下文特征并 融合， 获得上下文融合特征； 基于所述上下文融合特征， 输出显著性目标检测结果的步骤具 体包括： 将细腻的局部上下文特征和细腻的全局上下文特征输入到一个卷积核为1的卷积层 中， 将通道数变换到与融合后的高层语义特征一致； 在通道维度拼接后， 输入到一个ReLU层 中， 获得加强的局部和全局上 下文特征； 将加强的局部和全局上下文特征在通道维度拼接后输入到一个ReLU层中得到上下文 融合特征； 将上下文融合特征输入到一个卷积核为1的卷积层中并对其进行Softmax操作， 得到通 道数为1的显著性图。 9.根据权利要求1所述的一种基于局部和全局上下文融合的显著性目标检测方法， 其 特征在于， 所述拼接融合网络中， 将所述多尺度特征中的预设前几层特征融合， 获得低层细 节特征； 将所述多尺度特 征中的预设后几层特 征融合， 获得高层语义特 征的步骤具体包括： 将所述多尺度 特征中的预设前几层特征在通道维度 上进行拼接实现融合， 获得低层细 节特征； 将所述多尺度 特征中的预设后几层特征在通道维度 上进行拼接实现融合， 获得高层语 义特征。 10.一种基于局部和全局上 下文融合的显著性目标检测系统， 其特 征在于， 包括： 检测模块， 用于获取待显著性目标检测的RGB图片并输入预训练好的显著性目标检测 模型， 获得显著性目标检测结果； 其中， 所述显著性目标检测模型包括： 特征提取网络， 用于获取输入的RGB图片的多尺度特 征； 拼接融合网络， 用于将所述多尺度特征中的预设前几层特征融合， 获得低层细节特征； 用于将所述多尺度特 征中的预设后几层特 征融合， 获得高层语义特 征； 局部上下文提取网络， 用于 输入所述低层 细节特征， 输出细腻的局部上 下文特征； 全局上下文提取网络， 用于 输入所述高层语义特 征， 输出细腻的全局上 下文特征； 融合输出网络， 用于输入细腻的局部上下文特征和细腻的全局上下文特征并融合， 获权　利　要　求　书 2/3 页 3 CN 114581747 A 3