(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210910399.1 (22)申请日 2022.07.29 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 林相如　张伟　谭啸　韩钧宇　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 专利代理师 王达佐　马晓亚 (51)Int.Cl. G06V 10/46(2022.01) G06V 10/762(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06N 3/08(2006.01) (54)发明名称 显著性物体检测模型的训练方法、 装置以及 设备 (57)摘要 本公开提供了一种显著性物体检测模型的 训练方法、 装置以及设备， 涉及人工智 能技术领 域， 具体涉及图像处理、 计算机视觉和深度学习 等技术领域， 尤其涉及智慧城市、 智 能交通等场 景。 该方法的一具体实施方式包括： 获取样本图 像集中的样 本图像的至少两个层次的特征张量； 基于样本图像的至少两个层次的特征张量， 生成 样本图像的视觉对比度信息和样本图像集的视 觉对比度信息混杂集合； 基于样 本图像的视觉对 比度信息和样本图像集的视觉对比度信息混杂 集合， 生成视觉对比度融合信息； 基于视觉对比 度融合信息和样本图像的视觉对比度信息进行 训练， 得到显著性物体检测模型。 该实施方式能 够解决显著性物体检测模型学习中的视觉对比 度偏差问题。 权利要求书4页 说明书12页 附图7页 CN 115272705 A 2022.11.01 CN 115272705 A 1.一种显著性物体 检测模型的训练方法， 包括： 获取样本图像集中的样本图像的至少两个层次的特 征张量； 基于所述样本图像的至少两个层次的特征张量， 生成所述样本图像的视觉对比度信 息 和所述样本图像集的视 觉对比度信息混杂集 合； 基于所述样本图像的视觉对比度信 息和所述样本图像集的视觉对比度信 息混杂集合， 生成视觉对比度融合信息； 基于所述视觉对比度融合信 息和所述样本图像的视觉对比度信 息进行训练， 得到显著 性物体检测模型。 2.根据权利要求1所述的方法， 其中， 所述基于所述样本图像的至少两个层次的特征张 量， 生成所述样本图像的视觉对比度信息和所述样本图像集的视觉对比度信息混杂集合， 包括： 将所述样本图像的至少两个层次的特征张量输入至对比度 预训练网络， 得到所述样本 图像的视 觉对比度信息； 对所述样本图像的视觉对比度信 息进行聚类， 以及将聚类中心的视觉对比度信 息组合 成向量字典， 作为所述样本图像集的视 觉对比度信息混杂集 合。 3.根据权利要求2所述的方法， 其中， 所述将所述样本图像的至少两个层次的特征张量 输入至对比度预训练网络， 得到所述样本图像的视 觉对比度信息， 包括： 基于所述样本图像的至少两个层次的特征张量， 计算所述样本图像的至少两个层次的 特征对比度， 其中， 一个特 征张量对应一个特 征对比度； 合并所述样本图像的至少两个层次的特征对比度， 得到所述样本图像的视觉对比度信 息。 4.根据权利要求1所述的方法， 其中， 所述基于所述样本图像的至少两个层次的特征张 量， 生成所述样本图像的视觉对比度信息和所述样本图像集的视觉对比度信息混杂集合， 包括： 基于所述样本图像的至少两个层次的特征张量， 计算所述样本图像的至少两个层次的 特征对比度， 其中， 一个特 征张量对应一个特 征对比度； 将所述样本图像的至少两个层次的特征对比度对比融合， 得到所述样本图像的视觉对 比度信息； 分别对所述样本图像的至少两个层次的特征张量进行全局平均， 得到所述样本图像集 的至少两个层次的特 征张量； 分别对所述样本图像集的至少两个层次的特征张量进行聚类， 以及将聚类中心的特征 张量组合成至少两个层次的向量字典； 将所述至少两个层次的向量字典交叉拼接， 生成所述样本图像集的视觉对比度信 息混 杂集合。 5.根据权利要求1 ‑4中任一项所述的方法， 其中， 所述基于所述样本图像的视觉对比度 信息和所述样本图像集的视 觉对比度信息混杂集 合， 生成视 觉对比度融合信息， 包括： 将所述样本图像的视觉对比度信息与所述样本图像集的视觉对比度信息混杂集合进 行自注意力机制融合， 生成所述视 觉对比度融合信息 。 6.根据权利要求1 ‑5中任一项所述的方法， 其中， 所述基于所述视觉对比度融合信 息和权　利　要　求　书 1/4 页 2 CN 115272705 A 2所述样本图像的视 觉对比度信息进行训练， 得到 显著性物体 检测模型， 包括： 将所述视觉对比度融合信 息与所述样本图像的视觉对比度信 息进行拼接， 得到拼接对 比度信息； 将所述拼接对比度信 息输入至 融合卷积层进行显著性物体检测， 得到所述样本图像的 显著性物体预测图像； 基于所述样本图像的显著性物体标注图像与显著性物体预测图像的差异， 调整融合卷 积层的参数， 得到所述显著性物体 检测模型。 7.根据权利要求6所述的方法， 其中， 所述基于所述样本图像的显著性物体标注图像与 显著性物体预测图像的差异， 调整融合卷积层的参数， 得到所述显著性物体检测模型， 包 括： 基于所述样本图像的显著性物体预测图像， 计算所述样本图像集的显著性物体预测均 值图像； 基于所述样本图像的显著性物体预测图像与对应权重的乘积， 以及所述样本图像集的 显著性物体预测均值图像， 计算损失函数； 基于所述损失函数， 调整所述融合卷积层的参数， 得到所述显著性物体 检测模型。 8.根据权利要求1 ‑7中任一项所述的方法， 其中， 所述获取样本图像集中的样本图像的 至少两个层次的特 征张量， 包括： 将所述样本图像输入至骨干网络， 提取 所述样本图像的至少两个层次的特 征张量。 9.一种显著性物体 检测方法， 包括： 获取待检测图像； 将所述待检测图像输入至显著性物体检测模型， 得到所述待检测图像的显著性物体检 测结果， 其中， 所述显著 性物体检测模 型是采用权利要求 1‑8中任一项 所述的方法训练得到 的。 10.一种显著性物体 检测模型的训练装置， 包括： 获取模块， 被 配置成获取样本图像集中的样本图像的至少两个层次的特 征张量； 第一生成模块， 被配置成基于所述样本 图像的至少两个层次的特征张量， 生成所述样 本图像的视 觉对比度信息和所述样本图像集的视 觉对比度信息混杂集 合； 第二生成模块， 被配置成基于所述样本图像的视觉对比度信 息和所述样本图像集的视 觉对比度信息混杂集 合， 生成视 觉对比度融合信息； 训练模块， 被配置成基于所述视觉对比度融合信 息和所述样本图像的视觉对比度信 息 进行训练， 得到 显著性物体 检测模型。 11.根据权利要求10所述的装置， 其中， 所述第一 生成模块包括： 第一生成子模块， 被配置成将所述样本图像的至少两个层次的特征张量输入至对比度 预训练网络， 得到所述样本图像的视 觉对比度信息； 第二生成子模块， 被配置成对所述样本 图像的视觉对比度信息进行聚类， 以及将聚类 中心的视觉对比度信息组合成向量字典， 作为所述样本图像集的视觉对比度信息混杂集 合。 12.根据权利要求1 1所述的装置， 其中， 所述第一 生成子模块进一 步被配置成： 基于所述样本图像的至少两个层次的特征张量， 计算所述样本图像的至少两个层次的权　利　要　求　书 2/4 页 3 CN 115272705 A 3