(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210447954.1 (22)申请日 2022.04.27 (65)同一申请的已公布的文献号 申请公布号 CN 114549863 A (43)申请公布日 2022.05.27 (73)专利权人 西安电子科技大 学 地址 710000 陕西省西安市雁塔区太白南 路2号 (72)发明人 冯明涛　刘肯东　张亮　朱光明　 宋娟　沈沛意　 (74)专利代理 机构 成都九鼎天元知识产权代理 有限公司 51214 专利代理师 刘世权 (51)Int.Cl. G06V 10/46(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)(56)对比文件 CN 105701813 A,2016.0 6.22 US 2016219 255 A1,2016.07.28 CN 10839 9406 A,2018.08.14 WO 20190 51481 A1,2019.0 3.14 CN 110633708 A,2019.12.31 CN 110751160 A,2020.02.04 CN 111967476 A,2020.1 1.20 CN 112487225 A,2021.0 3.12 CN 112767466 A,2021.0 5.07 CN 113343822 A,2021.09.0 3 CN 113393435 A,2021.09.14 CN 114078192 A,2022.02.22 刘亚美 等.光场显著性检测研究综述. 《中 国图象图形 学报》 .2020,第25卷(第12期),246 5- 2483. Qiudan Zhang 等.A Multi-Task Collaborative Netw ork for L ight Field Salient Object Detecti on. 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTE MS FOR VIDEO TE CHNOLOGY》 .2021,第31卷(第5期), 1849-1861. (续) 审查员 崔蓝芳 (54)发明名称 一种基于像素级噪声标签监督的光场显著 性目标检测方法 (57)摘要 本发明公开了一种基于像素级噪声标签监 督的光场显著性目标检测方法， 包括以下步骤： S1、 基于全焦图像及其对应的焦堆栈构建实验数 据； S2、 通过 实验数据交互 式引导融合网络， 获得 全焦图像初始噪声预测和光场焦堆栈图像初始 噪声预测； S3、 通过全焦图像初始噪声预测和光 场焦堆栈图像初始噪声预测构建像素遗忘矩阵， 得到融合后的最终预测显著性映射； S4、 对融合 后的最终预测显著性映射进行跨场景的噪声惩 罚损失。 本发 明通过挖掘高维度光场数据中非常丰富的场景信息来引导和辅助显著性物体的检 测， 充分利用噪声 标签中可用的显著性信息并减 小噪声信息的置信度， 有效地降低了显著性目标 检测的预实验成本 。 [转续页] 权利要求书4页 说明书8页 附图1页 CN 114549863 B 2022.07.22 CN 114549863 B (56)对比文件 Jing Zhang 等.Learn ing Saliency From Single Noisy Labelling: A Robust Model Fitting Perspective. 《IE EE TRANSACTIONS ON PATTERN ANALYSIS AND MAC HINE INTELLIGENCE》 .2021,第43卷(第8 期),2866- 2873. 李啸.复杂场景 下基于光场技 术的显著性检 测研究. 《中国优秀博硕士学位 论文全文数据库 (硕士) 信息科技 辑》 .2020,第2020年卷(第02 期),I138-19 20. Yongri Piao 等.De ep Light-field- driven Sal iency Detecti on from a Si ngle View. 《Proce edings of the Twenty- Eighth Internati onal Joint Conference o n Artifi cial Intelligence (IJCAI-19)》 .2019,904- 911. Jing Zhang 等.Learn ing Noise-Aware Encoder-Decoder from N oisy Labels by Alternati ng Back-Propa gation for Sal iency Detection. 《ECCV 2020》 .2020,349- 366. Miao Zhang 等.LFNet: L ight Field Fusion Network for Sal ient Object Detection. 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 .2020,第2 9卷6276-6287. Xiaohui L i 等.Sal iency Detecti on via Dense and Sparse Reco nstructi on. 《2013 IEEE Internati onal Conference o n Computer Vision》 .2013,2 976-2983. Miao Zhang 等.Memory-oriented Decoder for Light Field Sal ient Object Detecti on. 《33rd Conference o n Neural I nformati on Processing System s (NeurIP S 2019)》 .2019, 1-11. Mariya To neva 等.AN E MPIRICAL ST UDY OF EXAMPLE FORGET TING DURING DEEP NEURAL NETWORK LEARN ING. 《ICLR 2019》 .2019,1-18.2/2 页 2[接上页] CN 114549863 B1.一种基于像素级噪声标签监督的光场显著性目标检测方法， 其特征在于， 包括以下 步骤： S1、 基于全焦图像及其对应的焦堆栈构建实验数据； 所述步骤S1具体为： 构建训练数据集 ，N为训练数据样本总数， 数据集中的每一 个xi由一个全焦图像 Ir及其对应的焦堆栈 组成，k为焦堆栈总数， 焦 堆栈是由光场原始数据 raw.lfp重聚焦分离得到的不同焦距下的焦 片， 由传统无监督显 著性目标检测方法生成的噪声标签； S2、 通过实验数据交互式引导融合网络， 获得全焦图像初始噪声预测和光场焦堆栈图 像初始噪声预测； 所述步骤S2的具体步骤为： S21、 输入 全焦图像 Ir及其对应的焦堆栈 ，k为焦堆栈总数； S22、 采用VGG ‑19作为特征提取网络， 生成全焦图像特征 Rm及其对应的焦堆栈特征 ， 在Rm与Fm之间建立相 互融合的网络模块， m为特征提取网络VGG ‑19的层 数， 为第m层第i个焦堆片的特 征； S23、 在全焦图像特征 Rm的指导下， 通过注意力机制和焦堆片内部上下文的传播进行焦 堆栈特征 的融合， 得到加权光场特征 ， 为第m层第i 个焦堆片的加权光场特 征； S24、 将加权 光场特征 作为一个对 应于连续时间步长的输入序列输入 到ConvLSTM结构中， 得到细化后的焦堆栈特 征 ； S25、 在焦堆栈特征 的指导下， 使用注意力机制对全焦图像特征 Rm像素级的强调或 抑制， 得到焦堆栈空间信息引导融合后的全焦图像特 征 ； S26、 分别对 和 的多级层次使用 ConvLSTM 对多层特征进行有效 地整合， 进一步总结空间信息， 在 ConvLSTM 输出之后进行过渡卷积层和上采样操作以获得 全焦图像初始噪声预测 sr和光场焦堆栈图像初始噪声预测 sf； S3、 通过全焦图像初始噪声预测和光场焦堆栈图像初始噪声预测构建像素遗忘矩阵， 得到融合后的最终预测显著性映射； 所述步骤S3的具体步骤为： S31、 输入全焦图像和光场焦堆栈图像的初始噪声预测 sr和sf， 采用两个二进制变换矩 阵Tr和Tf来描述像素点在整个训练阶段的学习变换， 变换矩阵中的元素表示该像素点在每权　利　要　求　书 1/4 页 2 CN 114549863 B 3