(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210448882.2 (22)申请日 2022.04.27 (71)申请人 长沙海信智能系统研究院有限公司 地址 410006 湖南省长 沙市岳麓区洋湖街 道潇湘南路一段368号中盈广场C座5 层502号 (72)发明人 苑子杨　吴婷　闾凡兵　 (74)专利代理 机构 长沙市岳麓慧专利代理事务 所(普通合伙) 43270 专利代理师 王中华 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/25(2022.01)G06V 10/42(2022.01) G06V 10/54(2022.01) G06V 10/56(2022.01) G06V 10/62(2022.01) G06V 10/82(2022.01) G06T 7/246(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G08B 21/24(2006.01) (54)发明名称 基于深度神经网络的遗留物品检测方法、 装 置及电子设备 (57)摘要 本发明提供一种基于深度神经网络的遗留 物品检测方法、 装置及电子设备。 该方法利用基 于物品的原始检测框扩大得到的扩大检测框检 测行人， 并根据扩大检测框中是否检测到行人， 判断所述物品是否为遗留物品， 再记录遗留物品 的遗留时间， 当遗留时间超出预设的遗留时间阈 值时， 则认为发送遗留事件， 及时向工作人员生 成并发送报警信息， 能够实现遗留物品的全自动 检测及报警， 减少工作人员的负担 。 权利要求书3页 说明书9页 附图8页 CN 114898254 A 2022.08.12 CN 114898254 A 1.一种基于深度神经网络的遗留物品检测方法， 其特 征在于， 包括如下步骤： 输入第一视频， 对第一视频进行 预处理， 得到检测图像集； 将检测图像集输入训练好的遗留物品检测模型， 遗留物品检测模型检测确定检测图像 集中包含的物品以及各个物品的深度特征， 所述深度特征至少包括物品的颜色特征、 纹理 特征及尺寸特 征； 所述遗留物品检测模型根据 各个物品的深度 特征确定该物品对应的第 一倍数， 以各个 物品的原始检测框中心 点为基准将各个物品的原始检测框的宽和高均扩大第一倍数， 得到 各个物品对应的扩大检测框； 所述遗留物品检测模型在各个物品对应的扩大检测框的范围内检测行人， 若所述物品 的扩大检测框中检测到行 人， 则判定该物品为非遗留物品， 否则判定该物品为遗留物品； 提取遗留物品的深度 特征并输出至物品跟踪模型， 物品跟踪模型根据遗留物品的深度 特征对遗留物品进行跟踪， 并记录 遗留物品的遗留时间； 当遗留物品的遗留时间超出 预设的遗留时间阈值时， 生成并发送报警信息 。 2.如权利要求1所述的基于深度神经网络的遗留物品检测方法， 其特征在于， 所述遗 留 物品检测模型的训练过程包括： 建立遗留物品检测模型， 所述遗留物品检测模型为yolov5网络模型， 且该yolov5网络 模型的最后一个卷积层中增设有一个并行的用于优化第一 倍数的第一卷积层； 设定第一 倍数的初始值； 提供训练样本集， 为训练样本集中的训练样本进行标注， 标注出各训练样本中的物品 的遗留标签， 所述遗留标签用于反映所述物品是否为遗留物品； 将训练样本输入所述遗留物品检测模型， 所述遗 留物品检测模型检测所述训练样本中 的物品； 以各个物品的原始检测框中心点为基准将各个物品的原始检测框的宽和高均扩大第 一倍数， 得到各个物品对应的扩大检测框并在各个物品对应的扩大检测框的范围内检测行 人； 通过所述第一卷积层将检测到的物品的深度特征及行人的深度特征映射到一多维的 深度空间中， 并在所述深度空间中进行检测结果比较； 当检测结果为物品的遗留标签显示该物品为非遗 留物品， 且在物品对应的扩大检测框 中检测到行 人时， 则减小该物品对应的第一 倍数的值； 当检测结果为物品的遗留标签显示该物品为非遗 留物品， 且在物品对应的扩大检测框 中未检测到行 人时， 则增 加该物品对应的第一 倍数的值； 当检测结果为物品的遗留标签显示该物品为遗 留物品， 且在物品对应的扩大检测框中 未检测到行 人时， 保持该物品对应的第一 倍数的值 不变； 当检测结果为物品的遗留标签显示该物品为遗 留物品， 且在物品对应的扩大检测框中 检测到行 人时， 缩小该物品对应的第一 倍数的值； 持续训练所述遗留物品检测模型， 直至所述遗 留物品检测模型的检测结果达到预设的 训练标准。 3.如权利要求2所述的基于深度神经网络的遗留物品检测方法， 其特征在于， 在 设定所 述第一倍数的初始值的同时还设定一 倍数变化差值；权　利　要　求　书 1/3 页 2 CN 114898254 A 2当检测结果为物品的遗留标签显示该物品为非遗 留物品， 且在物品对应的扩大检测框 中检测到行人时， 则计算所述行人 的检测框与物品的检测框之间的欧式距离， 并用所述行 人的检测框与物品的检测框之间的欧式距离除以所述物品的检测框的对角线距离得到一 倍数基值， 用所述 倍数基值减去倍数变化差值得到该物品对应的调整后的第一 倍数； 当检测结果为物品的遗留标签显示该物品为非遗 留物品， 且在物品对应的扩大检测框 中未检测到行人时， 则计算所述行人 的检测框与物品的检测框之间的欧式距离， 并用所述 行人的检测框与物品的检测框之间的欧式距离除以所述物品的检测框的对角线距离得到 一倍数基值， 用所述 倍数基值加上倍数变化差值得到该物品对应的调整后的第一 倍数； 当检测结果为物品的遗留标签显示该物品为遗 留物品， 且在物品对应的扩大检测框中 检测到行人时， 则计算所述行人 的检测框与物品的检测框之间的欧式距离， 并用所述行人 的检测框与物品的检测框之间的欧式距离除以所述物品的检测框的对角线距离得到一倍 数基值， 用所述 倍数基值减去倍数变化差值得到该物品对应的调整后的第一 倍数。 4.如权利要求3所述的基于深度神经网络的遗留物品检测方法， 其特征在于， 当检测结 果为物品的遗留标签显示该物品为非遗留物品且在物品对应的扩大检测框中检测到行人、 物品的遗留标签显示该物品为非遗留物品且在物品对应的扩大检测框中未检测到行人或 者物品的遗留标签显示该物品为遗留物品， 且在物品对应的扩大检测框中检测到行 人时， 若当前次训练时计算的倍数基值在 （d ‑m， d+m） 的范围内时， 则保持第一倍数不变， d为 上一次训练时计算的倍数基值， m为 倍数变化差值； 若当前次训练时计算的倍数基值超出 （d ‑m， d+m） 的范围时， 则用当前次训练时计算的 倍数基值 替代上一次训练时计算的倍数基值， 得的新的第一 倍数。 5.如权利要求2所述的基于深度神经网络的遗留物品检测方法， 其特征在于， 使用Bi ‑ FPN模块替换所述遗留物品检测模型的yo lov5网络模型中的PAN ‑Net模块。 6.如权利要求1所述的基于深度神经网络的遗留物品检测方法， 其特征在于， 若所述物 品的扩大检测框中检测到行人时， 还识别扩大检测框中的行人在连续N帧图像是否始终为 同一行人， 若 是则判定该物品为 非遗留物品， 否则判定该物品为遗留物品， N为大于1的正整 数。 7.如权利要求1所述的基于深度神经网络的遗留物品检测方法， 其特征在于， 还包括： 当遗留物品检测模型检测到一物品从遗留物品转变为 非遗留物品时， 停止向所述物品跟踪 模型输出 该物品的深度特 征， 物品跟踪模型停止跟踪该物品。 8.如权利要求1所述的基于深度神经网络的遗留物品检测方法， 其特征在于， 所述报 警 信息包括： 遗留物品的监控画面信息和初始遗留时间。 9.一种基于深度神经网络的遗留物品检测装置， 其特 征在于， 包括： 预处理模块， 输入第一视频， 对第一视频进行 预处理， 得到检测图像集； 物品检测模块， 将检测图像集输入训练好的遗留物品检测模型， 遗留物品检测模型检 测确定检测图像集中包含的物品以及各个物品的深度特征， 所述深度特征包括物品的颜色 特征、 纹理特征及尺寸特 征； 倍数确定模块， 所述遗留物品检测模型根据 各个物品的深度特征确定该物品对应的第 一倍数， 以各个物品的原始检测框中心 点为基准将各个物品的原始检测框的宽和高均扩大 第一倍数， 得到各个物品对应的扩大检测框；权　利　要　求　书 2/3 页 3 CN 114898254 A 3