(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210510592.6 (22)申请日 2022.05.11 (71)申请人 四川新视创伟超高清科技有限公司 地址 610000 四川省成 都市新园南 二路2号 (72)发明人 宋小民　吴成志　杨益红　李子清　 殷作铭　 (74)专利代理 机构 成都立新致创知识产权代理 事务所 (特殊普通合伙) 51277 专利代理师 刘俊 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度神经网络的异动目标跟踪系统及 方法 (57)摘要 本发明涉及异动目标跟踪领域， 提供一种基 于深度神经网络的异动目标跟踪系统及方法， 系 统包括： 图像采集模块、 帧图像特征提取模块和 深度神经网路模型构建模块； 方法包括： 采集规 定场景中不同种类的异动目标的正样本图像， 同 时根据异动目标的种类和异动目标在该规定场 景中的位置按时段采集与正样本图像对应的负 样本图像； 根据采集的正负样 本图像提取发现异 动目标的前一帧负样本图像特征、 异动目标出现 时的多帧正负样本图像特征和异动目标消失后 的第一帧负样本图像特征； 根据提取的各个帧图 像特征构建并训练深度神经网络模 型， 通过训练 好的深度神经网络模型， 自动识别出所述规定场 景中出现的运动目标是否为异动目标以及异动 目标的种类 。 权利要求书1页 说明书4页 附图1页 CN 114842420 A 2022.08.02 CN 114842420 A 1.基于深度神经网络的异动目标跟踪系统， 其特 征在于， 包括： 图像采集模块， 用于采集规定场景中不同种类的异动目标的正样本 图像， 同时根据异 动目标的种类和异动目标在该规定场景中的位置按时段采集与正样本图像对应的负样本 图像； 帧图像特征提取模块， 用于根据图像采集模块采集的正负样本图像提取发现异动目标 的前一帧负样本图像特征、 异动目标出现时的多帧正负样本图像特征和异动目标消失后的 第一帧负 样本图像特 征； 深度神经网路模型构建模块， 用于根据帧图像特征提取模块提取的各个帧图像特征构 建并训练深度神经网络模型， 通过训练好的深度神经网络模型， 自动识别出所述规定场景 中出现的运动目标 是否为异动目标以及异动目标的种类。 2.根据权利要求1所述的基于深度神经网络的异动目标跟踪系统， 其特征在于， 还包括 图像预处 理模块， 用于消除图像采集模块采集的正负 样本图像的无关信息 。 3.根据权利要求1所述的基于深度神经网络的异动目标跟踪系统， 其特征在于， 所述异 动目标的种类包括识别出异动目标后进行持续跟踪的异动目标、 识别出异动目标后直接精 准打击的异动目标以及识别出异动目标后通过决断人员决断后进行下一步动作的异动目 标。 4.根据权利要求1所述的基于深度神经网络的异动目标跟踪系统， 其特征在于， 所述识 别出异动目标后通过决断人员决断后进行下一步动作的异动目标中， 所述下一步动作包括 持续跟踪、 精准打击和通知移除异动目标。 5.根据权利要求1 ‑4任意一项所述的基于深度神经网络的异动目标跟踪系统， 其特征 在于， 所述图像采集模块 为具备设定分辨 率的扫描摄 像机。 6.根据权利要求5所述的基于深度神经网络的异动目标跟踪系统， 其特征在于， 所述帧 图像特征提取模块在提取正负样本图像特征时， 所述 发现异动目标的前一帧负样本图像和 异动目标消失后的第一帧负样本图像通过所述扫描摄像机提供， 所述异动目标出现时的多 帧正负样本图像通过高于所述扫描摄 像机的分辨 率的锁定摄 像机提供。 7.基于深度神经网络的异动目标跟踪方法， 应用于如权利要求1 ‑6任意一项所述的基 于深度神经网络的异动目标跟踪系统， 其特 征在于， 包括： 采集规定场景中不同种类的异动目标的正样本图像， 同时根据异动目标的种类和异动 目标在该规定场景中的位置按时段采集与正样本图像对应的负 样本图像； 根据采集的正负样本图像提取发现异动目标的前一帧负样本图像特征、 异动目标出现 时的多帧正负 样本图像特 征和异动目标消失后的第一帧负 样本图像特 征； 根据提取的各个帧图像特征构建并训练深度神经网络模型， 通过训练好的深度神经网 络模型， 自动识别出所述规定场景中出现的运动 目标是否为异动 目标以及异动 目标的种 类。 8.根据权利要求7所述的基于深度神经网络的异动目标跟踪方法， 其特征在于， 所述深 度神经网络模型为ResNet。 9.根据权利要求7所述的基于深度神经网络的异动目标跟踪方法， 其特征在于， 通过所 述训练好的深度神经网络模型进 行异动目标识别时， 若异动目标为不需要 人为介入解决的 异动目标， 则将该异动目标对应的负 样本图像添加到训练好的深度神经网络模型中。权　利　要　求　书 1/1 页 2 CN 114842420 A 2基于深度神经 网络的异动目标跟踪系统及方 法 技术领域 [0001]本发明涉及异动目标跟踪领域， 特别涉及 一种基于深度神经网络的异动目标跟踪 系统。 背景技术 [0002]特定场景， 如边境 防护区和军事禁止通行区等， 这类场景往往需要精密监控任何 无人进入目标， 而作为重要的保密或禁行区， 往往存在不法入侵侦查， 当然也存在不知禁行 区域的误入， 因此， 对于特定场景如禁行区的异动目标的准确识别并跟踪异常重要。 [0003]随着互联网技术的快速发展， 对于区域的监控手段也愈发成熟， 如申请号为： CN201910353400.3的专利申请， 其公开了一种监控场景下基于特定目标跟踪的卷积神经网 络的人体动作识别方法， 其首先对获取监控场景下 的人体动作分析数据库， 并对该数据库 进行随机划分， 分为为训练集和验证集； 其次对划分完成的训练集和验证集视频数据进行 数据增强处理， 并对视频数据进 行编码； 然后直接从输入视频图像序列中检测到运动目标， 并进行目标识别， 进而跟踪感兴趣的运动目标； 最后对感兴趣的运动目标进行构建时空骨 骼图卷积神经网络模型， 使用训练集进行训练并利用自适应矩估计梯度进 行优化网络参数 权重， 使用验证集进行特定目标跟踪的卷积神经网络模型 的准确率预测。 其不仅可以扩大 原始动作数据量， 还可以增强模型的鲁棒性， 进而提升最终的动作识别准确 率。 然而， 该专 利申请解决 的是监控场景下异常动作发生频率很低、 数据收集和标注困难和监控场景下人 物数量多且动作复杂等问题， 对于特定场景下进入的运动目标是否为异动目标或者异动目 标的种类是什么， 其并未有相关方案进行解决。 发明内容 [0004]本发明的目的是提供一种基于深度神经网络的异动目标跟踪系统及方法， 能够根 据场景特征训练对应的深度神经网络， 进而能够自动识别出该规定场景中出现的运动目标 是否为异动目标以及异动目标的种类， 进 而为下一 步的所要执 行的动作进行指导。 [0005]本发明解决其 技术问题， 采用的技 术方案是： [0006]一方面， 本发明提供一种基于深度神经网络的异动目标跟踪系统， 包括： [0007]图像采集模块， 用于采集规定场景中不同种类的异动目标的正样本图像， 同时根 据异动目标 的种类和异动目标在该规定场景中的位置按时段采集与正样本图像对应的负 样本图像； [0008]帧图像特征提取模块， 用于根据图像采集模块采集的正负样本图像提取发现异动 目标的前一帧负样本图像特征、 异动目标出现时的多帧正负样本图像特征和异动目标消失 后的第一帧负 样本图像特 征； [0009]深度神经网路模型构建模块， 用于根据帧图像特征提取模块提取的各个帧图像特 征构建并训练深度神经网络模型， 通过训练好的深度神经网络模型， 自动识别出所述规定 场景中出现的运动目标 是否为异动目标以及异动目标的种类。说　明　书 1/4 页 3 CN 114842420 A 3