(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210497047.8 (22)申请日 2022.05.09 (71)申请人 江西交通职业 技术学院 地址 330000 江西省南昌市昌北开发区 (72)发明人 任剑岚　姜如霞　刘冰洁　唐雅雯　 王金　 (74)专利代理 机构 深圳峰诚志合知识产权代理 有限公司 4 4525 专利代理师 宋宇航 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 基于机器视觉及深度学习的危险行为检测 方法及系统 (57)摘要 本发明公开了一种机器视觉及深度学习的 危险行为检测方法及系统， 包括： 获取目标区域 的监控视频流信息， 根据所述监控视频流信息获 取帧图像信息进行预处理； 获取预处理后的帧图 像信息的感兴趣区域， 并提取特征进行危险物品 识别， 确定危险物品与目标对象的交互关系； 构 建危险行为检测模型进行目标区域内危险行为 的检测； 根据检测结果判断检测对象的危险行为 等级， 并生成预警信息； 划定目标区域中的危险 区域， 获取危险区域监控视频流信息时获取环境 音频信息， 根据所述环境音 频信息获取敏感词信 息， 根据所述敏感词信息进行预警。 本发明能够 在目标区域内危险行为进行监测识别， 保证了识 别精度的同时生成预警信息， 实现了目标区域内 危险信息的信息共享。 权利要求书4页 说明书11页 附图3页 CN 114782897 A 2022.07.22 CN 114782897 A 1.一种基于 机器视觉及深度学习的危险行为检测方法， 其特 征在于， 包括以下步骤： 获取目标区域的监控视频流信息， 根据所述监控视频流信息获取帧图像信息， 将所述 帧图像信息进行 预处理； 获取预处理后的帧图像信息的感兴趣区域， 并提取特征进行危险物品识别， 确定危险 物品与目标对象的交 互关系； 基于卷积神经网络模型构建危险行为检测模型， 根据所述危险行为检测模型进行目标 区域内危险行为的检测； 根据危险行为检测模型的检测结果判断检测对象的危险行为等级， 并根据所述危险行 为等级生成预警信息； 同时， 划定目标区域中的危险区域， 获取危险区域监控视频流信息时获取环境音频信 息， 根据所述环境音频信息获取 敏感词信息， 根据所述敏感词信息进行 预警。 2.根据权利要求1所述的一种基于机器视觉及深度学习的危险行为检测方法， 其特征 在于， 所述的获取目标区域的监控视频流信息， 根据所述监控视频流信息获取帧图像信息， 将所述帧图像信息进行 预处理， 具体为： 将目标区域的监控视频流信息进行分割， 识别含有人像信息的帧图像信息， 并所述含 有人像的帧图像信息作为关键帧图像信息； 将所述关键帧图像信息进行灰化并去噪， 基于边缘算法滤去背景图像， 获取关键帧图 像信息中的感兴趣区域； 并获取关键帧图像信息中的光 流矢量， 生成光 流特征。 3.根据权利要求1所述的一种基于机器视觉及深度学习的危险行为检测方法， 其特征 在于， 进行危险物品识别， 确定危险物品与目标对象的交 互关系， 具体为： 基于FasterRCNN模型获取进行危险物品识别， 通过VGG16获取帧图像信息中感兴趣区 域的特征图信息， 通过RPN网络对所述特征图信息进行卷积， 生成不同尺度的建议区域， 并 进行锚框回归； 将所述建议区域进行池化操作， 通过全连接层及Softmax分类器判断是否含有危 险物 品， 并获取危险物品的类别信息， 再次通过锚框回归获取锚框的位置偏移， 生成精确的危险 物品目标锚框； 当检测到危险物品时， 获取帧图像信息中目标对象的手部关键点位置信息， 则根据危 险物品目标锚框位置信息与目标对象的手部关键点的距离信息； 当所述距离信 息小于预设距离阈值 时， 则判断目标区域内有持危险物品人员并生成预 警信息； 当所述距离信息大于预设距离阈值时， 则将目标对象进行标记， 重点监测被标记对象 的行为信息 。 4.根据权利要求1所述的一种基于机器视觉及深度学习的危险行为检测方法， 其特征 在于， 所述的基于卷积神经网络模型构建危险行为检测模型， 根据所述危险行为检测模型 通过提取的特 征进行目标区域内危险行为的检测， 具体为： 建立危险行为检测模型并进行初始化参数设置， 通过危险行为数据集对所述危险行为 检测模型进行训练； 将目标区域的监控视频流信 息进行分段， 通过稀疏采样 获取各段视频流信 息中帧图像权　利　要　求　书 1/4 页 2 CN 114782897 A 2信息的图像特征及光流特征， 并将所述图像特征及光流特征作为两种特征类别的局部特 征； 将各类局部特征进行聚合处理获取全局特征， 并通过多尺度特征融合将所述全局特征 转化为分类特 征向量， 根据分类特 征向量获取在对应特 征类别下的危险行为识别结果； 将两类特征类别的局部特征对应的危险行为识别结果按照预设权重进行加权生成最 终危险行为预测结果。 5.根据权利要求1所述的一种基于机器视觉及深度学习的危险行为检测方法， 其特征 在于， 所述的根据危险行为检测模型 的检测结果判断检测对 象的危险行为等级， 并根据所 述危险行为 等级生成预警信息， 具体为： 获取危险行为检测模型的检测结果， 构建危险行为评估标准体系， 通过危险行为的发 生频繁程度、 引发事故的可能性及引发事故后的严重程度判断危险行为的危险系 数， 通过 危险行为评估标准体系根据危险系数获取评估得分； 根据目标区域的地理位置信 息及人流量信 息， 根据所述地理位置信 息及人流量信 息生 成权重信息； 根据所述权重信 息及所述评估得分生成 目标区域内危险行为的综合评价得分， 预设危 险行为综合评价得分阈值区间， 根据综合评价得分所属区间确定危险行为的等级信息； 根据所述等级信息生成对应预警信息， 并将预警信息按照预设方法进行发送显示， 同 时目标区域内生成语音提醒信息， 对目标对象进行提醒。 6.根据权利要求1所述的一种基于机器视觉及深度学习的危险行为检测方法， 其特征 在于， 获取危险区域监控视频流信息时获取环境音频信息， 根据所述环境音频信息获取敏 感词信息， 根据所述敏感词信息进行 预警， 具体为： 根据目标区域内危险区域的分布及面积信 息设置预设区域， 判断是否有人进入预设区 域， 当有人进入预设区域， 则开启危险区域的视 觉监测； 预设目标区域内危险区域的基准图像信 息， 获取目标区域内危险区域的监测帧图像信 息， 根据所述 监测帧图像信息进行 预处理； 根据边缘检测算子获取预处理后 监测帧图像信 息的轮廓特征， 根据监测帧图像信 息的 轮廓特征与所述基准图像信息中的轮廓特 征进行相似度计算； 将所述相似度与预设相似度阈值进行对比判断， 若所述相似度小于预设相似度阈值， 则证明危险区域有人闯入， 则生成预警信息； 同步获取环境音频信息， 对所述环境音频信息进行识别获取有效波段， 并通过有效波 段判断是否人声信号， 将人声信号进行识别并转换为文本信息； 判断所述文本信息中是否含有敏感词， 若含有敏感词， 则获取文本信息中敏感词的出 现频率， 当所述出现频率大于预设出现频率阈值时， 则生 成预警信息， 将预警信息按照预设 方法进行显示。 7.一种基于机器视觉及深度学习的危险行为检测系统， 其特征在于， 该系统包括： 存储 器、 处理器， 所述存储器中包括一种基于机器视觉及深度学习的危险行为检测方法程序， 所 述一种基于机器视觉及深度学习的危险行为检测方法程序被所述处理器执行时实现如下 步骤： 获取目标区域的监控视频流信息， 根据所述监控视频流信息获取帧图像信息， 将所述权　利　要　求　书 2/4 页 3 CN 114782897 A 3