(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210658001.X (22)申请日 2022.06.10 (71)申请人 广西北投公路 建设投资集团有限公 司 地址 530028 广西壮 族自治区南宁市青秀 区云景路39号13、 14、 15、 16层 申请人 中南大学 (72)发明人 陈钊　王斌　张云　石志海　朱旗　 盛津芳　杨明　罗婷倚　韦才超　 刘庆忠　杜鑫　廖峰　 (74)专利代理 机构 长沙朕扬知识产权代理事务 所(普通合伙) 43213 专利代理师 周云喆 (51)Int.Cl. G06V 20/52(2022.01)G06V 40/20(2022.01) G06V 10/22(2022.01) G06V 10/75(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于机器视觉的危险区域人员闯入监测方 法及系统 (57)摘要 本发明公开了基于机器视觉的危险区域人 员闯入监测方法及系统， 通过 获取目标施工区域 的监控图像， 并将目标施工区域的监控图像输入 到预设的危险目标检测模型中， 判断目标施工区 域内是否存在危险目标： 若判断所述目标施工区 域内存在危险目标， 获取危险目标的坐标， 并根 据危险目标的坐标确定危险区域的坐标； 识别监 控图像中的人员坐标， 将所述人员坐标与所述危 险区域的坐标进行比较， 判断是否存在人员在所 述危险区域内， 若判断存在人员在所述危险区域 内， 发送报警信号给用户。 本发明能自动识别危 险区域， 并判断危险区域内是否有人， 能减少安 全监管的人力成本， 提高监测效率。 权利要求书4页 说明书10页 附图5页 CN 114973140 A 2022.08.30 CN 114973140 A 1.一种基于 机器视觉的危险区域人员闯入监测方法， 其特 征在于， 包括以下步骤： 获取目标施工区域的监控图像， 并将目标施工区域的监控图像输入到预设的危险目标 检测模型中， 判断目标施工区域内是否存在危险目标： 若判断所述 目标施工区域内存在危 险目标， 获取危险目标的坐标， 并根据危险目标的坐标确定危险区域的坐标； 识别监控图像中的人员坐标， 将所述人员坐标与所述危险区域的坐标进行比较， 判断 是否存在人员 在所述危险区域内， 若判断存在人员 在所述危险区域内， 发送报警信号给用 户。 2.根据权利要求1所述的基于机器视觉的危险区域人员闯入监测方法， 其特征在于， 所 述危险目标检测模 型以Yolov4网络为基础框架， 训练样 本为标注 危险目标类别以及检测框 的监控图像， 输入量 为监控图像， 输出量以标注有危险目标类别及其预测框的监控图像。 3.根据权利要求2所述的基于机器视觉的危险区域人员闯入监测方法， 其特征在于， 将 目标施工区域的监控图像输入到预设的危险目标检测模型中， 判断目标施工区域内是否存 在危险目标， 具体为： 第一步： 将监控图像的图像尺寸调整为p*p， 其中， p为32的整数倍； 第二步： 将尺寸调整后的监控图像分成大小为s*s的网格， 为每个网格分配B个需要预 测的预测框bounding  box， 通过yolov4进行训练模型， 来获得每个bounding  box所对应的 位置、 类别 信息c和置信度co nfidence的值； 其中， 所述预测框bounding  box的自身位置标记为(x,y,w,h),其中， x和y表示预测框 的中心点 坐标， w和h表示预测框的长和宽； 所述置信度co nfidence定义计算 为： 其中， 表示第i个格子的第j个预测框boundingbox的置信度， Pr(object)表示当前预 测框bounding  box是否有危险目标的概率， 表示真实检测框和预测 检测框之间的 IOU比值； 每 个网格还预测C个条件类别概 率： Pr(Clas si|object)； 某类出现在预测框中的概 率以及预测框拟合目标程度表达式为： 其中， Clas s i表示第i类 类别； 第三步： 对所述第二步中计算所获得的预测框的自身位置坐标(x,y,w,h)进行归一化， 获得归一 化位置坐标(X， Y， W， H)； 第四步： 对所述图像中置信度confidence满足阈值的预测框bounding  box进行非极大 值抑制处 理， 标注有危险目标类别及其预测框的监控图像。 4.根据权利要3所述的基于机器视觉的危险区域人员闯入监测方法， 其特征在于， 所述 目标施工区域内的各个危险目标 处均设置有对应的警示标示； 所述危险目标检测模型通过 提取各个危险目标的特 征识别以及对应的警示标示的特 征来识别各个危险目标。 5.根据权利要4所述的基于机器视觉的危险区域人员闯入监测方法， 其特征在于， 所述 危险目标包括以下任一种或几种的组合： 高压电气设备、 物品或场所， 易燃易爆物品、 设备 或场所， 以及危险作业区域； 获取危险目标的坐标， 并根据危险目标的坐标确定危险区域的 坐标， 具体包括以下步骤：权　利　要　求　书 1/4 页 2 CN 114973140 A 2提取危险目标预测框的坐标， 并根据危险目标的类别确定安全距离， 以所述危险目标 预测框的坐标为中心， 以所述 安全距离为半径划分危险区域。 6.根据权利要求5所述的基于机器视觉的危险区域人员闯入监测方法， 其特征在于， 将 所述人员坐标与所述危险区域的坐标进行比较， 判断是否存在人员 在所述危险区域内， 包 括以下步骤： 根据所述人员坐标与所述 危险区域的坐标计算人员和危险区域的重合度： 其中， Rperson为目标检测器检测出人在图像中的坐标范围， Rriskarea为目标检测器检测自 动划分出图像中危险区域的坐标 范围， Jarea表示前两者重合 程度； 基于所述人员和危险区域的重合度， 通过门限函数判断所述人员是否在危险区域内： 其中， Farea表示判断人员是否在危险区域中， t表示对于危险区域和人员在图像中重合 程度的阈值。 7.根据权利要求6所述的基于机器视觉的危险区域人员闯入监测方法， 其特征在于， 还 包括以下步骤： 在判断存在 人员在所述危险区域内后， 使用deepsort目标跟踪算法对所述人员进行追 踪： 步骤1： 分配跟踪指标集Track  indices T＝{1,...,N}和检测指标集Detection   indices D＝{1,...,M}， 并初始化最大循环 检测帧数Amax； 其中， 1,...,N 分别为前一帧监控 图像中第1,...,第N个人员的特征； 1,...,M分别为后一帧监控图像中第1,...,第M个人员 的特征； 步骤2： 计算前一帧监控图像中第i个人员的特征与后一帧监控图像中第j个人员特征 的代价矩阵C＝[ci,j]， 其中， i ＝1,...,N， j＝1,. ..,M； 步骤3： 计算卡尔曼预测的、 前一帧监控图像中第i个人员特征对应的跟踪框平均轨道 的位置和后一帧监控图像中第j 个人员特征对应的实际检测框bounding  box间的平方马氏 距离的代价矩阵B＝[bi,j]； 步骤4： 进行两次阈值的判断， 将余弦代价矩阵中跟踪框和检测框间的平均马氏距离大 于阈值 的置为无穷大， 并且将余弦距离大于阈值 的置为较大； 步骤5： 使用匈 牙利算法对跟踪框和检测框进行匹配， 并返回匹配结果； 步骤6： 对匹配结果进行筛 选， 删去余弦距离较大对匹配； 步骤7： 当前循环检测帧数大于最大循环检测帧数Amax时， 得到初步的匹配结果， 否则执 行步骤2。 8.根据权利要求7所述的基于机器视觉的危险区域人员闯入监测方法， 其特征在于， 根 据运动匹配度和外观匹配度来权衡匈 牙利算法的权 重： 计算前一帧监控图像中第i个人员的运动特征与后一帧监控图像中的第j个人员的运 动特征之间的运动匹配度 其中， 所述 运动匹配度d(1)计算公式为：权　利　要　求　书 2/4 页 3 CN 114973140 A 3