(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210235915.5 (22)申请日 2022.03.10 (71)申请人 广州高新兴机 器人有限公司 地址 510530 广东省广州市黄埔区科 学城 开创大道 2819号A619房 (72)发明人 李永敬　何沛开　刘彪　柏林　 舒海燕　宿凯　沈创芸　祝涛剑　 雷宜辉　王恒华　 (74)专利代理 机构 广州国鹏知识产权代理事务 所(普通合伙) 44511 专利代理师 葛红 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06N 20/00(2019.01)G06V 10/25(2022.01) G06V 10/26(2022.01) (54)发明名称 基于巡逻机器人的翻墙行为检测方法、 装 置、 介质及设备 (57)摘要 本发明公开了一种基于巡逻机器人的翻墙 行为检测方法， 包括： 获取巡逻机器人上的摄像 机采集到的不同场景下的图像信息； 基于深度学 习的语义分割方法对所述图像信息进行围墙检 测， 得到图像信息中的围墙区域； 基于图像处理 和统计方法对 所述围墙区域进行分析， 得到围墙 的上沿信息和下沿信息； 基于深度学习目标检测 方法对所述图像信息进行人体检测， 得到图像信 息中的人体信息； 根据所述人体信息、 围墙的上 沿信息和下沿信息进行翻墙行为判断； 根据翻墙 行为判断结果输出告警信息。 本发 明解决了现有 翻墙行为检测存在的检测角度固定、 准确率欠 佳、 成本高的问题， 实现了多场景多角度的巡逻 检测。 权利要求书2页 说明书10页 附图6页 CN 114708528 A 2022.07.05 CN 114708528 A 1.一种基于 巡逻机器人的翻墙行为检测方法， 其特 征在于， 包括： 获取巡逻机器人上的摄像机采集到的不同场景 下的图像信息； 基于深度 学习的语义分割方法对所述图像信 息进行围墙检测， 得到图像信 息中的围墙 区域； 基于图像处理和统计方法对所述围墙区域进行分析， 得到围墙的上沿信息和下沿信 息； 基于深度 学习目标检测方法对所述图像信 息进行人体检测， 得到图像信 息中的人体信 息； 根据所述人体信息、 围墙的上沿信息和下沿信息进行翻墙行为判断； 根据翻墙行为判断结果输出告警信息 。 2.如权利要求1所述的基于巡逻机器人的翻墙行为检测方法， 其特征在于， 所述基于深 度学习的语义分割方法对所述图像信息进行围墙 检测， 得到图像信息中的围墙区域包括： 构建围墙 检测模型， 采用若干不同视角和环境因素 下的围墙图像进行模型训练； 采用训练好的模型对所述图像信息进行围墙 检测， 得到所述图像信息中的围墙区域； 其中所述围墙检测模型采用基于深度学习的语义分割方法对图像信息中的每一个像 素进行背景和围墙分类， 属于围墙分类的所有像素构成围墙掩码。 3.如权利要求2所述的基于巡逻机器人的翻墙行为检测方法， 其特征在于， 所述基于图 像处理和统计方法对所述围墙区域进行分析， 得到围墙的上沿信息和下沿信息包括： 遍历所述围墙区域中的每一列掩码， 获取每列掩码中的掩码的横坐标； 获取每列掩码中横坐标最小的掩码作为该列掩码的围墙上沿点， 组合所述围墙上沿 点， 得到所述围墙的上沿信息； 获取每列掩码中横坐标最大的掩码作为该列掩码的围墙下沿点， 组合所述围墙下沿 点， 得到所述围墙的下沿信息 。 4.如权利要求3所述的基于巡逻机器人的翻墙行为检测方法， 其特征在于， 所述基于图 像处理和统计方法对所述围墙区域进行分析， 得到围墙的上沿信息和下沿信息还 包括： 对所述围墙的上沿信息进行直线拟合， 得到所述围墙上沿直线表示。 5.如权利要求1所述的基于巡逻机器人的翻墙行为检测方法， 其特征在于， 所述基于深 度学习目标检测方法对所述图像信息进行 人体检测， 得到图像信息中的人体信息包括： 构建人体 检测模型， 采用若干不同视角和环境因素 下的人体图像进行模型训练； 采用训练好的模型对所述图像信息进行 人体检测， 得到包 含人体信息的边界框； 其中所述人体检测模型基于卷积神经网络对图像信 息进行人体检测， 并采用边界框将 人体信息从图像信息中标记出来。 6.如权利要求1所述的基于巡逻机器人的翻墙行为检测方法， 其特征在于， 所述根据 所 述人体信息、 围墙的上沿信息和下沿信息进行翻墙行为判断包括： 获取所述人体信息， 根据所述人体信息的边界框计算 边界框中心点 坐标； 判断所述 边界框中心点的横坐标 是否落在所述围墙上沿直线表示的横坐标 范围内； 若所述边界框 中心点的横坐标落在所述围墙上沿直线表示的横坐标范围内， 则获取所 述边界框中心点的横坐标对应到围墙上沿直线表示的纵坐标； 判断所述边界框的左上角的纵坐标是否大于所述边界框中心点的横坐标对应到围墙权　利　要　求　书 1/2 页 2 CN 114708528 A 2上沿直线表示的纵坐标； 若所述边界框的左上角的纵坐标大于所述边界框中心点的横坐标对应到围墙上沿直 线表示的纵坐标， 则根据所述围墙的上沿信息和下沿信息获取所述图像信息中 围墙的最大 高度； 判断所述围墙的最大高度是否大于所述 边界框的高度； 若所述围墙的最大高度大于所述边界框的高度， 则对所述边界框进行横向放大， 并计 算横向放大后的边界框的墙 体高度所占比例； 判断所述比例是否大于预设阈值， 若是， 则判定存在翻墙行为。 7.如权利要求6所述的基于巡逻机器人的翻墙行为检测方法， 其特征在于， 所述根据 所 述围墙的上沿信息和下沿信息获取 所述图像信息中围墙的最大高度包括： 根据所述围墙的上沿信 息和下沿信 息计算所述图像信 息中所有墙体位置的高度信 息， 其中， 所述高度信息Hwi＝Diy ‑Uiy， Diy表示第i个围墙上沿点的纵坐标， Uiy表示第i个围墙 下沿点的纵坐标； 获取所述高度信息中的最大值作为所述图像信息中围墙的最大高度。 8.一种基于 巡逻机器人的翻墙行为检测装置， 其特 征在于， 包括： 获取模块， 用于获取巡 逻机器人上的摄像机采集到的不同场景 下的图像信息； 围墙检测模块， 用于基于深度学习的语义分割方法对所述图像信息进行围墙检测， 得 到图像信息中的围墙区域； 边沿信息获取模块， 用于基于 图像处理和 统计方法对所述围墙区域进行分析， 得到围 墙的上沿信息和下沿信息； 人体检测模块， 用于基于深度学习目标检测方法对所述图像信息进行人体检测， 得到 图像信息中的人体信息； 判断模块， 用于根据所述人体信息、 围墙的上沿信息和下沿信息进行翻墙行为判断； 告警模块， 用于根据翻墙行为判断结果输出告警信息 。 9.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述的基于巡逻机器人的 翻墙行为检测方法。 10.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1至 7任一项所述的基于 巡逻机器人的翻墙行为检测方法。权　利　要　求　书 2/2 页 3 CN 114708528 A 3