(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210040828.4 (22)申请日 2022.01.14 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 董红召　林少轩　方浩杰　杨嘉炜　 金一超　韩明轩　全程　 (74)专利代理 机构 杭州天正专利事务所有限公 司 33201 专利代理师 王兵　孙家丰 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/52(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06T 7/246(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 封闭式旅游景区火灾风险行为视频监测及 管控方法 (57)摘要 封闭式旅游景区火灾风险行为监测及管控 方法， 包括： 步骤1， 在旅游景区安装摄像头； 步骤 2， 摄像头对监控区域进行 实时监控， 以获取监控 影像数据； 步骤3， 将摄像头采集到的监控影像数 据上传到后端 服务器进行分类存储； 步骤4， 根据 采集到的监控影像数据进行逐帧分离获取单独 图像帧并进行图像优 化； 步骤5， 使用YOL Ov5检测 模型和DeepSORT多目标追踪模型， 对单独图像帧 进行逻辑判断， 确定监控影像中的抽烟对象； 步 骤6， 保存抽烟对象抽烟时的监控影像单独图像 帧的全景图片、 人像检测的图像切片以及人脸图 像； 步骤7， 人脸识别闸机获取游客面部特征， 并 与后端服务器中储存的抽烟对象面部特征进行 比对判断； 步骤8， 闸机根据上述的判断结果实行 通行或禁行操作。 权利要求书2页 说明书4页 附图2页 CN 114529968 A 2022.05.24 CN 114529968 A 1.封闭式旅游景区火灾 风险行为 监测及管控方法， 包括如下步骤： 步骤1， 在旅游景区的室外空旷位置安装防水高清球型摄像机， 室外特定场景使用枪型 摄像机， 旅游景区室内摄像头选用红外 半球型摄像机， 实施方法为： 根据旅游景区禁烟管控 区域的实况以及摄像头的种类， 设置特定的布置方式， 以获取区域内的实时监控视频。 在室 外空旷部分， 该场景监控视野空 旷， 游客流量大且密集， 设置防水高清球型摄像机， 每间距x 米设置一台摄像机， 确保在游客拥挤的情况下可获得清晰的大范围监控影像。 在室外特定 场景使用枪型摄像机， 摄像机安装高度为h、 与水平面夹角为θ， 以实现对特定场景的单独监 控； 旅游景区室内摄像头选用红外半球型摄像机， 根据摄像头的监控范围在室内屋顶以吊 顶安装的形式分布安装， 以实现对室内无 死角监控。 步骤2， 摄像头在旅游景区的工作时段以其各自的工作 方式对监控区域进行实时监控， 以获取不同位置的监控影像数据 。 其中， 室外 空旷部分的球型摄像机设置以频率f1进行360 度自动巡航聚焦， 检测到抽烟对 象时暂停旋转并对抽烟对 象进行对焦拍摄， 在确保监控影 像清晰度的情况下对尽可能大的面积实施监控； 室外特定场景的枪型摄像机从安装的角度 对监控区域进 行固定监控， 对光线不充足、 无灯光照明的监控区域使用LED补光灯提升监控 影像的清晰度； 室内的红外半球型摄像机根据安装位置设置以频率f2水平垂直转动， 并对 室内光线不足的区域 开启红外补光， 以获取室内的多角度清晰监控影 像。 步骤3， 将摄像头采集到的监控影像数据上传到后端服务器进行分类存储， 方法为： 将 摄像头监控影像视频影像通过无线传输 设备传输到后端的服务器的数据库中， 室外安装的 球形摄像头和枪型摄像头获取的监控影像以室外类监控影像储存， 室内半球形 红外摄像头 获取监控影 像以室内类监控影 像储存。 步骤4， 根据采集到的不同位置、 不同类型的监控影像数据进行逐帧分离获取单独图像 帧并根据类型进行图像优化， 具体方法为： 步骤4.1， 将摄像头采集到的监控视频影像按时间排列顺序进行视频逐帧分离， 实现由 视频片段转换为多个单独图像帧。 步骤4.2， 对上述分离所得的图像使用图像增强算法进行图像优化， 其中， 步骤3分类 中 的户外类型图像， 图像清晰度易受天气、 光照等因素影响， 通过调整图像的灰阶分布来提高 图像的对比度； 分类中的室内图像， 通过拓展和增强 图像的低灰度值部分并压缩高灰度部 分的值来提升图片暗处的亮度。 步骤5， 使用YOLOv5检测模型和DeepSORT多目标追踪模型， 依次对上述的单独图像帧依 据判断逻辑进 行判断， 确定监控影像中的抽烟对象。 其中Y OLOv5检测模 型使用香烟数据集、 行人数据集和人的嘴部数据集训练而成， DeepSORT多目标追踪模 型使用行人数据集训练而 成。 具体步骤为： 步骤5.1， 使用YOLOv5检测模型检测出步骤4处理后图像中的香烟， 对识别出的香烟对 象按顺序依次打上序号标签， 并保存该完成香烟标签处 理的图像。 步骤5.2， 使用YOLOv5检测模型检测出上述已完成香烟标签处理图像中的游客， 其中， 与香烟对 象重合的游客对 象， 将其暂认定为抽烟者， 给暂认定的抽烟者依 次打上与香烟对 象对应的“暂定抽烟对象 ”标签； 未与游客对象重合的香烟对象， 更换其所对应标签为 “弃 烟”标签， 即认定该香烟对象为无对应抽烟对象的 “弃烟”， 终止对该香烟对象的后续检测。 步骤5.3， 使用该DeepSORT多目标追踪模型对上述 “暂定抽烟对象”进行目标跟踪， 摄像权　利　要　求　书 1/2 页 2 CN 114529968 A 2头聚焦至该抽烟对 象对其进行持续t秒的对焦拍摄， 获取该对 象的后续图像 帧进行二次检 测。 对“暂定抽烟对象 ”的后续图像帧使用YOLOv5检测 网络来检测香烟对象与人的嘴部对 象， 在t秒内， 每检测到一次香烟对象检测框和当前 “暂定抽烟对象 ”的嘴部对象检测框重 合， 则令该 “暂定抽烟 对象”的抽烟计数N加一， 若N达到预设的判断阈值， 则最 终认定该游 客 对象为“抽烟对象 ”， 并将其“暂定抽烟对象 ”标签更改为抽烟对象标签； 若后续图像帧二次 检测完成后， N未达到预设的判断阈值， 则最 终认定该游 客对象没有抽烟， 并去除其 “暂定抽 烟对象”标签。 步骤6， 保存抽烟对象抽 烟时的监控影像单独图像帧的全景图片、 DeepS ORT多目标追踪 模型获取的人像检测的图像切片以及MTCNN人脸识别算法获取的人脸图像， 具体为： 保存步 骤5.3中认定 “抽烟对象 ”对应图像帧的全景图； 坐标系以全景图的左 上角为坐标原点O， 向 右为X轴方向， 向下为Y轴方向， 根据DeepSORT多目标追踪模型获取的人像检测框中心点坐 标以及检测框的宽度和高度， 中心点坐标以(xn,yn)表示， 宽度以wn表示， 高度以hn表示， 保 存以(xn,yn)为中心、 wn和hn放大一定比例的抽烟对象人像检测图像切片； 再对认定为抽烟 对象对应的图像帧使用MTCNN人脸检测模型获取其人脸图像并保存至抽烟对象人脸图像库 中。 步骤7， 人脸识别闸机获取游客面部特征， 并与后端服务器中储存的抽烟对象面部特征 进行比对判断， 具体方法为： 当游客离开旅游景区通过人脸识别闸机时， 闸机获取游客的人 脸识别图像， 并将其与步骤6中保存的抽烟 对象人脸图像依次进 行比对， 判断有 无超出相似 度阈值的抽烟对象人脸图像， 有则认定该游客是抽烟对象， 无则认定该游客 不是抽烟对象。 步骤8， 闸机根据 上述的判断结果实行通行或禁行操作， 具体为： 根据步骤7中对当前通 过闸机的游 客是否为抽烟对象的判断结果， 若判断结果为 “是”， 即该游客是“抽烟对象 ”， 则 闸机发出警告信息并禁止通行； 若判断结果为 “否”， 即该游客不是“抽烟对象 ”， 闸机通道打 开予以通行。 2.如权利要求1所述的封闭式旅游景区火灾风险行为监测及管控方法， 其特征在于： 步 骤1所述的室外特定场景包括景观、 凉亭的游客停留地点， 以及光线不充足、 无灯光照明的 地区。 3.如权利要求1所述的封闭式旅游景区火灾风险行为监测及管控方法， 其特征在于： 步 骤5.2所述的与香烟对 象重合的游客对象的判定方式是： 香烟对象检测框与游客对 象检测 框重合度超过 预设阈值 为重合， 未达 到阈值为不重合。权　利　要　求　书 2/2 页 3 CN 114529968 A 3