(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210335008.8 (22)申请日 2022.03.31 (71)申请人 西安交通大 学 地址 710049 陕西省西安市咸宁西路28号 (72)发明人 贺宇航　余文涛　韩洁　魏星　 龚怡宏　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 闵岳峰 (51)Int.Cl. G06T 7/292(2017.01) G06T 7/246(2017.01) G06V 40/10(2022.01) G06V 40/16(2022.01) G06V 20/52(2022.01) (54)发明名称 基于身份识别和跨摄像头目标追踪的智能 监控系统及方法 (57)摘要 基于身份识别和跨摄像头目标追踪的智能 监控系统及方法， 数据读取模块用于并行获取多 路摄像头的视频流数据； 身份注册模块用于将所 述数据读取模块中每个摄像头获取的视频进行 目标检测和人脸识别， 并采用中心点距离贪婪匹 配策略， 将人脸信息与行人检测框绑定， 得到带 有目标身份信息的初始轨迹； 单摄像头行人追踪 模块用于在多路摄像头下并行进行目标检测、 采 用匈牙利算法基于外观信息和运动信息进行数 据关联， 得到目标在单摄像头下的追踪轨迹； 跨 摄像头行人轨迹匹配模块用于基于局部轨迹的 外观特征、 运动特征以及位置特征进行跨摄像头 轨迹匹配， 为每个目标生 成一条跨摄像头的全局 轨迹。 本发 明可以高效地实现实时的目标身份识 别与跨摄 像轨迹生成。 权利要求书3页 说明书8页 附图3页 CN 114693746 A 2022.07.01 CN 114693746 A 1.基于身份识别和跨摄 像头目标追踪的智能监控方法， 其特 征在于， 包括以下步骤： 1)数据读取模块并行获取多路摄 像头的视频流数据； 2)身份注册模块将所述数据读取模块中每个摄像头获取的视频流按帧进行切分， 对每 一帧图像进行目标检测和人脸识别， 并采用中心点距离贪婪匹配策略， 将人脸信息与行人 检测框进行绑定， 得到带有真实身份的初始轨 迹； 3)单摄像头行人追踪模块在多路摄像头下并行进行目标检测、 行人特征提取以及采用 匈牙利算法基于 外观信息和运动信息进行 数据关联， 得到目标在单摄 像头下的运动轨 迹； 4)跨摄像头行人轨迹匹配模块根据局部轨迹的外观特征、 运动特征以及位置特征对轨 迹和目标进行匹配， 为每 个目标生成跨摄 像头下的全局轨 迹。 2.根据权利要求1所述的基于身份识别和跨摄像头目标追踪的智能监控方法， 其特征 在于， 步骤1)中， 数据读取模块基于多进程策略， 为每一路摄像头创建一个多进程读取队 列， 子进程A通过rtsp协议从视频流中不 断读取每一 帧图像， 并放入多进程读取队列中， 子 进程B不断从多 进程读取队列中将图片取 出进行处 理， 然后送入后续子进程模块中。 3.根据权利要求1所述的基于身份识别和跨摄像头目标追踪的智能监控方法， 其特征 在于， 步骤2)中， 身份注册模块对 数据读取模块得到的每一个摄像头下的逐帧图像， 基于目 标检测装置与人脸识别装置分别得到图像中的行人检测框、 人脸检测框 以及人脸识别结 果， 通过计算行人检测框与人脸检测框的交并比以及位置信息过滤掉不合理的匹配后， 再 基于行人检测框上中点与人脸检测框中心点的欧式距离进 行贪婪匹配， 将人脸识别结果与 行人检测框进行绑定， 从而得到带有真实身份的初始化轨 迹。 4.根据权利要求3所述的基于身份识别和跨摄像头目标追踪的智能监控方法， 其特征 在于， 目标检测装置使用Yolov4算法得到图像中的行人检测框， 行人检测框包含参数(xp， yp， wp， hp)， 其中， (xp， yp)为行人检测 框左上点坐标， wp和hp分别为框的宽和高； 所述人脸识 别装置使用InsightFace算法得到人脸检测框和人脸识别结果， 人脸检测框包含参数(xf， yf， wf， hf)和r， 其中(xf， yf)为人脸检测框左上点坐标， wf和hf分别为框的宽和高， r为人脸识 别结果； 所述基于行 人检测框上中点与人脸检测框中心点的欧式距离进行贪婪匹配包括： S41： 构建一个M行N列的二维矩阵D以表示人脸检测框与行人检测框的位置距离， 其中M 为当前帧中行 人检测框的数量， N 为人脸检测框的数量， 距离矩阵D的初始值 为∞； 用di表示第i个行 人检测框， fj表示第j个人脸检测框， 其中i∈[1， M]， j∈[1， N]； S42： 计算行人检测框di与人脸检测框fj的交并比IOUi， j， 同时在水平方向上通过判断人 脸检测框fj是否包含行人检测框di的中点来过滤不合理的匹配关系； S43： 依据人脸检测框与行 人检测框的重合 程度来调整距离矩阵D： 其中， 为行人检测框di的上中点， 为人脸检测框fj的中心点； S44： 对所有行人检测框与人脸检测框进行所述S42、 S43步骤， 基于调整后的距离矩阵 D， 使用贪婪匹配策略为每一个行人检测框选择与其距离最小的人脸检测框作为匹配结果， 加入匹配列表Mlist中； S45： 根据匹配列表 Mlist， 将行人检测框与人脸识别结果进行绑 定， 完成带有真实身份的权　利　要　求　书 1/3 页 2 CN 114693746 A 2轨迹初始化工作。 5.根据权利要求1所述的基于身份识别和跨摄像头目标追踪的智能监控方法， 其特征 在于， 步骤3)中， 单摄像头行人追踪模块采用多进程策略， 使 得多路摄像头能够相互独立并 行进行单摄像头下多目标追踪； 为每一路摄像头分配三个子进程， 分别进 行行人目标检测、 行人身份重识别以及利用匈牙利算法基于外观信息和运动信息进 行帧间数据关联， 子进程 之间通过多 进程消息队列进行消息传递： S51： 行人目标检测子进程不断从读取队列得到逐帧图像信 息， 完成目标检测后将逐帧 检测结果及图像信息存 入检测队列中； S52： 行人身份重识别子进程不断从检测队列得到逐帧检测结果及图像信息， 完成特征 提取后将逐帧检测结果和行 人特征存入特征队列中； S53： 数据关联子进程不断从特征队列得到逐帧检测结果和行人特征， 将上一帧的追踪 结果经过卡尔曼滤波器得到 当前帧的预测结果， 综合运动信息和外观信息使用匈牙利算法 将上一帧的轨 迹与当前帧的检测结果进行 数据关联； S54： 在每路摄像头下完成所述S51、 S52、 S53步骤， 得到行人在单个摄像头下的运动轨 迹， 将各个摄像头下 的追踪结果传入共享文件夹中供跨摄像头行人轨迹匹配模块使用， 摄 像头下的追踪 结果包括摄像头编号、 当前帧数、 轨迹编号、 身份信息、 追踪框位置、 行人特征 和人脸特 征。 6.根据权利要求1所述的基于身份识别和跨摄像头目标追踪的智能监控方法， 其特征 在于， 步骤4)中， 具体实现方法如下： S61： 采用多 进程策略并行获取 各个摄像头下追踪得到的局部 轨迹； S62： 使用Reid特 征来表征 各摄像头下局部 轨迹的外观特 征； S63： 将各摄像头下的局部轨迹投影到同一参考坐标系中， 并使用同一参考坐标系中的 位置来表征局部 轨迹的位置特 征； S64： 根据身份注 册模块获取当前场景需要追踪的所有目标； S65： 基于外观特征和位置特征， 使用级联匹配策略将局部轨迹与目标进行匹配， 得到 跨摄像头下行人的全局轨 迹。 7.根据权利要求1所述的基于身份识别和跨摄像头目标追踪的智能监控方法， 其特征 在于， 在所述 步骤S62中， 表征局部 轨迹外观特征的方法为： 设 为第i个摄像头下的局部轨迹集合 中的第u条轨迹， 用 和 分别表示 局部轨迹 在t时刻对应追踪框的宽和高， 通过如下公式， 局 部轨迹 的外观特征可 表征为t*时刻追踪框的行 人特征： 在所述步骤S63中， 将各摄 像头下的局部 轨迹投影到参 考坐标系的方法为： 用 表示第i个摄像头下的第u条局部轨迹 在t时刻对应追踪框的左 上顶点在图像中的位置， 其中 分别为横坐标和纵坐标， 利用如下公式可获得该 追踪框在参 考坐标系中的投影位置： 其中， Hi为第i个相机和参考平面间的映射矩阵， 该映射矩阵是根据相机的标定参数计权　利　要　求　书 2/3 页 3 CN 114693746 A 3