(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210709717.8 (22)申请日 2022.06.22 (71)申请人 中国平安财产保险股份有限公司 地址 518000 广东省深圳市福田区益田路 5033号平安金融中心12、 13、 38、 39、 40 层 (72)发明人 刘兴廷　 (74)专利代理 机构 深圳国新 南方知识产权代理 有限公司 4 4374 专利代理师 周纯 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 基于多监控视频的工作行为检测方法、 装 置、 设备及 介质 (57)摘要 本申请的基于多监控视频的工作行为检测 方法、 装置、 设备及介质， 从不同摄像头拍摄的监 控视频中提取所有待识别目标的人物图像集合， 以获取该监控视频下所有待识别目标的特征集 合， 将不同摄像头拍摄的监控视频下的待识别目 标进行重识别， 能够准确汇总同一待识别目标的 所有人物图像， 进而 得到同一拍摄时间下多个人 物图像， 再根据多个人物图像进行工作行为检测 以得到该拍摄时间的工作行为， 提高了工作行为 检测的准确性， 同时， 可 以实现针对同一目标的 所有工作行为进行梳理， 有利于提高监控视频数 据利用率。 权利要求书3页 说明书10页 附图3页 CN 114937245 A 2022.08.23 CN 114937245 A 1.一种基于多监控视频的工作行为检测方法， 其特 征在于， 包括： 根据第一监控视频获取至少一个待识别目标的人物图像集合， 对每个所述待识别目标 的人物图像集合进 行特征提取， 获取所述待识别目标的特征集合， 其中， 所述人物图像集合 包括多个人物图像， 每个所述人物图像包括所述待识别目标、 对所述待识别目标的拍摄角 度、 拍摄时间以及摄像头标识， 多个所述人物图像至少包括两个所述拍摄角度， 所述特征集 合包括所述待识别目标的不同拍摄角度的特 征； 根据所述待识别目标的特征集合以及从第二监控视频中提取的多个待识别对象的特 征集合， 获取与所述待识别目标匹配的所述待识别对象； 将所述待识别目标的人物图像集合以及匹配的至少一个所述待识别对象的人物图像 集合中多个所述人物图像按照拍摄时间进 行聚类， 获取所述待识别目标在不同拍摄时间的 待处理图像集 合， 每个所述待处 理图像集 合包括同一拍摄时间的多个所述人物图像； 将所述待识别目标的所述待处理图像集合输入预先训练好的工作行为检测模型中， 输 出所述待识别目标在所述拍摄时间的工作行为结果， 其中， 所述工作行为检测模型是根据 标注有行为类别的样本图像集合训练得到的， 所述样本图像集合包括相同拍摄时间的多个 不同拍摄角度的样本对象。 2.根据权利要求1所述的基于多监控视频的工作 行为检测方法， 其特征在于， 所述行为 检测模块包括对应不同图像尺寸范围的多个特征提取通道， 不同的特征提取通道对应不同 的膨胀因子； 所述将所述待识别目标的所述待处理图像集合输入预先训练好的工作行为检测模型 中， 输出所述待识别目标在所述拍摄时间的工作行为结果， 包括： 将所述待识别目标的所述待处理图像集合中所述人物图像输入卷积模块， 输出每个所 述人物图像的特 征图； 获取每个所述特 征图的图像尺寸； 根据所述图像尺寸所在的尺寸范围将所述特征图输入至对应的所述特征提取通道， 根 据所述特征提取通道的膨胀系数对所述特征图进行卷积操作， 输出所述特征图的特征矩 阵； 根据所述待识别目标的不同所述特征矩阵对所述待识别目标进行工作 行为检测， 输出 概率向量， 其中， 所述概率向量包括所述待识别目标为每个预设行为类别的概率， 将所述概 率向量中概 率最大的行为类别作为所述工作行为结果。 3.根据权利要求2所述的基于多监控视频的工作 行为检测方法， 其特征在于， 所述卷积 模块包括具有第一卷积核的第一卷积层、 具有第二卷积核的第二卷积层以及分别具有第三 卷积核的第三卷积层和第四卷积层； 所述将所述待识别目标的所述待处理图像集合中所述人物图像输入卷积模块， 输出每 个所述人物图像的特 征图， 包括： 所述将所述待识别目标的所述待处理图像集合中所述人物图像输入第 一卷积层， 输出 每个所述人物图像的第一特 征图； 将所述第一特 征图输入至第二卷积层， 输出每 个所述人物图像的第二特 征图； 将所述第二特 征图输入至第三卷积层， 输出每 个所述人物图像的第三特 征图； 将所述第三特 征图输入至第四卷积层， 输出每 个所述人物图像的第四特 征图；权　利　要　求　书 1/3 页 2 CN 114937245 A 2将所述第三特征图和所述第四特征图进行特征融合， 输出每个所述人物图像的所述特 征图。 4.根据权利要求1所述的基于多监控视频的工作 行为检测方法， 其特征在于， 所述根据 所述待识别目标的特征集合以及从第二监控视频中提取的多个待识别对象的特征集合， 获 取与所述待识别目标匹配的所述待识别对象， 包括： 根据所述待识别目标的特征集合以及所述待识别对象的特征集合， 将所述待识别目标 和所述待识别对象进行 特征比对， 得到对应的比对值； 将所述比对值 最高的所述待识别对象作为与所述待识别目标匹配的所述待识别对象。 5.根据权利要求4所述的基于多监控视频的工作 行为检测方法， 其特征在于， 所述根据 所述待识别目标的特征集合以及所述待识别对象的特征集合， 将所述待识别目标和所述待 识别对象进行 特征比对， 得到对应的比对值， 包括： 计算所述待识别目标的特征集合以及所述待识别对象的特征集合的距离， 将所述距离 作为所述比对值。 6.根据权利要求1所述的基于多监控视频的工作 行为检测方法， 其特征在于， 所述对每 个所述待识别目标的人物图像集 合进行特征提取， 获取 所述待识别目标的特 征集合， 包括： 按照预设的划分方式将所述人物图像划分为不同网格区域， 分别提取所述人物图像中 不同网格区域的第一特 征， 得到所述人物图像的第一特 征矩阵； 将所述拍摄角度相同的所述人物图像的所述第 一特征矩阵进行特征融合， 得到所述拍 摄角度的融合特 征矩阵； 将不同所述拍摄角度的所述融合特征矩阵进行拼接， 得到所述待识别目标的所述特征 集合。 7.根据权利要求1所述的基于多监控视频的工作 行为检测方法， 其特征在于， 所述将所 述待识别目标的所述待处理图像集合输入预先训练好的工作行为检测模型中， 输出所述待 识别目标在所述拍摄时间的工作行为结果之后， 还 包括： 若所述工作 行为结果为异常行为类型， 则根据所述待识别目标的特征集合以及多个标 准对象的特征集合， 获取与所述待识别目标匹配的所述标准对象， 其中， 所述标准对象的特 征集合是根据所述标准对象的人物图像集合进行特征提取得到的， 所述标准对象的每个所 述人物图像是 预先采集得到的。 8.一种基于多监控视频的工作行为检测装置， 其特 征在于， 包括： 人物特征模块， 用于根据第一监控视频获取至少一个待识别目标的人物图像集合， 对 每个所述待识别目标 的人物图像集合进行特征提取， 获取所述待识别目标的特征集合， 其 中， 所述人物图像集合包括多个人物图像， 每个所述人物图像包括所述待识别目标、 对所述 待识别目标的拍摄角度、 拍摄时间以及摄像头， 多个所述人物图像至少包括两个所述拍摄 角度， 所述特 征集合包括所述待识别目标的不同拍摄角度的特 征； 人物重识别模块， 用于根据 所述待识别目标的特征集合以及从第 二监控视频中提取的 多个待识别对象的特 征集合， 获取与所述待识别目标匹配的所述待识别对象； 聚类获取模块， 用于将所述待识别目标的人物图像集合以及匹配的至少一个所述待识 别对象的人物图像集合中多个所述人物图像按照拍摄时间进 行聚类， 获取所述待识别目标 在不同拍摄时间的待处理图像集合， 每个所述待处理图像集合包括同一拍摄时间的多个所权　利　要　求　书 2/3 页 3 CN 114937245 A 3