(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210956394.2 (22)申请日 2022.08.10 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 吕根鹏　曾凡涛　陈远旭　 (74)专利代理 机构 深圳市赛恩倍吉知识产权代 理有限公司 4 4334 专利代理师 林丽纯　刘丽华 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/10(2022.01) G06T 7/20(2017.01) G06T 7/73(2017.01)G06Q 40/00(2012.01) (54)发明名称 基于面审视频的旁人在场检测方法及相关 设备 (57)摘要 本发明涉及人工智能， 提供一种基于面审 视 频的旁人在场检测方法及相关设备。 该方法基于 人体检测模 型对多个视频帧进行检测， 得到每个 视频帧的人体检测结果， 若多个框数量均小于第 一预设数量， 提取出框数量为第二预设数量的 图 像集， 图像集包括第一图像及第二图像， 根据第 一图像所对应的第一检测框、 第二图像所对应的 第二检测框及第二图像的图像尺寸计算第二检 测框的移动信息， 获取第一检测框在第一图像的 第一运动方向， 根据移动信息识别出第二检测框 在第二图像的第二运动方向， 根据第一运动方 向、 第二运动方向及移动信息能够准确的生成视 频检测结果。 此外， 本发 明还涉及区块链技术， 所 述视频检测结果可存 储于区块链中。 权利要求书3页 说明书14页 附图2页 CN 115331144 A 2022.11.11 CN 115331144 A 1.一种基于面审视频的旁人在场检测方法， 其特征在于， 所述基于面审视频的旁人在 场检测方法包括： 获取待检测面审视频， 所述待检测面审视频中包括多个视频帧； 基于预先训练完成的人体检测模型对所述多个视频帧进行检测， 得到每个视频帧的人 体检测结果； 统计每个人体检测结果中人体 检测框的框数量； 若多个所述框数量均小于第 一预设数量， 则从所述多个视频帧中提取出所述框数量为 第二预设数量的图像集， 所述图像集包括第一图像及第二图像； 根据所述第 一图像所对应的第 一检测框、 所述第 二图像所对应的第 二检测框及所述第 二图像的图像尺寸计算所述第二检测框的移动信息； 获取所述第 一检测框在所述第 一图像的第 一运动方向， 并根据 所述移动信 息识别出所 述第二检测框在所述第二图像的第二 运动方向； 根据所述第 一运动方向、 所述第 二运动方向及所述移动信 息生成所述待检测面审视频 的视频检测结果。 2.如权利要求1所述的基于面审视频的旁人在场检测方法， 其特征在于， 在统计每个人 体检测结果中人体 检测框的框数量之后， 所述基于面审视频的旁 人在场检测方法还 包括： 若所述多个框数量中存在大于或者等于所述第 一预设数量的框数量， 则确定所述待检 测面审视频中包括旁 人。 3.如权利要求1所述的基于面审视频的旁人在场检测方法， 其特征在于， 所述从所述多 个视频帧中提取 出所述框数量 为第二预设数量的图像集包括： 从所述多个视频帧中提取 出所述框数量 为所述第二预设数量的视频帧作为初筛图像； 识别所述初筛图像在所述多个视频帧中的帧序号； 根据连贯的帧序号所对应的初筛图像生成所述图像集。 4.如权利要求1所述的基于面审视频的旁人在场检测方法， 其特征在于， 所述根据 所述 第一图像所对应的第一检测框、 所述第二图像所对应的第二检测框及所述第二图像的图像 尺寸计算所述第二检测框的移动信息包括： 根据所述第一检测框在所述第一图像中的第一框坐标信息生成所述第一检测框的第 一中心坐标信息， 并根据所述第二检测框在所述第二图像中的第二框坐标信息生成所述第 二检测框的第二中心坐标信息； 根据所述第 一中心坐标信 息、 所述第 二中心坐标信 息及所述图像尺寸计算所述移动信 息。 5.如权利要求4所述的基于面审视频的旁人在场检测方法， 其特征在于， 所述图像尺寸 包括所述第二图像的图像宽度及图像高度， 所述移动信息包括第一移动信息及第二移动信 息， 所述移动信息的计算公式为： x_move＝(this_xcenter ‑pre_xcenter)/W idth； y_move＝(this_ycenter ‑pre_ycenter)/ Height； 其中， x_move表示所述第一移动信息， this_xcenter表示所述第二中心坐标信息中与 所述x方向对应的信息， pre_xcenter表示所述第一中心坐标信息中与所述x方向对应的信 息， Width表示所述图像宽度， y_move表示所述第二检测框在y方向上的第二移动信息，权　利　要　求　书 1/3 页 2 CN 115331144 A 2this_ycenter表示所述第二中心坐标信息中与所述y方向对应的信息， pre_ycenter表 示所 述第一中心坐标信息中与所述y方向对应的信息， Height 表示所述图像高度。 6.如权利要求5所述的基于面审视频的旁人在场检测方法， 其特征在于， 所述根据 所述 移动信息识别出 所述第二检测框在所述第二图像的第二 运动方向包括： 若所述第一移动信息大于第一横轴阈值， 则确定所述第二运动方向在所述x方向上向 右运动； 或者 若所述第一移动信息小于第二横轴阈值， 则确定所述第二运动方向在所述x方向上向 左运动； 或者 若所述第一移动信 息处于所述第 二横轴阈值及所述第 一横轴阈值所构建的阈值 区间， 则确定所述第二 运动方向在所述x方向上为预设方向； 或者 若所述第二移动信息大于第一纵轴阈值， 则确定所述第二运动方向在所述y方向上向 下运动； 或者 若所述第二移动信息小于第二纵轴阈值， 则确定所述第二运动方向在所述y方向上向 上运动； 或者 若所述第二移动信 息处于所述第 二纵轴阈值及所述第 一纵轴阈值所构建的阈值 区间， 则确定所述第二 运动方向在所述y方向上为所述预设方向。 7.如权利要求5所述的基于面审视频的旁人在场检测方法， 其特征在于， 所述根据 所述 第一运动方向、 所述第二运动方向及所述移动信息生成所述待检测面审视频的视频检测结 果包括： 检测所述第一运动方向与所述第二运动方向在所述x方向上是否相同， 并检测所述第 一运动方向与所述第二 运动方向在所述y方向上 是否相同； 若所述第一运动方向与所述第二运动方向在所述x方向上相反， 及所述第一移动信息 大于第一移动阈值， 则确定所述视频检测结果 为所述待检测面审视频中包括旁 人； 或者 若所述第一运动方向与所述第二运动方向在所述y方向上相反， 及所述第二移动信息 大于第二移动阈值， 则确定所述视频检测结果 为所述待检测面审视频中包括旁 人。 8.一种基于面审视频的旁人在场检测装置， 其特征在于， 所述基于面审视频的旁人在 场检测装置包括： 获取单元， 用于获取待检测面审视频， 所述待检测面审视频中包括多个视频帧； 检测单元， 用于基于预先训练完成的人体检测模型对所述多个视频帧进行检测， 得到 每个视频帧的人体 检测结果； 统计单元， 用于统计 每个人体检测结果中人体 检测框的框数量； 提取单元， 用于若多个所述框数量均小于第一预设数量， 则从所述多个视频帧中提取 出所述框数量 为第二预设数量的图像集， 所述图像集包括第一图像及第二图像； 计算单元， 用于根据所述第一图像所对应的第一检测框、 所述第二图像所对应的第二 检测框及所述第二图像的图像尺寸计算所述第二检测框的移动信息； 识别单元， 用于获取所述第一检测框在所述第一图像的第一运动方向， 并根据所述移 动信息识别出 所述第二检测框在所述第二图像的第二 运动方向； 生成单元， 用于根据所述第一运动方向、 所述第二运动方向及所述移动信息生成所述 待检测面审视频的视频检测结果。权　利　要　求　书 2/3 页 3 CN 115331144 A 3