(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210238397.2 (22)申请日 2022.03.10 (71)申请人 平安科技 （深圳） 有限公司 地址 518033 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 陈丹　陆进　刘玉宇　肖京　 (74)专利代理 机构 北京鸿元知识产权代理有限 公司 11327 专利代理师 王迎　袁文婷 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06V 20/40(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 基于投票机制的行为识别方法、 装置 设备及 存储介质 (57)摘要 本发明涉及人工智能技术领域， 揭露一种基 于投票机制的行为识别方法， 包括： 获取带有样 本行为的目标视频的第一时域段； 基于所述第一 时域段， 获取与所述目标视频相对应的扩增视频 段； 将所述扩增视频段分别输入 预设的神经网络 模型中进行训练， 直至所述神经网络模型训练成 行为识别模 型； 基于所述行为识别模 型对待识别 视频中的行为进行行为识别， 并获取对应的识别 结果； 对所述识别结果进行投票， 并基于所述投 票的结果， 确定所述待识别视频的最终行为结 果。 本发明可以提高基 于行为识别的准确度。 权利要求书2页 说明书14页 附图2页 CN 114639164 A 2022.06.17 CN 114639164 A 1.一种基于投票机制的行为识别方法， 其特 征在于， 所述方法包括： 获取带有样本行为的目标视频的第一时域段； 基于所述第一时域段， 获取与所述目标视频相对应的扩增视频 段； 将所述扩增视频段分别输入预设的神经网络模型中进行训练， 直至所述神经网络模型 训练成行为识别模型； 基于所述行为识别模型对待识别视频中的行为进行行为识别， 并获取对应的识别结 果； 对所述识别结果进行投票， 并基于所述投票的结果， 确定所述待识别视频的最终行为 结果。 2.如权利要求1所述的基于投票机制的行为识别方法， 其特征在于， 所述获取带有样本 行为的目标视频的第一时域段的步骤 包括： 基于预设检测模型获取 所述样本行为的行 人框以及目标物体的物体框； 获取所述行人框的第一 位置坐标信息， 以及所述物体框的第二 位置坐标信息； 基于所述第 一位置坐标信 息和所述第 二位置坐标信 息之间的距离， 确定所述第 一时域 段。 3.如权利要求1所述的基于投票机制的行为识别方法， 其特征在于， 所述获取带有样本 行为的目标视频的第一时域段的步骤 还包括： 基于预设 关键点识别模型， 获取样本行为的行 人关键点， 以及目标物体的物体关键点； 分别获取 所述行人关键点与预设个数的所述物体关键点的中心位置之间的目标距离； 当所述目标距离小于指定 阈值时， 确定与当前距离对应的当前帧图片所对应的时间作 为所述样本行为的起始 时刻， 当所述 目标距离大于所述指定阈值时， 确定与当前距离对应 的当前帧图片对应的时间为终止时刻； 基于所述 起始时刻和所述终止时刻， 确定所述第一时域段。 4.如权利要求1所述的基于投票机制的行为识别方法， 其特征在于， 所述基于所述第 一 时域段， 获取与所述目标视频相对应的扩增视频 段的步骤， 包括： 基于所述第一时域段， 确定所述第一时域段内的视频的视频帧数； 基于所述视频帧数， 以所述第一时域段的视频为基准， 向前和向后分别扩展预设个数 的视频段； 基于向前和向后扩展后的视频 段和所述第一时域段的视频， 确定所述扩增视频 段。 5.如权利要求1至4任一项所述的基于投票机制的行为识别方法， 其特征在于， 将所述 扩增视频段分别输入预设的神经网络模型中进行训练， 直至所述神经网络模型形成行为识 别模型的步骤 包括： 对所述扩增视频 段进行预处理， 获取输入数据； 将所述输入数据输入所述神经网络模型的输入层， 并迭代训练所述神经网络模型， 直 至收敛在预设范围内， 形成所述行为识别模型。 6.如权利要求5所述的基于投票机制的行为识别方法， 其特征在于， 所述对所述扩增视 频段进行预处理， 获取输入数据的步骤 包括： 对所述扩增视频 段分别进行等距截帧处 理， 获取对应的序列图片； 获取相邻两序列图片之间的帧差图；权　利　要　求　书 1/2 页 2 CN 114639164 A 2对各扩增视频的所述帧差图分别进行拼接， 获取与扩增视频分别对应的拼接后的图像 数据； 基于所述各扩增视频的图像数据， 确定所述输入数据。 7.如权利要求1所述的基于投票机制的行为识别方法， 其特征在于， 所述对所述识别结 果进行投票， 并基于所述投票的结果， 确定所述待识别视频的最终行为结果的步骤 包括： 获取所述待识别视频的各扩增视频 段的识别结果； 基于预设权 重匹配规则， 对各识别结果赋予对应的投票权 重； 基于所述投票权重及识别结果， 确定所述各识别结果的投票得分， 并基于所述投票得 分的最高分， 确定所述 最终行为结果。 8.一种基于投票机制的行为识别装置， 其特 征在于， 所述装置包括： 时域段获取 单元， 用于获取 带有样本行为的目标视频的第一时域段； 视频扩增单 元， 用于基于所述第一时域段， 获取与所述目标视频相对应的扩增视频 段； 模型训练单元， 用于将所述扩增视频段分别输入预设的神经网络模型中进行训练， 直 至所述神经网络模型训练成行为识别模型； 结果识别单元， 用于基于所述行为识别模型对待识别视频中的行为进行行为识别， 并 获取对应的识别结果； 行为确定单元， 用于对所述识别结果进行投票， 并基于所述投票的结果， 确定所述待识 别视频的最终行为结果。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处理器能够执行如权利要求 1至7中任一所述的基于投票机制 的行为识别方法中的步骤。 10.一种计算机可读存储介质， 存储有计算机程序， 其特征在于， 所述计算机程序被处 理器执行时实现如权利要求1至7中任一所述的基于投票机制的行为识别方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114639164 A 3