(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211185729.1 (22)申请日 2022.09.27 (71)申请人 阿里巴巴 （中国） 有限公司 地址 311121 浙江省杭州市余杭区五常街 道文一西路969号3幢5层5 54室 (72)发明人 钱一琛　孙修宇　 (74)专利代理 机构 北京同钧律师事务所 16 037 专利代理师 柴海平　许怀远 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 视频行为识别方法、 系统、 装置及设备 (57)摘要 本申请提供一种视频行为识别方法、 系统、 装置及设备。 本申请的方法， 通过采样多个视频 帧输入行为识别模型提取多层不同空间尺度的 动作特征， 对多层的动作特征分别进行相关性分 析得到多层的相关性特征， 不同层的相关性特征 的空间尺度不同； 通过融合多层的相关性特征得 到多尺度融合的相关性特征， 得到一个稠 密的相 关性特征场， 使得行为识别模型能够捕捉到更精 细的动作特征， 比如小物体的移动和快速移动的 特征信息； 根据将多尺度融合的相关性特征与所 提取的动作特征融合得到的融合特征进行行为 分类识别， 得到行为识别结果， 提升了视频行为 识别的效果和性能， 提升了行为识别模型在实际 应用场景中的鲁棒 性。 权利要求书3页 说明书18页 附图9页 CN 115512267 A 2022.12.23 CN 115512267 A 1.一种视频 行为识别方法， 其特 征在于， 包括： 获取待识别的视频 数据， 所述视频 数据包含多个视频帧； 将所述多个视频帧输入行为识别模型， 通过所述行为识别模型提取所述多个视频帧的 多层的动作特 征， 不同层的动作特 征具有不同的空间尺度； 对所述多层的动作 特征分别进行相关性分析得到多层的相关性特征， 不同层的相关性 特征的空间尺度不同， 融合多层的相关性特征得到多尺度融合的相关性特征， 并将所述多 尺度融合的相关性特 征融入所提取的动作特 征中， 得到融合特 征； 根据所述融合特 征， 进行行为分类识别， 得到所述视频 数据中目标的行为识别结果。 2.根据权利要求1所述的方法， 其特征在于， 所述行为识别模型包括特征提取模块， 所 述特征提取模块包括多层由上到下依 次堆叠的特征提取层， 上层的输出作为下层的输入， 所述多个视频帧输入最上层的特 征提取层中， 所述对所述多层的动作特征分别进行相关性分析得到多层的相关性特征， 不同层的相 关性特征 的空间尺度不同， 融合多层的相关性特征得到多尺度融合的相关性特征， 并将所 述多尺度融合的相关性特 征融入所提取的动作特 征中， 得到融合特 征， 包括： 在多层的特征提取层中， 对当前层提取的动作 特征进行相关性分析得到当前层的相关 性特征； 将当前层的相关性特征与至少一上层的相关性特征融合， 得到当前层的多尺度融合的 相关性特 征； 将当前层的多尺度融合的相关性特 征与动作特 征融合， 得到当前层的输出 特征； 最下层特 征提取层的输出 特征为所述特 征提取模块输出的融合特 征。 3.根据权利要求1所述的方法， 其特征在于， 所述行为识别模型包括特征提取模块， 所 述特征提取模块包括多层由上到下依 次堆叠的特征提取层， 上层的输出作为下层的输入， 所述多个视频帧输入最上层的特 征提取层中， 所述对所述多层的动作特征分别进行相关性分析得到多层的相关性特征， 不同层的相 关性特征 的空间尺度不同， 融合多层的相关性特征得到多尺度融合的相关性特征， 并将所 述多尺度融合的相关性特 征融入所提取的动作特 征中， 得到融合特 征， 包括： 在多层的特征提取层中， 对当前层提取的动作 特征进行相关性分析得到当前层的相关 性特征， 并将当前层的相关性特 征与动作特 征融合， 得到当前层的输出 特征； 融合多层的相关性特征得到多尺度融合的相关性特征， 将所述多尺度融合的相关性特 征与最下层的输出 特征融合， 得到融合特 征。 4.根据权利要求1 ‑3中任一项所述的方法， 其特征在于， 对任一层的动作 特征进行相关 性分析得到当前层的相关性特 征， 包括： 任一层的动作 特征包含每一视频帧对应的一帧动作特征， 分别将每一帧动作 特征作为 目标帧， 在当前层的动作特 征中确定所述目标帧的至少一个相邻帧； 将所述目标帧与每一所述相邻帧进行相关性计算， 得到所述目标帧与每一所述相邻帧 间的相关性特 征； 将所述目标帧与所述至少一个相邻帧间的相关性特征融合， 得到当前层的所述目标帧 对应的相关性特 征。 5.根据权利要求4所述的方法， 其特征在于， 所述在 当前层的动作特征中确定所述目标权　利　要　求　书 1/3 页 2 CN 115512267 A 2帧的至少一个相邻帧， 包括： 根据配置的预设数量， 在 当前层的动作 特征中确定所述目标帧对应视频帧的预设数量 的相邻视频帧， 所述预设数量大于1； 将所述相邻视频帧对应的动作特 征作为所述目标帧的相邻帧。 6.根据权利要求4所述的方法， 其特征在于， 所述将所述目标帧与每一所述相邻帧进行 相关性计算， 得到所述目标帧与每一所述相邻帧间的相关性特 征， 包括： 根据配置的特征块大小， 确定所述目标帧中的多个第一特征块， 并在所述相邻帧中确 定与所述第一特 征块相匹配的第二特 征块； 计算每一所述第一特征块与相匹配的第 二特征块的相似度， 根据每一所述第 一特征块 与相匹配的第二特 征块的相似度， 确定所述目标帧与每一所述相邻帧间的相关性特 征。 7.根据权利要求1所述的方法， 其特征在于， 所述融合多层的相关性特征得到多尺度融 合的相关性特 征， 包括： 将待融合的多层相关性特 征中空间尺度最小的相关性特 征作为目标 特征； 对除所述目标特征之外的待融合的相关性特征进行下采样， 下采样后的特征与所述目 标特征具有相同的空间尺度； 将下采样后的特 征与所述目标 特征融合， 得到多尺度融合的相关性特 征。 8.根据权利要求1所述的方法， 其特 征在于， 所述获取待识别的视频 数据， 包括： 获取待识别的视频， 从所述待识别的视频中采样得到多个视频帧， 所述多个视频帧构 成待识别的视频 数据。 9.一种视频 行为识别系统， 其特 征在于， 包括： 端侧设备， 用于获取待识别的视频 数据， 所述视频 数据包含多个视频帧； 云侧设备， 用于将所述多个视频帧输入行为识别模型， 通过所述行为识别模型提取所 述多个视频帧的多层的动作特征， 不同层的动作特征具有不同的空间尺度； 对所述多层的 动作特征分别进 行相关性分析得到多层的相关性特征， 不同层的相关性特征的空间尺度不 同， 融合多层的相关性特征得到多尺度融合的相关性特征， 并将所述多尺度融合的相关性 特征融入所提取的动作特征中， 得到融合特征； 根据所述融合特征， 进行行为分类识别， 得 到所述视频 数据中目标的行为识别结果； 所述云侧设备还用于向所述端侧设备发送所述行为识别结果； 所述端侧设备还用于根据所述行为识别结果进行后处 理， 并输出后处 理结果。 10.根据权利要求9所述的系统， 其特 征在于， 所述端侧设备获取待识别的视频， 包括： 采集车辆行驶过程中的驾驶员的视频 数据； 所述端侧设备根据所述行为识别结果进行后处 理， 并输出后处 理结果， 包括： 根据所述行为识别结果， 在确定驾驶员具有预设不安全驾驶行为时， 通过输出装置向 驾驶员输出警示信息 。 11.一种电子设备， 其特 征在于， 包括： 处 理器， 以及与所述处 理器通信连接的存 储器； 所述存储器存储计算机执 行指令； 所述处理器执行所述存储器存储的计算机执行指令， 以实现如权利要求1 ‑8中任一项 所述的方法。 12.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机权　利　要　求　书 2/3 页 3 CN 115512267 A 3