(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210240650.8 (22)申请日 2022.03.10 (71)申请人 广州大学 地址 510006 广东省广州市大 学城外环西 路230号 (72)发明人 曹忠　胡伟俊　尚文利　赵文静　 (74)专利代理 机构 北京高航知识产权代理有限 公司 11530 专利代理师 刘艳玲 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于集成学习方法融合时间注意力图卷积 的行为识别方法 (57)摘要 本发明涉及计算机识别技术领域， 且公开了 基于集成学习方法融合时间注意力图卷积的行 为识别方法， 包括以下步骤： 步骤一： 将拍摄得到 的人体交互行为视频拆分成图片帧， 每个视频 都 拆分成148帧； 步骤 二： 使用Openpose算 法实现人 体骨骼点的三维坐标点的数据提取； 步骤三： 使 用图结构和关节点特征矩阵来描述人体骨架， 对 于图结构， 人体骨架的 图结构的构建方式为自然 物理连接方式。 本发明是基于集 成学习方法融合 时间注意力图卷积的行为识别方法， 使用融合时 间注意力的时空图卷积网络进行行为识别， 在数 据特征描述上， 使用了静止三维信息流、 交互信 息流、 运动速度流和交互运动速度流来对人体特 征进行描述， 丰富了特 征的语义信息 。 权利要求书3页 说明书8页 附图3页 CN 114708649 A 2022.07.05 CN 114708649 A 1.基于集成学习方法融合时间注意力图卷积 的行为识别方法， 其特征在于： 包括以下 步骤： 步骤一： 将拍摄得到的人体交 互行为视频拆分成图片帧， 每 个视频都拆分成148帧； 步骤二： 使用Openpose算法实现人体骨骼点的三维坐标点的数据提取； 步骤三： 使用图结构和关节点特征矩阵来描述人体骨架， 对于图结构， 人体骨架的图结 构的构建方式为自然物理连接方式， 而关节点特征矩阵则是步骤二描述的骨骼 点三维坐标 张量； 步骤四： 对于多模态 交互特征的提取流程， 首先利用关节点的三维坐标点特征信 息(静 止三维信息流)提取出运动速度流和交互信息流， 然后通过运动速度流得到交互运动速度 流， 最后将交 互速度流和交 互运动速度流组合成交 互特征矩阵； 步骤五： 以人体的图结构和 交互特征矩阵作为时空图卷积的输入， 利用空域图卷积在 空间维度方向进 行特征提取， 利用融合时间注意力的时间图卷积在时间维度方向进行特征 提取和挖掘对行为识别有影响力的图片帧， 空域卷积模块和融合时间注意力的时间图卷积 模块共同组成融合时间注意力的时空图卷积模块； 步骤六： 重复步骤五， 重新建立一个时空图卷积模块(为了制造基分类器的差异， 我们 设计的两个时空图卷积模块的网络结构不 一样)， 对其进行训练学习； 步骤七： 利用前面的步骤建立起来的两个时空图卷积模块作为基分类器， 为避免训练 数据的随机划分对训练结果造成的差异， 每个基分类器的训练数据都要 经过五折交叉验证 来进行训练学习， 将每个基分类器的训练输出和测试输出分别整合， 作为元分类器的训练 数据输入和 测试输入； 步骤八： 使用KNN(最近邻算法)来对基分类器的预测结果数据进行决策级数据融合， 最 后实现行为识别分类。 2.根据权利要求1所述的基于集成学习方法融合时间注意力图卷积的行为识别方法， 其特征在于： 步骤二中使用Openpose工具对单帧的图片进行处理， 提取图片中的人体骨骼 关节点的三 维坐标信息， 视频中包含两个人体， 每个人体包括25个关节点， 每个关节点包括 3维坐标点， 每一个动作包含着148帧图片， 将每个视频对应图片帧的骨架按照时间顺序堆 叠在一起， 形成大小为(148， 3， 25， 2)的张量， 即为骨骼点 三维坐标 特征序列数据。 3.根据权利要求1所述的基于集成学习方法融合时间注意力图卷积的行为识别方法， 其特征在于： 步骤三中的人体的图结构的表示为： G＝(v， ε )， 其中v表 示人体骨骼关节 点， 在 本发明中v＝25， ε表示为骨骼关节点之间连接的边， 即为人体骨架； 对于图结构， 使用邻接 矩阵G∈RN×N表示人体骨架， 使用特征矩阵X∈RT×C×N×M表示人体关节点的特征信息； 邻接矩 阵G∈RN×N构建规则是： 如果人体关节点i与人体关节点j存在物理自然连接， 则Gij＝1， 否则 Gij＝0； 根据步骤二， 特 征矩阵X是一个大小为(148， 3， 25， 2)的张量。 4.根据权利要求1所述的基于集成学习方法融合时间注意力图卷积的行为识别方法， 其特征在于： 步骤四中， 多模态交 互特征提取的细节如下： 对于给定的视频骨架序列， 其关节点的公式描述如下： S＝{Jmti|m＝1， ...， M， t＝1， . ..， T， i＝1， ...， I}  (1) 其中M为一帧视频中人体的总数， T为视频序列的总长度， I为人体骨架的总关节数， Jmti 描述为视频中第m位人体在t时刻的关节点i， 在正式开始训练的之前， 需要对视频骨架序列权　利　要　求　书 1/3 页 2 CN 114708649 A 2S进行多样化预处理， 得到单模态交互数据， 并对不同的单模态交互数据进行融合， 得到多 模态交互数据， 因为骨架关节点的三 维坐标描述可通过深度摄像机或者人体姿态检测算法 获得， 所以下面我们给 出运动速度流、 交 互信息流、 交 互运动速度流的定义公式； 运动速度流： 运动速度流定义为相邻 两帧中， 相同人体的相同关节点坐标之间差值， 由 于运动速度差是第t帧与第t ‑1帧的差值， 那么计算得到的运动速度流就会少了第0帧的运 动速度信息， 所以第0帧的运动速度信息通过填补0元素的方式来扩充矩阵， 定义在第m位人 体的第t帧的关节点 i坐标为： Jm， t， i＝(xm， t， i， ym， t， i， zm， t， i) 则在第t‑1帧的关节点 i坐标为： Jm， t‑1， i＝(xm， t‑1， i， ym， t‑1， i， zm， t‑1， i) 因此相邻两帧的关节运动速度流表达为： Vm， t， i＝Jm， t， i‑Jm， t‑1， i＝(xm， t， i‑xm， t‑1， i， ym， t， i‑ym， t‑1， i， zm， t， i‑zm， t‑1， i)  (2) 交互信息流： 交互信 息流定义为相同视频帧中， 不同人体相同关节点之间的差值， 定义 在第m位人体的第t帧的关节点 i坐标为： Jm， t， i＝(xm， t， i， ym， t， i， zm， t， i) 则在第n位人体的第t帧的关节点 i坐标为： Jn， t， i＝(xn， t， i， yn， t， i， zn， t， i) 因此不同人体间的交 互信息流表达为： Mk， t， i＝Jm， t， i‑Jn， t， i＝ (xm， t， i‑xn， t， i， ym， t， i‑yn， t， i， zm， t， i‑zn， t， i)  (3) 交互运动速度流： 交互运动速度流定义为相同视频帧中， 不同人体的相同关节点间运 动速度流之间的差值， 定义在第m位人体的第t帧的运动速度流 为： Vm， t， i＝( αm， t， i， βm， t， i， γm， t， i) 则在第n位人体的第t帧的运动速度流 为 Vn， t， i＝( αn， t， i， βn， t， i， γn， t， i) 因此不同人体的交 互运动速度流表达为： MVk， t， i＝Vm， t， i‑Vn， t， i＝( αm， t， i‑αn， t， i， βm， t， i‑βn， t， i， γm， t， i‑γn， t， i)  (4) 结合式(2)和式(4)计算得到交互运动 速度流， 同时结合式(3)得到交互信息流， 对 交互 运动速度流和交互信息流进行堆叠融合， 得到多模态交互数据， 多模态交互数据融合定义 如下： InterFusi on＝{MVk， t， i+Mk， t， i|k＝1， ...， 2； t＝1， . ..， T； i＝1， ...， I}  (5) 。 5.根据权利要求1所述的基于集成学习方法融合时间注意力图卷积的行为识别方法， 其特征在于： 步骤五中， 融合时间注 意力的时空图卷积模块可分为空域卷积和时间卷积， 模 块细节如下： 在空域中， 使用人体物理连接关系构图， 用下面公式来对空域图卷积讲 行描述： 权　利　要　求　书 2/3 页 3 CN 114708649 A 3