(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210629042.6 (22)申请日 2022.06.06 (71)申请人 上海师范大学 地址 200233 上海市徐汇区桂林路10 0号 (72)发明人 林晓　王学鑫　黄伟　高幕峰　 郑晓妹　黄继风　 (74)专利代理 机构 上海今达专利代理事务所 (普通合伙) 31373 专利代理师 张云 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于骨架的轻量化武术动作识别评分 方法及装置 (57)摘要 本申请实施例公开了一种基于骨架的轻量 化武术动作识别评分方法及装置； 所述方法包 括： 通过获取学生的武术动作 帧图， 并将该武术 动作帧图生成骨架数据； 根据预设的图卷积神经 网络层， 分析同一帧图的骨架数据的关节类型以 及关节之间的相关性； 获取所有动作帧图的聚合 数据； 根据所述聚合数据进行武术分类， 得到分 类输出结果； 对比所述分类输出结果和预设的标 准动作数据， 以进行武术动作评分； 本申请实施 例智能化对武术动作进行评分， 提高了评分结果 的准确性， 网络结构简单， 耗时短， 提升了评分的 效率， 减轻了教师的工作压力。 权利要求书3页 说明书8页 附图2页 CN 114863569 A 2022.08.05 CN 114863569 A 1.一种基于骨架的轻量化武术动作识别评分方法， 其特征在于， 所述方法包括以下步 骤： 获取学生的武术动作帧图， 并将该武术动作帧图生成骨架数据； 根据预设的图卷积神经网络层， 分析同一帧图的骨架数据的关节类型以及 关节之间的 相关性； 获取所有动作帧图的聚合数据； 根据所述聚合数据进行武术分类， 得到分类输出 结果； 对比所述分类输出 结果和预设的标准动作数据， 以进行武术动作评分。 2.根据权利要求1所述的基于骨架的轻量化武术动作识别 评分方法， 其特征在于， 所述 获取学生的武术动作帧图， 并将该武术动作帧图生成骨架数据， 包括： 获取学生的武术动作帧图， 将视频动作分为多个武术动作帧图； 通过深度传感器捕 获学生的武术动作数据， 每帧所述武术动作帧图中包含人体的多个 关节， 生成骨架数据； 其中， 骨架数据中的骨架数列的所有关节用集 合S表示： 其中， 表示t帧时类型为k的关节， 关节 的位置用三维坐标Pt,k来表示， 速度为相邻 两帧位置之差， 用Vt,k表示； 将位置信息进行嵌入： 其中， W1、 W2均为权重矩阵， b1和b2均为偏置系数， σ 表示激活函数； 将位置之差进行嵌入： 其中， W3、 W4均为权重矩阵， b3和b4均为偏置系数， σ 表示激活函数； 融合 和 得到动力学参数， 记为Zt,k。 3.根据权利要求2所述的基于骨架的轻量化武术动作识别 评分方法， 其特征在于， 所述 根据预设的图卷积神经网络层， 分析同一帧图的骨架数据的关节类型以及关节之 间的相关 性， 包括： 针对同一帧图中的关节间进行学习， 将关节类型语义合并到 图卷积神经网络层中， 学 习内容自适应图； 通过关节类型语义和动力学数据进行学习内容自适应图连接， 得到连接权重与关节间 的关系； 对于类型为 k的关节用向量jk来表示， 得到对应的嵌入 其中， W5、 W6均为权重矩阵， b5和b6均为偏置系数， σ 表示激活函数； 则t帧中类型为k的关节表示为 t帧的所有关节由Zt＝(zt,1； ...； zt,J)权　利　要　求　书 1/3 页 2 CN 114863569 A 2表示， 按照： 进行建模同一帧中关节i到j间的边 缘权重； 其中， θ和 均为转换函数； 计算得到一帧图中所有关节间的亲和性， 得到规范化后的邻接矩阵Gt， 按照： Z′t＝GtZtWy+ZtWz； 得到输出权重矩阵Z't， 分享给其帧图， 其中， Wy和Wz均为变换矩阵。 4.根据权利要求1所述的基于骨架的轻量化武术动作识别 评分方法， 其特征在于， 所述 获取所有动作帧图的聚合数据之前， 还 包括： 将轻量化多模注意力模块插入到所述图卷积神经网络中， 通过从空间、 时间和特征角 度提供不同的注意力， 以适应性 地重新校准 不同数据样本的关节、 框架和通道的激活。 5.根据权利要求2所述的基于骨架的轻量化武术动作识别 评分方法， 其特征在于， 所述 获取所有动作帧图的聚合数据， 包括： 使用帧索引 语义来建模帧间关系， 通过两个卷积神经网络层建模帧间依赖关系， 增强 学习特征表示能力， 合并一帧图中的所有关节信息， 再将所有帧图的信息进行聚合， 得到聚 合数据； 其中， 使用向量ft来表示帧索引， 计算出嵌入为 其中， W7、 W8均为权重矩阵， b7和b8均为偏置系数， σ 表示激活函数； 则t帧中类型为 k的关节表示为 6.根据权利要求5所述的基于骨架的轻量化武术动作识别 评分方法， 其特征在于， 所述 根据所述聚合数据进行武术分类， 得到分类输出 结果， 包括： 基于传统的随机向量 函数链网络构建宽度学习 系统， 使用宽度学习系统完成分类任务， 将所述 聚合数据映射特征， 得到特征节点， 再将映射 特征增强， 得到增强节点， 按照： 得到特征节点和 增强节点的特 征， 其中， WM、 WE为连接权重； 通过计算对应的映射矩阵的伪逆得到 输出系数， 结合特 征节点和 增强节点， 按照： ο ＝[Z|H]Wo； 得到分类输出 结果。 7.根据权利要求1所述的基于骨架的轻量化武术动作识别 评分方法， 其特征在于， 所述 对比所述分类输出 结果和预设的标准动作数据， 以进行武术动作评分， 包括： 提前采集标准动作数据； 使用逐帧匹配的方法进行武术动作评分， 将武术动作分为若干种； 对比所述分类输出结果和标准动作数据， 如匹配成功， 则说明该动作符合标准， 得分，权　利　要　求　书 2/3 页 3 CN 114863569 A 3