(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211219816.4 (22)申请日 2022.10.08 (71)申请人 南京硅基智能科技有限公司 地址 210012 江苏省南京市雨 花台区凤信 路20号万博科技园C号楼4层 (72)发明人 司马华鹏 　姜皓　范宏伟　屈奇勋　 栾锦泰　李佳斌　 (74)专利代理 机构 北京弘权知识产权代理有限 公司 11363 专利代理师 逯长明　占园 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/77(2022.01) (54)发明名称 健身动作识别模 型、 模型的训练方法及健身 动作识别方法 (57)摘要 本申请实施例提供了一种健身动作识别模 型、 模型的训练方法及健身动作识别方法， 模型 包括获取深度图像中训练对象的图像信息的信 息提取层； 通过随机决策森 林对人体关键点三维 坐标进行位置估计； 将训练对象的身体部位定义 为相应的身体组件， 并标定身体组件对应的所有 人体关键点三维坐标的像素点定位层； 通过所有 人体关键点三维坐标， 提取用于动作识别的关键 点位置特征、 身体移动速度特征和关键点移动速 度特征的特征提取层； 将关键点位置特征、 身体 移动速度特征、 关键点移动速度特征组合为高维 特征向量， 并将高维特征向量进行降维的向量降 维层； 对降维后的高维特征向量进行分类， 以识 别训练对象的健身动作的特 征向量分类层。 权利要求书2页 说明书9页 附图4页 CN 115294660 A 2022.11.04 CN 115294660 A 1.一种健身动作识别模型， 其特征在于， 包括信 息提取层、 像素点定位层、 特征提取层、 向量降维层和特 征向量分类层， 其中： 所述信息提取层用于获取深度图像中训练对象的图像信 息， 所述图像信 息包括所述深 度图像中所有像素点对应的人体关键点 三维坐标； 所述像素点定位层用于通过随机决策森林对所述人体关键点三维坐标进行位置估计； 将所述训练对象的身体部位定义为相应的身体组件， 并标定所述身体组件对应的所有 人体 关键点三维坐标； 所述特征提取层用于通过所述所有人体关键点三维坐标， 提取用于动作识别的关键点 位置特征、 身体移动速度特 征和关键点移动速度特 征； 所述向量降维层用于将所述关键点位置特征、 所述身体移动速度特征、 所述关键点移 动速度特 征组合为高维特 征向量， 并将所述高维特 征向量进行降维； 所述特征向量分类层用于对降维后的所述高维特征向量进行分类， 以识别所述训练对 象的健身动作。 2.一种健身动作识别模型的训练方法， 应用于权利要求1所述的模型中， 其特征在于， 包括： 通过三维视觉传感器采集训练对象的运动过程视频， 并根据所述运动视频提取包含所 述训练对象的连续多帧的深度图像； 将所述连续多帧的深度图像输入至待训练健身动作识别模型， 所述待训练健身动作识 别模型根据初始模型参数 执行以下步骤： 获取所述深度图像中所述训练对象的图像信 息， 所述图像信 息包括所述深度图像 中所 有像素点对应的人体关键点 三维坐标； 通过随机决策森林对所述人体关键点 三维坐标进行位置估计； 将所述训练对象的身体部位定义为相应的身体组件， 并标定所述身体组件对应的所有 人体关键点 三维坐标； 通过所述所有人体关键点三维坐标， 提取用于动作识别的关键点位置特征、 身体移动 速度特征和关键点移动速度特 征； 将所述关键点位置特征、 所述身体移动速度特征、 所述关键点移动速度特征组合为高 维特征向量， 并将所述高维特 征向量进行降维； 对降维后的所述高维特征向量进行分类， 以识别所述训练对象的健身动作， 并根据识 别到的所述健身动作优化所述初始模型参数， 直至达到模型收敛条件， 完成训练， 得到目标 健身动作识别模型。 3.根据权利要求2所述的方法， 其特征在于， 通过随机决策森林对所述人体关键点三维 坐标进行位置估计的具体步骤为： 将所述训练对象的身体部位定义为若干个不同的身体标签， 所述身体标签包括估计标 签和填补标签； 所述估计标签用于直接估计所述深度图像中所述训练对象的特定人体关键 点三维坐标， 所述填补标签用于填补所述深度图像中所述训练对象的身体空白区域或预测 所述训练对象的其 他关节人体关键点 三维坐标； 通过所述深度图像提取深度图像特征， 并将所述深度图像特征与所述随机决策森林进 行组合， 以区分所有标定训练过的所述身体标签；权　利　要　求　书 1/2 页 2 CN 115294660 A 2通过区分过的所述身体标签对所述深度图像中所述训练对象的所有人体关键点三维 坐标进行位置估计。 4.根据权利要求3所述的方法， 其特征在于， 通过随机决策森林对所述人体关键点三维 坐标进行位置估计还 包括： 根据每个所述身体标签的概率密度估计量， 得到所述人体关键点三维坐标的位置估计 概率值， 根据所述 位置估计概 率值对所述人体关键点 三维坐标进行位置估计； 根据所述位置估计概率值得到像素权重， 以获取所述每个身体标签对应的人体关键点 三维坐标。 5.根据权利要求3所述的方法， 其特征在于， 所述随机决策森林由若干棵随机决策树组 成， 每棵所述随机决策树都通过以下步骤进行训练得到： 获取一组随机的决策树分支 节点候选值； 通过所述决策树分支 节点候选值将 样本集分成左子集和右子集； 获取所述样本集的最大增益， 当所述最大增益没有使所述决策树的深度达到预设值 时， 则在所述左子集和右子集中继续 递归， 直至所述决策树的深度达 到预设值， 完成训练。 6.根据权利要求2所述的方法， 其特征在于， 标定所述训练对象相应身体组件对应的所 有人体关键点 三维坐标之前， 还 包括： 当对连续多帧的所述深度图像进行检测时， 对于未检测到人体关键点的对应帧， 则将 所述对应帧判定为无效帧， 并将所述无效帧舍弃。 7.根据权利要求2所述的方法， 其特征在于， 标定所述训练对象相应身体组件对应的所 有人体关键点 三维坐标之前， 还 包括： 当对连续多帧的所述深度图像进行检测时， 对于未标定到所有人体关键点的对应帧， 当所述对应帧中缺失的人体关键点超过设定阈值时， 则将所述对应帧舍弃； 当所述对应帧中缺失的人体关键点未超过设定 阈值时， 则基于所述对应帧的前一帧中 所述缺失的人体关键点对应身体组件与所述训练对象脖子的相对位置， 确认所述缺 失的人 体关键点， 并补齐所述对应帧中所有缺失的人体关键点。 8.根据权利要求2所述的方法， 其特征在于， 对降维后的所述高维特征向量进行分类的 方法包括： K近邻算法、 支持向量机、 深度神经网络、 随机森林。 9.一种健身动作识别方法， 其特 征在于， 包括： 通过深度图像传感器采集目标对象的健身视频； 将采集的所述健身视频传入训练完成的健身动作识别模型， 所述健身动作识别模型为 采用权利要求2 ‑8任一项训练方法训练得到的； 通过所述训练完成的健身动作识别模型对所述目标对象的健身动作进行识别。权　利　要　求　书 2/2 页 3 CN 115294660 A 3