(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210587013.8 (22)申请日 2022.05.27 (71)申请人 南方科技大 学 地址 518055 广东省深圳市南 山区桃源街 道学苑大道1088号 (72)发明人 何志海　阚哲涵　叶涛　史建清　 吴昊　欧阳健　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 孙果 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/40(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种自约束优化的人体姿态估计方法及系 统 (57)摘要 本发明公开了一种自约束优化的人体姿态 估计方法及系统， 方法包括： 获取人体关节点热 图， 并基于人体 关节点热图确定单个人体所对应 的人体关节点； 对人体关节点进行分组， 并确定 人体关节 点中的基础关节点与 末端关节点； 联合 训练主网络以及与主网络对称的对偶网络， 基于 已训练的主网络对基础关节点与末端关节点进 行姿态预测， 分别得到基础关节 点与末端关节点 对应的姿态预测结果， 并利用已训练的对偶网络 来对末端关节点对应的姿态预测结果进行局部 细化， 得到最终预测结果。 本发明通过主网络和 对偶网络， 以基于自监督的约束来描述人体骨架 结构的相关性， 并且还可对置信度低的是末端关 节点进行优化， 从而提高姿态识别的精度与鲁棒 性。 权利要求书2页 说明书10页 附图3页 CN 115116128 A 2022.09.27 CN 115116128 A 1.一种自约束优化的人体姿态估计方法， 其特 征在于， 所述方法包括： 获取人体关节点热图， 并基于所述人体关节点热图确定单个人体所对应的人体关节 点； 对所述人体关节点进行分组， 并确定所述人体关节点中的基础关节点与末端关节点， 其中， 所述基础关节点为身体躯干周围的人体关节点， 所述末端关节点为位于身体部位末 端或者尖端位置的人体关节点； 联合训练主 网络以及与所述主 网络对称的对偶网络， 基于已训练 的所述主 网络对所述 基础关节点与末端关节点进行姿态预测， 分别得到所述基础关节点与所述末端关节点对应 的姿态预测结果； 利用已训练的所述对偶网络来对所述末端关节点对应的姿态预测结果进行局部细化， 得到最终预测结果。 2.根据权利要求1所述的自约束优化的人体姿态估计方法， 其特征在于， 所述获取人体 关节点热图， 并基于所述人体关节点热图确定单个人体所对应的人体关节点， 包括： 获取图像数据集， 并基于预设的人体姿态估计模型对所述图像数据集进行检测， 得到 单个人体的人体关节点热图； 根据所述人体关节点热图， 确定单个人体的人体关节点， 其中所述人体关节点 为17个。 3.根据权利要求1所述的自约束优化的人体姿态估计方法， 其特征在于， 所述对所述人 体关节点进行分组， 并确定所述人体关节点中的基础关节点与末端关节点， 包括： 基于人体骨架结构， 对所述人体关节点进行分组， 得到若干结构组， 每一个所述结构组 中均包括若干所述人体关节点； 基于若干所述结构组， 确定所述人体关节点中的基础关节点与末端关节点。 4.根据权利要求3所述的自约束优化的人体姿态估计方法， 其特征在于， 所述基于人体 骨架结构， 对所述人体关节点进行分组， 得到若干结构组， 包括： 基于人体骨架结构， 确定身体部位中的下肢、 上肢以及头 部； 将所述人体关节点按照下肢、 上肢以及头部进行划分， 得到下肢、 上肢以及头部所对应 的结构组， 其中下肢、 上肢以及头部均设置有两个结构组， 且每个结构组包括四个人体关节 点。 5.根据权利要求3所述的自约束优化的人体姿态估计方法， 其特征在于， 所述联合训练 主网络以及与所述主网络对称的对偶网络， 包括： 将若干人体关节点热图以及人体关节点对应的特征图输入至主网络 中， 得到末端关节 点的预测热图； 将所述末端关节点的预测热图与标注数据进行比较， 并定义所述主网的预测损失； 将所述末端关节点的预测热图、 若干人体关节点热图以及特征图输入至对偶网络中， 得到基础关节点的预测热图， 其中， 所末端关节点与所述基础关节点均属于同一个结构组； 将所述基础关节点的预测热图与真实热图进行比较， 并定义所述主网的自监 督损失； 基于所述预测损失与所述自监 督损失， 训练所述主网络 。 6.根据权利要求5所述的自约束优化的人体姿态估计方法， 其特征在于， 所述联合训练 主网络以及与所述主网络对称的对偶网络， 包括： 对于对偶网络， 输入若干人体关节点热图以及特 征图， 得到基础关节点的预测热图；权　利　要　求　书 1/2 页 2 CN 115116128 A 2定义对偶网络的整体损失函数， 并基于所述整体损失函数联合训练所述主 网络和所述 对偶网络 。 7.根据权利要求6所述的自约束优化的人体姿态估计方法， 其特征在于， 所述利用已训 练的所述对偶网络来对所述末端关节点对应的姿态预测结果进行局部细化， 得到最 终预测 结果， 包括： 在所述末端关节点对应的姿态预测结果上添加扰动数据， 并进行局部搜索以最小化所 述自监督损失； 选取所述自监督损失最小的末端关节点对应的姿态预测结果作为所述末端关节点的 最终预测结果。 8.一种自约束优化的人体姿态估计系统， 其特 征在于， 所述系统包括： 人体关节点确定模块， 用于获取人体关节点热图， 并基于所述人体关节点热图确定单 个人体所对应的人体关节点； 人体关键分组模块， 用于对所述人体关节点进行分组， 并确定所述人体关节点中的基 础关节点与末端关节点， 其中， 所述基础关节点为身体躯干周围的人体 关节点， 所述末端关 节点为位于身体部位末端或者尖端位置的人体关节点； 网络联合训练模块， 用于联合训练主网络以及与所述主网络对称的对偶网络， 基于已 训练的所述主网络对所述基础关节点与末端关节 点进行姿态预测， 分别得到所述基础关节 点与所述末端关节点对应的姿态预测结果； 姿态估计优化模块， 用于利用已训练 的所述对偶网络来对所述末端关节点对应的姿态 预测结果进行局部细化， 得到最终预测结果。 9.一种终端设备， 其特征在于， 所述终端设备包括存储器、 处理器及存储在所述存储器 中并可在处理器上运行的自约束优化的人体姿态估计程序， 所述处理器执行所述自约束优 化的人体姿态估计程序时， 实现如权利要求1 ‑7任一项所述的自约束优化的人体姿态估计 方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有自约束 优化的人体姿态估计程序， 所述自约束优化的人体姿态估计程序被处理器执行时， 实现如 权利要求1 ‑7任一项所述的自约束优化的人体姿态估计方法的步骤。权　利　要　求　书 2/2 页 3 CN 115116128 A 3