(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210247791.2 (22)申请日 2022.03.14 (71)申请人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 季向阳　余杭　连晓聪　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 尚伟净 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/64(2022.01) G06V 20/52(2022.01) G06V 10/774(2022.01) G06K 9/62(2022.01) (54)发明名称 基于多视角的多人三维人体位姿估计方法 及装置 (57)摘要 本申请公开了一种基于多视角的多人三维 人体位姿估计方法及装置， 其中， 方法包括： 基于 transformer方式估计每张人体图片的每个 人的 二维人体位姿； 利用每个人的二维人体位姿， 利 用预先构建的行人重识别模型对每张人体图片 的每个人进行人员配准识别， 确定每个人的二维 关节点； 以及采用多视点三角化方式对每张图片 中每个人的二维关节点进行三角化操作， 拟合至 三维空间中的三维关键点， 生成三维人体姿态。 由此， 解决了相关技术中由于占用运算资源较 多、 运行时间较慢难以广泛应用于运算硬件条件 较差的场景， 适用性较低的技 术问题。 权利要求书2页 说明书9页 附图2页 CN 114663917 A 2022.06.24 CN 114663917 A 1.一种基于多视角的多人三维人体位姿估计方法， 其特 征在于， 包括以下步骤： 基于transformer方式估计 每张人体图片的每 个人的二维人体位姿； 利用所述每个人的二维人体位姿， 利用预先构建的行人重识别模型对所述每张人体图 片的每个人进行 人员配准识别， 确定所述每 个人的二维关节点； 以及 采用多视点三角化方式对所述每张图片中每个人的二维关节点进行三角化操作， 拟合 至三维空间中的三维关键点， 生成三维人体姿态。 2.根据权利要求1所述的方法， 其特征在于， 所述基于transformer方式估计每张人体 图片的每 个人的二维人体位姿， 包括： 利用swin‑transformer骨架检测所述每张人体图片的每 个人的二维人体位姿； 或者， 利用所述swin ‑transformer骨架估计所述每个人的关节点位置， 确定所述二维 人体位姿。 3.根据权利要求1所述的方法， 其特征在于， 在利用所述预先构建的行人重识别模型对 所述每张人体图片的每 个人进行 人员配准识别之前， 还 包括： 获取用于训练模型的公用数据集； 利用所述公用数据集在基于深度学习构建的行人重识别模型上进行训练， 生成所述预 先构建的行 人重识别模型。 4.根据权利要求1所述的方法， 其特征在于， 所述基于transformer方式估计每张人体 图片的每 个人的二维人体位姿， 包括： 基于ViT的变形框架获取 所述每张图片二维人体姿态估计。 5.一种基于多视角的多人三维人体位姿估计装置， 其特 征在于， 包括： 位姿估计模块， 用于基于transformer方式估计每张人体图片的每个人的二维人体位 姿； 识别模块， 用于利用所述每个人的二维人体位姿， 利用预先构建的行人重识别模型对 所述每张人体图片的每 个人进行 人员配准识别， 确定所述每 个人的二维关节点； 以及 生成模块， 用于采用多视点三角化方式对所述每张图片中每个人的二维关节点进行三 角化操作， 拟合至三维空间中的三维关键点， 生成三维人体姿态。 6.根据权利 要求5所述的装置， 其特征在于， 所述位姿估计模块进一步用于， 利用swin ‑ transformer骨架检测所述每张人体图片的每个人的二维人体位姿； 或者， 利用所述swin ‑ transformer骨架估计所述每 个人的关节点 位置， 确定所述 二维人体位姿。 7.根据权利要求5所述的装置， 其特 征在于， 所述识别模块包括： 获取单元， 用于获取用于训练模型的公用数据集； 生成单元， 用于利用所述公用数据集在基于深度 学习构建的行人重识别模型上进行训 练， 生成所述预 先构建的行 人重识别模型。 8.根据权利要求5所述的装置， 其特 征在于， 所述 位姿估计模块包括： 姿态估计单 元， 用于基于ViT的变形框架获取 所述每张图片二维人体姿态估计。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述程序， 以实现如权利要求 1‑4任一项所 述的基于多视角的多人三维人体位姿估计方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器权　利　要　求　书 1/2 页 2 CN 114663917 A 2执行， 以用于实现如权利要求1 ‑4任一项所述的基于多视角的多人三维人体位姿估计方法。权　利　要　求　书 2/2 页 3 CN 114663917 A 3