(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210450976.3 (22)申请日 2022.04.26 (71)申请人 北京市商汤科技 开发有限公司 地址 100080 北京市海淀区北四环西路58 号11层1101-1117室 (72)发明人 金代圣　赵海宇　 (74)专利代理 机构 北京林达刘知识产权代理事 务所(普通 合伙) 11277 专利代理师 刘新宇 (51)Int.Cl. G06T 17/20(2006.01) G06T 7/73(2017.01) (54)发明名称 关键点检测方法及装置、 电子 设备和存储介 质 (57)摘要 本公开涉及一种关键点检测方法及装置、 电 子设备和存储介质， 通过确定目标球场的三维信 息序列， 并确定其中每个三维信息对应时刻目标 对象在球场中的运动状态， 在运动状态被判断为 目标状态时确定对应的第一时刻。 由第一时刻开 始回溯每个三维信息， 确定目标对象对应的目标 球员， 和目标对象与目标球员分离的第二时刻。 由第二时刻开始回溯每个三维信息， 确定目标球 员的第二点云确定目标球员在三维球场坐标系 中的关键点。 本公开实施例能够通过构建目标球 场上的三维信息序列对球场中的目标对象的运 动状态进行检测， 在目标对象处于目标状态的情 况下进一步确定使目标对象处于该状态的球员， 和球员将目标对象转换为目标状态的位置 。 权利要求书4页 说明书21页 附图6页 CN 114723919 A 2022.07.08 CN 114723919 A 1.一种关键点检测方法， 其特 征在于， 所述方法包括： 确定目标球场的三维信 息序列， 所述三维信 息序列中包括至少两个按时间顺序排列的 三维信息， 所述三维信息表征对应时刻所述目标球场中目标对象和至少一个球员在所述目 标球场中的位置； 确定所述 三维信息序列中每 个所述三维信息对应时刻所述目标对象的运动状态； 响应于所述三维信 息对应目标对象的运动状态为目标状态， 确定所述三维信 息对应的 时刻为第一时刻； 在时序上由所述第 一时刻开始向前回溯所述三维信 息序列， 确定将所述目标对象的运 动状态转换为所述目标状态的球员为目标球员， 和所述目标对象与所述目标球员分离的第 二时刻； 在时序上由所述第 二时刻开始向前回溯所述三维信 息序列， 确定所述目标球员在所述 目标球场中的关键点， 所述关键点为所述目标球员将所述目标对象的运动状态转换为所述 目标状态的位置 。 2.根据权利要求1所述的方法， 其特征在于， 所述三维信 息中包括目标对象在三维球场 坐标系中的第一点云， 和至少一个球员 在所述三维球场坐标系中的第二点云， 所述三维球 场坐标系表征 所述目标球场的位置 。 3.根据权利要求2所述的方法， 其特征在于， 所述确定所述三维信 息序列中每个所述三 维信息对应时刻所述目标对象的运动状态， 包括： 根据每个所述三维信 息中所述第 一点云在所述三维球场 坐标系中的位置， 确定每个所 述三维信息中所述目标对象的运动状态。 4.根据权利要求2或3所述的方法， 其特征在于， 所述在时序上由所述第一时刻开始向 前回溯所述三维信息序列， 确定将所述目标对象的运动状态转换为所述目标状态的球员为 目标球员， 和所述目标对象与所述目标球员分离的第二时刻， 包括： 根据所述三维信息序列中时序位置在所述第一时刻之前的至少一个所述三维信息中 所述第一点云以及每个所述第二点云的相对位置关系， 确定将所述目标对象转换为所述目 标状态的目标球员， 和所述目标对象与所述目标球员分离的第二时刻。 5.根据权利要求2 ‑4中任意一项所述的方法， 其特征在于， 所述在时序 上由所述第二 时 刻开始向前回溯所述 三维信息序列， 确定所述目标球员在所述目标球场中的关键点， 包括： 根据所述三维信 息序列中时序位置在所述第 二时刻之前的至少一个所述三维信 息中， 所述目标球员的第二点云与所述三维球场坐标系的相对位置关系， 确定所述目标球员在所 述三维球场坐标系中的关键点。 6.根据权利要求1 ‑5中任意一项所述的方法， 其特征在于， 所述确定目标球场的三维信 息序列包括： 实时获取 所述目标球场的三维信息； 将获取到的所述 三维信息按时序排列， 得到所述目标球场的三维信息序列。 7.根据权利要求6所述的方法， 其特征在于， 所述实时获取所述目标球场的三维信 息包 括： 实时获取目标球场的至少两个对应不同采集视角的二维图像， 所述至少两个二维图像 通过至少两个图像采集设备同时对目标球场进 行图像采集得到， 所述目标球场中包括目标权　利　要　求　书 1/4 页 2 CN 114723919 A 2对象和至少一个 球员； 根据所述至少两个二维图像， 确定对应的三维信息 。 8.根据权利要求7所述的方法， 其特征在于， 所述根据所述至少两个二维图像， 确定对 应的三维信息包括： 确定每个所述二维图像中所述目标对象的第一特征点， 和每个所述球员的第二特征 点； 根据所述第 一特征点确定所述目标对象在所述三维球场 坐标系中的第 一点云， 根据每 个所述球员的第二特 征点确定所述球员在所述 三维球场坐标系中的第二 点云； 根据所述目标对象在所述三维球场 坐标系中的第 一点云， 和每个所述球员在所述三维 球场坐标系中的第二 点云确定对应的三维信息 。 9.根据权利要求8所述的方法， 其特征在于， 所述根据所述第 一特征点确定所述目标对 象在所述三 维球场坐标系中的第一点云， 根据每个所述球员的第二特征点确定所述球员在 所述三维球场坐标系中的第二 点云包括： 确定采集每 个所述二维图像的图像采集设备在所述 三维球场坐标系中的姿态参数； 基于采集每个所述二维图像的图像采集设备对应的姿态参数和属性参数， 根据 所述至 少两个二 维图像中目标对象的第一特征点， 确定所述目标对象在所述三 维球场坐标系中的 第一三维特征点， 以及根据所述至少 两个二维 图像中每个所述球员的第二特征点， 确定每 个所述球员在所述 三维球场坐标系中的第二 三维特征点； 根据所述目标对象的第 一三维特征点确定所述第 一点云， 根据每个所述球员的第 二三 维特征点确定所述球员的第二 点云。 10.根据权利要求3 ‑9中任意一项所述的方法， 其特征在于， 所述根据每个所述三维信 息中所述第一点云在所述三 维球场坐标系中的位置， 确定每个所述三维信息中所述目标对 象的运动状态包括： 确定所述 三维球场坐标系中的状态判断平面； 确定每个所述三维信息中第一 点云对应的目标三维特 征点； 在时序上相邻的两个目标三维特征点的连线穿过所述状态判断平面的情况下， 确定时 间顺序在后的三维信息中所述目标对象的运动状态为目标状态。 11.根据权利要求4 ‑10中任意一项所述的方法， 其特征在于， 所述根据 所述三维信 息序 列中时序位置在所述第一时刻之前的至少一个所述三维信息中所述第一点云以及每个所 述第二点云的相对位置关系， 确定将所述 目标对象转换为所述 目标状态的目标球员， 和所 述目标对象与所述目标球员分离的第二时刻包括： 由所述第一 时刻开始， 依次确定所述三维信 息序列中对应时刻在所述第 一时刻之前的 三维信息中是否存在第一特征区域与所述第一点云接触的第二点云， 所述第一特征区域为 所述第二 点云中表征第一人体位置的区域； 将存在第一特 征区域与所述第一 点云接触的第二 点云确定为 候选点云； 响应于预设数量个时序 上连续的三维信 息中候选点云表征同一球员， 确定所述候选点 云为目标点云， 并确定所述目标点云表征的球员为所述目标对象对应的目标球员； 将第一次确定所述目标球员的第二点云为候选点云的三维信息对应的时刻作为第二 时刻。权　利　要　求　书 2/4 页 3 CN 114723919 A 3