(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211216222.8 (22)申请日 2022.09.30 (71)申请人 北京凌壹时代通信技 术有限公司 地址 102299 北京市昌平区南邵 双营西路 90号泰宁产业创新园三 号楼401 (72)发明人 徐旭华　 (74)专利代理 机构 北京易捷胜知识产权代理有 限公司 1 1613 专利代理师 李会娟　孙晓淑 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/292(2017.01) G06T 7/73(2017.01) G06T 7/80(2017.01) G06V 10/75(2022.01)G06V 10/82(2022.01) G06V 40/20(2022.01) (54)发明名称 引体向上运动轨迹检测方法、 装置、 电子设 备和存储介质 (57)摘要 本发明提供的引体向上运动轨迹检测方法， 首先根据基于二维图像的人体动作识别技术， 实 现对目标人体的检测、 目标人体姿态关键图像点 的标记以及目标人体的姿态跟踪； 然后根据双目 立体视觉技术， 测量出目标人体姿态关键图像点 的三维坐标(即轨迹点)， 并根据二维下目标人体 的姿态跟踪信息， 轨迹点进行跟踪， 获得每一个 目标人体的三维运动轨迹。 能够快速、 准确地获 得进行引体向上人体的三维运动轨迹。 此外， 本 发明还提出一种引体向上运动轨迹检测装置、 电 子设备和计算机可读存 储介质。 权利要求书2页 说明书7页 附图1页 CN 115511915 A 2022.12.23 CN 115511915 A 1.一种引体向上运动轨迹检测方法， 其特征在于， 该检测方法基于成排设置并朝向引 体向上器材的第一摄 像机和第二摄 像机实现， 包括以下步骤： 步骤S1、 获取同一 时间段内的由第 一摄像机拍摄的第 一视频序列和由第 二摄像机拍摄 的第二视频序列； 步骤S2、 将第一视频序列输入目标人体检测模型， 识别出每一视频帧中所有进行引体 向上的目标 人体， 并采用目标框将各个目标 人体包围起 来； 步骤S3、 将第一视频序列输入人体姿态标记模型， 对每一目标框内人体姿态关键位置 的图像点进行 标记， 获得 标记图像点； 步骤S4、 根据目标框的位置信息， 对第一视频序列相邻帧中包围同一人体的目标框进 行匹配， 获得匹配结果； 根据匹配结果， 获得第一视频序列中每一个目标人体的目标框序 列； 步骤S5、 根据第一摄像机和第二摄像机的双目标定参数， 对每一时刻的属于第一视频 序列的第一图像和属于第二视频序列的第二图像进行极线校正， 并获得校正后的标记图像 点； 采用立体匹配方法， 对校正后的每一时刻的第一图像和 第二图像进 行匹配操作， 获得匹 配点对， 匹配点对中包含对校正后的标记图像点进行匹配操作后获得 的目标匹配点对； 根 据匹配点对， 获得匹配点视差图； 根据匹配点视差图和双目标定参数， 计算目标匹配点对的 三维空间坐标， 获得运动轨 迹点； 步骤S6、 根据位于同一目标框序列内对应姿态关键位置的标记图像点， 对运动轨迹点 进行归类， 获得每一个目标 人体的三维运动轨 迹。 2.根据权利要求1所述的引体向上运动轨 迹检测方法， 其特 征在于， 目标人体检测模型根据基于卷积神经网络的目标检测算法进行构建； 基于卷积神经网络的目标检测算法为FASTER ‑RCNN算法、 SSD算法、 YOLOV5算法和YOLOX 算法中的一种。 3.根据权利要求1所述的引体向上运动轨 迹检测方法， 其特 征在于， 人体姿态标记模型根据基于卷积神经网络的单 人体姿态估计算法进行构建； 基于卷积神经网络的单 人体姿态估计算法为AlphaPose算法或HRNet算法。 4.根据权利要求1所述的引体向上运动轨 迹检测方法， 其特 征在于， 人体姿态关键位置包括： 左肩膀、 右肩膀、 左肘、 右肘、 左髋、 右髋、 左 膝盖、 右膝盖、 左脚 踝、 右脚踝。 5.根据权利要求1所述的引体向上运动轨迹检测方法， 其特征在于， 根据目标框的位置 信息， 对第一视频序列相邻帧中包围同一人体的目标框进行匹配， 包括： 根据目标框的位置信息， 获取第一视频序列相邻帧中每一个目标框的中心点坐标； 根 据第一视频序列相邻帧中每一个目标框的中心 点坐标， 计算每两个上一帧目标框与下一帧 目标框之间的位置 差， 将位置 差最小的两个目标框作为相邻帧中包围同一人体的目标框 。 6.根据权利要求1所述的引体向上运动轨 迹检测方法， 其特 征在于， 采用大尺度立体匹配方法， 对校正后的每一时刻的第一图像和第二图像进行匹配操 作。 7.根据权利要求1所述的引体向上运动轨迹检测方法， 其特征在于， 根据匹配点视差图 和双目标定参数， 计算目标匹配点对的三维空间坐标， 包括：权　利　要　求　书 1/2 页 2 CN 115511915 A 2其中， (X， Y， Z)为目标 匹配点对的三维空间坐标； (x1， y1)为第一图像上校正后的标记图 像点的二维坐标； B为第一摄像机中心与第二摄像机中心之间的距离； f为摄像机的焦距； d 为匹配点视 差， d＝x1‑x2， x2为第二图像上与校正后标记图像点匹配的图像点的横坐标。 8.一种引体向上运动轨 迹检测装置， 其特 征在于， 包括： 获取模块， 用于获取同一 时间段内的由第 一摄像机拍摄的第 一视频序列和由第 二摄像 机拍摄的第二视频序列； 目标检测模块， 用于将第一视频序列输入目标人体检测模型， 识别出每一视频帧中所 有进行引体向上的目标 人体， 并采用目标框将各个目标 人体包围起 来； 姿态标记模块， 用于将第一视频序列输入人体姿态标记模型， 对每一目标框内人体姿 态关键位置的图像点进行 标记， 获得 标记图像点； 匹配模块， 用于根据目标框的位置信息， 对第一视频序列相邻帧中包围同一人体的目 标框进行匹配， 获得匹配结果； 根据匹配结果， 获得第一视频序列中每一个目标人体的目标 框序列； 三维测量模块， 用于根据第一摄像机和第二摄像机的双目标定参数， 对每一时刻的属 于第一视频序列的第一图像和属于第二视频序列的第二图像进行极线校正， 并获得校正后 的标记图像点； 采用立体匹配方法， 对校正后的每一时刻的第一图像和第二图像进行匹配 操作， 获得匹配点对， 匹配点对中包含对校正后的标记图像点进行匹配操作后 获得的目标 匹配点对； 根据匹配点对， 获得匹配点视差图； 根据匹配点视差图和双目标定参数， 计算目 标匹配点对的三维空间坐标， 获得运动轨 迹点； 轨迹生成模块， 用于根据位于同一目标框序列内对应姿态关键位置的标记图像点， 对 运动轨迹点进行归类， 获得每一个目标 人体的三维运动轨 迹。 9.一种电子设备， 其特征在于， 包括存储器、 处理器及存储在存储器上并可在处理器上 运行的引体向上运动轨迹检测程序， 所述处理器执行所述引体 向上运动轨迹检测程序时， 实现如权利要求1 ‑7中任一项所述的引体向上运动轨 迹检测方法。 10.一种计算机可读存储介质， 其特征在于， 其上存储有引体向上运动轨迹检测程序， 该引体向上运动轨迹检测程序被处理器执行时实现如权利要求1 ‑7中任一项 所述的引体向 上运动轨 迹检测方法。权　利　要　求　书 2/2 页 3 CN 115511915 A 3