(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211237286.6 (22)申请日 2022.10.08 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 邹姗辰　陈诚　吴泓嘉　张宏鑫　 (74)专利代理 机构 杭州宇信联合知识产权代理 有限公司 3 3401 专利代理师 娄聪 (51)Int.Cl. G06V 40/20(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/40(2022.01) G06V 10/762(2022.01)G06V 10/82(2022.01) G06F 17/16(2006.01) (54)发明名称 一种啦啦操视频的评价可视化方法和系统 (57)摘要 本发明公开了一种啦啦操视频的评价可视 化方法和系统， 其中， 啦啦操视频的评价可视化 方法包括： 基于人体姿态估计提取啦啦操视频中 的三维人体姿态； 将三维人体姿态标准化为基于 肢体长度和旋转角层次表示的标准化姿态骨架 信息； 对标准化姿态骨架信息与参考姿态骨架信 息进行比较并计算得到相似度数据； 基于相似度 数据进行非线性降维聚类分析， 并基于计算得到 的特征表达式对降维聚类后的群体特征进行解 释； 对三维人体姿态、 相似度数据、 非线性降维聚 类分析结果进行可视化展示。 提高了人体姿态估 计精确度， 并且对于三维人体姿态的标准化处 理， 克服了肢体的误差和拍摄误差， 提取群体特 征并提供可读分析结果， 为啦啦操线上教育提供 一套完整的解决方案 。 权利要求书2页 说明书8页 附图3页 CN 115546893 A 2022.12.30 CN 115546893 A 1.一种啦 啦操视频的评价可视化方法， 其特 征在于， 包括： S1， 基于人体姿态估计提取啦 啦操视频中每一帧的三维人体姿态； S2,将三维人体姿态标准化为基于肢体长度和旋转角层次表示的标准化姿态骨架信 息； S3,对标准 化姿态骨架信息与参 考姿态骨架信息进行比较并计算得到相似度数据； S4， 基于群体的相似度数据进行非线性降维聚类分析， 并基于计算得到的特征表达式 对降维聚类后的群 体特征进行解释； S5， 至少对三维人体姿态、 相似度数据、 非线性降维聚类分析 结果进行 可视化展示。 2.根据权利要求1所述的啦啦操视频的评价可视化方法， 其特征在于， 所述基于人体姿 态估计提取啦 啦操视频中每一帧的三维人体姿态， 具体包括： S11， 基于二维人体姿态估计方法得到啦 啦操视频中的每一帧的二维人体姿态序列； S12， 基于包含时序信息三维人体姿态估计方法对二维人体姿态序列进行估计得到对 应的三维人体姿态。 3.根据权利要求2所述的啦 啦操视频的评价可视化方法， 其特 征在于， S2具体包括： S21， 基于预设数量的视频帧中的三维人体姿态确定肢体长度； S22， 基于基准人体姿态对三维人体姿态进行BVH格式转化， 从而得到各个关节的旋转 角层次表达 。 4.根据权利要求3所述的啦 啦操视频的评价可视化方法， 其特 征在于， S2 2具体包括： S221， 计算基准人体姿态和三维人体姿态中的各个关节的局部坐标系； S222， 基于局部坐标系得到关节k相对于基准人体姿态的旋转矩阵； S223， 选定任一关节作 为根节点， 并基于根节点和子节点的旋转矩阵， 计算得到树结构 下子节点相对于父节点的变换矩阵； S224， 基于变换矩阵， 计算关节k的旋转角， 从而得到BVH格式的三维人体姿态 表示。 5.根据权利要求1所述的一种啦啦操视频的评价可视化方法， 其特征在于， 所述相似度 数据至少包括关节相似度、 局部相似度和整体相似度。 6.根据权利要求1所述的一种啦啦操视频的评价可视化方法， 其特征在于， 所述S4具体 包括： S41， 对相似度数据作为高维数据进行非线性降维聚类； S42， 基于非线性降维聚类结果对单一特 征进行集 合运算， 从而获得 特征表达式； S43， 基于特 征表达式对降维聚类后的群 体特征进行解释。 7.根据权利要求6所述的一种基于视频的啦啦操评价可视化方法， 其特征在于， 所述S5 具体包括： 基于雷达图可视化表示个人的局部相似度以及整体相似度； 基于柱状图可视化表示个人在所有关节维度上， 在不同时间段产生的相似度得分差 异； 基于点图表示非线性降维聚类结果； 基于k盒图可视化表示群 体相似度得分的平均值以及方差； 基于特征表达式表达群 体具有的特 征； 基于折线图可视化表达各个时间点的不同关节相似度得分。 8.一种啦 啦操视频的评价可视化系统， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 115546893 A 2三维姿态估计与 标准化模块， 用于估计捕 获的啦啦操视频的每一帧中的三维人体姿态 并将其标准 化； 三维姿态相似度计算模块， 用于将标准化后的三维人体姿态与参考人体姿态相比较并 计算二者的相似度； 可视化模块， 用于对相似度组成的高维啦啦操视频的评价可视化系统数据进行特征提 取以及数据分析和解释， 并进行交 互式可视化呈现。 9.根据权利要求8所述的一种啦啦操视频的评价可视化系统， 其特征在于， 所述三维姿 态估计与标准 化模块包括： 二维姿态估计单元， 用于估计捕获的啦啦操视频的每一帧中的二维人体姿态， 获得序 列二维人体姿态； 时序三维姿态估计单元， 用于从所述序列二维人体姿态中估计三维人体姿态， 获得三 维人体姿态； 三维姿态标准 化单元， 用于将获得的三维人体姿态标准 化后用于后续比较。 10.根据权利要求9所述的一种啦啦操视频的评价可视化系统， 其特征在于， 所述可视 化模块包括： 个人分析单元， 用于基于雷达 图呈现其不同关节维度的得分情况， 以及基于柱状图呈 现其不同时间段的关节维度得分变化； 群体分析单元： 用于基于点图表示非线性降维聚类结果， 用于基于k盒图表示群体相似 度得分的平均值以及方差， 以及， 基于特 征表达式表达当前群 体具有的特 征。 视频分析单元： 用于基于折线图表达各个时间点的不同关节相似度得分。 并将当前视 频和参考视频进行同步对比， 以及， 基于当前视频和 参考视频分别提取出 的标准三维人体 姿态骨架进行同步对比。权　利　要　求　书 2/2 页 3 CN 115546893 A 3