(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211187895.5 (22)申请日 2022.09.28 (71)申请人 海信电子科技 （深圳） 有限公司 地址 518054 广东省深圳市南 山区粤海街 道创业路17 77号海信南方大厦9 楼 (72)发明人 翟嘉星　王志文　宫睿　姜晓东　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 王春波 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/34(2022.01) G06T 7/55(2017.01) G06T 7/73(2017.01)G06N 20/00(2019.01) (54)发明名称 手势数据集 生成方法及客户端设备 (57)摘要 本申请涉及虚拟现实交互技术领域， 提供一 种手势数据集生成方法及客户端设备， 基于一个 深度相机和多个工业相机搭建的背包式手势数 据采集设备， 实现从手势数据采集到手势数据标 注、 再到手势数据核验来生 成手势数据集的全流 程， 减小了各流程之间的耦合性， 提高了手势数 据集的生 成效率和数量， 且整个生成过程无需人 工和第三方的介入， 节约了生成成本； 且数据标 注过程分别采用了基于深度学习的手势估计算 法和基于手部模型的匹配跟踪算法这两种算法 标注3D手势， 并使用滑动窗口对两种算法标注的 3D手势进行优化， 从而得到 更精确的3D手势标注 结果， 实现3D手势的自动化标注， 进一步提高了 手势数据集的生成效率和质量。 权利要求书3页 说明书15页 附图12页 CN 115471873 A 2022.12.13 CN 115471873 A 1.一种手势数据集 生成方法， 其特 征在于， 包括： 响应于数据采集指令， 获取一个深度相机和多个工业相机同步采集的单手手势图像， 所述深度相 机采集的单手手势图像包括手势深度图像和手势RGB图像， 所述工业相机采集 的单手手势图像为手势RGB图像； 响应于数据 标注指令， 根据 所述深度相机采集的手势深度图像和手势RGB图像， 分别采 用基于深度学习的手势估计算法和基于手部模型的匹配跟踪算法， 确定各手部 关节点的初 始3D坐标； 并针对每个手部关节点， 根据两个算法分别确定的设定帧数内所述手部关节点 的初始3D坐标的均值或方差， 确定所述手部关节点的目标3D坐标； 响应于数据核验指令， 根据所述深度相机和每个工业相机间的标定矩阵， 将各目标3D 坐标对应的手部 关节点， 投影到相应工业相机采集的手势RGB图像上； 并筛选投影后各工业 相机采集的手势RGB图像， 生成用于手势交 互的手势数据集。 2.如权利要求1所述的方法， 其特征在于， 根据所述深度相机采集的手势深度图像和手 势RGB图像， 采用基于深度学习的手势估计算法， 确定各手部关节点的初始3D坐标， 包括： 根据所述深度相机采集的所述手势深度图像， 确定各 所述手部关节点的3D点云； 针对每个3D点， 根据所述深度相机采集的所述手势RGB图像中所有像素点分别与所述 3D点的权 重和偏置量， 确定所述3D点的像素深度坐标； 根据所述手势深度图像的重心以及所述深度相机已标定的内参数， 将所述像素深度坐 标转换到深度相机坐标 下， 得到所述3D点的初始3D坐标。 3.如权利要求2所述的方法， 其特征在于， 每个手部关节点的3D点的像素深度坐标的计 算公式为： 其中， 分别表示所述深度相机采集的所述手势RGB图像中第i个像素点p的横坐 标和纵坐标， 表示所述深度相机采集的所述手势深度图像中第i个像素点p的深度值， ωki表示所述第i个像素点p相对 于第k个3D点的权重， Δuki、 Δvki、 Δzki表示所述第k个3D点 分别相对于所述第i个 像素点p的横坐标、 纵坐标和深度值的偏置量。 4.如权利要求1所述的方法， 其特征在于， 根据所述深度相机采集的手势深度图像和手 势RGB图像， 采用基于手部模型的匹配跟踪算法， 确定各手部关节点的初始3D坐标， 包括： 根据所述深度相机采集的所述手势RGB图像， 提取各所述手部关节点的2D点以及手部 中心点； 从所述深度相机采集的所述手势深度图像中， 获取所述手部中心点的深度值， 结合所 述深度相机已标定的内参数， 确定所述手部中心点的3D坐标； 根据所述手部中心点的3D坐标， 从所述手势深度图像 中提取预设中心范围内的手部3D 点云； 从所述手部3D点云中提取各所述手部关节点的3D点， 将各所述手部关节点的2D点作 为权　利　要　求　书 1/3 页 2 CN 115471873 A 2相应3D点与预设手部模型匹配的约束条件； 根据匹配结果， 从所述预设手部模型中确定各手部关节点的3D点的初始3D坐标。 5.如权利要求1所述的方法， 其特征在于， 针对每个手部关节点， 根据两个算法分别确 定的设定帧数内所述手部 关节点的初始3D坐标的均值或方差， 确定所述手部关节点的目标 3D坐标， 包括： 确定两个算法分别确定的设定帧数内所述手部关节点的初始3D坐标的均值间的差值 是否超过预设均值阈值， 或者， 确定两个算法分别确定的设定 帧数内所述手部关节点的初 始3D坐标的方差中的至少一个是否超过 预设方差阈值； 若超过， 则剔除所述设定帧数内所述手部关节点的初始3D坐标； 若未超过， 则根据 预设算法权重对两个算法分别确定的所述手部关节点的初始3D坐标 进行加权， 得到所述手部关节点的目标3D坐标。 6.如权利要求1所述的方法， 其特征在于， 获取设定时长 内一个深度相机和多个工业相 机同步采集的手势图像之前， 所述方法还 包括： 响应于同步指令， 将所述深度相机与各工业相机设置为同步； 响应于标定指令， 控制所述深度相机和各所述工业相机同步采集标定 图像， 并根据所 述标定图像， 将所述深度相 机与各所述工业相 机坐标系对齐， 得到所述深度相 机分别与各 所述工业相机间的标定矩阵。 7.如权利要求1 ‑6中任一项所述的方法， 其特征在于， 所述深度相机和各所述工业相机 采集图像的角度， 是根据虚拟显示设备上向下倾斜的双目相机的角度设置的， 以及， 所述深 度相机和各 所述工业相机的部署方式为背包式架构。 8.一种客户端设备， 其特征在于， 包括处理器、 存储器、 显示屏和多个通信接口， 所述通 信接口、 所述显示屏、 所述存 储器和所述处 理器通过总线连接； 所述显示屏用于用户界面以及图像的显示， 所述用户界面用于 接收操作指令； 所述存储器存储有计算机程序， 所述处 理器根据所述计算机程序， 执 行以下操作： 响应于数据采集指令， 通过所述通信接口， 获取设定时长内一个深度相机和多个工业 相机同步采集的单手手势图像， 所述深度相机采集的单手手势图像包括手势深度图像和手 势RGB图像； 响应于数据 标注指令， 根据 所述深度相机采集的手势深度图像和手势RGB图像， 分别采 用基于深度学习的手势估计算法和基于手部模型的匹配跟踪算法， 确定各手部 关节点的初 始3D坐标； 并针对每个手部关节点， 根据两个算法分别确定的设定帧数内所述手部关节点 的初始3D坐标的均值或方差， 确定所述手部关节点的目标3D坐标； 响应于数据核验指令， 根据所述深度相机和每个工业相机间的标定矩阵， 将各目标3D 坐标对应的手部 关节点， 投影到相应工业相机采集的手势RGB图像上； 并筛选投影后各工业 相机采集的手势RGB图像， 生成用于手势交 互的手势数据集。 9.如权利要求8所述的客户端设备， 其特征在于， 所述处理器根据 所述深度相机采集的 手势深度图像和手势RGB图像， 采用基于深度学习的手势估计算法， 确定各手部 关节点的初 始3D坐标， 具体操作为： 根据所述深度相机采集的所述手势深度图像， 确定各 所述手部关节点的3D点云； 针对每个3D点， 根据所述深度相机采集的所述手势RGB图像中所有像素点分别与所述权　利　要　求　书 2/3 页 3 CN 115471873 A 3