(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210839604.X (22)申请日 2022.07.18 (71)申请人 江西盐选科技有限公司 地址 330000 江西省南昌市南昌 高新技术 产业开发区火炬五路899号高航大厦2 楼 (72)发明人 李振权　 (74)专利代理 机构 南昌合达信知识产权代理事 务所(普通 合伙) 36142 专利代理师 张齐容 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) G06V 10/62(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 20/40(2022.01) G06V 40/10(2022.01) G06V 40/20(2022.01) A63F 13/55(2014.01) (54)发明名称 基于视觉跟踪技 术的虚拟现实游戏系统 (57)摘要 基于视觉跟踪技术的虚拟现实游戏系统， 包 括人体动态视频采集模块、 数据交换模块、 人体 动态检测与识别模块和虚拟现实环 境显示模块； 通过对人体的动作的识别与分析， 高效地实现人 与虚拟设备之间的交互， 提高了游戏玩家的游戏 体验感受； 在对人体进行跟踪时， 利用了目标运 动的速度来平衡浅层与 深层卷积特征的重要性， 弥补了深层卷积特征缺乏目标细节带来的难以 获得精确目标位置的局限性， 此外， 根据不同通 道特征描述目标的不同信息的特点， 选择性的更 新描述目标信息变化的通道的卷积特征， 防止累 计误差的同时使得跟踪器适应外观变化的能力 增强， 提高了跟踪的鲁棒性， 进而提高了基于视 觉跟踪技术的人体动态检测与识别模块的识别 效率与精度。 权利要求书4页 说明书9页 附图1页 CN 115239761 A 2022.10.25 CN 115239761 A 1.基于视觉跟踪技术的虚拟现实游戏系统， 其特征在于， 所述系统包括人体动态视频 采集模块、 数据交换模块、 人体动态检测与识别模块和虚拟现实环境显示模块； 所述人体动态视频采集模块用于采集人体动态视频， 通过摄像头对人体进行拍摄， 实 时获取人体动态视频， 然后将获取 的人体动态视频数据发送给数据 交换模块， 数据 交换模 块再发送给 人体动态检测与识别模块， 供 人体动态检测与识别模块进行处 理与分析； 所述数据交换模块用于各模块之间的数据进行交换， 包含两次数据交换过程， 第一次 是将人体动态视频采集模块采集到的人体动态视频传输给人体动态检测与 识别模块， 第二 次是将人体动态检测与识别模块中算法的识别结果传送给虚拟现实环境显示模块； 所述人体动态检测与识别模块用于对人体动态视频数据进行分析与处理获得人体形 态， 包括人体检测算法、 人体跟踪算法和人体形态识别算法； 所述人体检测算法用于在人体 动态视频的第一帧中检测出人体并给出人体的位置数据； 所述人体跟踪算法用于在人体动 态视频的每一帧中定位人体， 在收到人体检测 算法给出 的人体的位置数据后， 利用设计的 速度指导的分层特征融合与特征更新的目标跟踪算法在后续人体动态视频 的每一帧中定 位人体， 给出每一帧中人体的位置数据； 所述人体形态识别算法用于识别当前人体形态， 利 用目标跟踪算法给 出的人体位置， 识别目标的人体的形态； 所述虚拟现实环境显示模块用于根据 人体形态显示出虚拟现实环境， 并根据 人体形态 的变化变换虚拟现实环境。 2.根据权利要求1所述的基于视觉跟踪技术的虚拟现实游戏系统， 其特征在于， 所述人 体检测算法是利用自制的人体数据集训练的yolov5检测算法， 将人体动态视频采集模块采 集到的人体动态视频分解成序列图像， 然后人工标注出人体位置并设置标签， 按照yolov5 检测算法需要的格式对数据集进行处 理， 最后利用该 数据集训练yo lov5检测算法的网络 。 3.根据权利要求1所述的基于视觉跟踪技术的虚拟现实游戏系统， 其特征在于， 所述设 计的速度指导的分层特 征融合与变化特 征更新的目标跟踪算法跟踪流 程如下： 步骤一： 利用人体检测算法给出的第一帧中人体的位置数据截取出目标模板 图像， 利 用设计的速度指导的分层特 征融合方法提取目标模板图像的分层卷积特 征； 步骤二： 在下一帧截取搜索区域图像， 利用设计的速度指导的分层特征融合方法提取 搜索区域图像的分层卷积特 征； 步骤三： 将目标模板图像的分层卷积特征和搜索区域图像的分层卷积特征进行互相 关， 得到分层且具每层具有多个通道的响应图， 利用设计的速度指导的分层特征融合方法 将分层响应图进行融合获得最终响应图， 响应图上响应值最大处为 目标的位置， 就是所要 定位的人体的位置； 步骤四： 根据分层响应图中每个通道的响应图， 利用设计的变化特征更新的方法对目 标模板的分层卷积特 征进行更新； 步骤五： 重复步骤二至步骤四直到 视频结束。 4.根据权利要求3所述的基于视觉跟踪技术的虚拟现实游戏系统， 其特征在于， 所述利 用设计的速度指导的分层特 征融合方法提取搜索区域图像的分层卷积特 征过程如下： 将目标模板图像Z输入到VGG ‑16网络中， 提取conv3 ‑3层特征作为目标模板图像的浅层 卷积特征fl′(Z)， 提取conv4 ‑3层特征作为目标模板图像的深层卷积特征fd′(Z)， fl′(·)表 示提取图像浅层卷积特 征的操作， fd′(·)表示提取图像深层卷积特 征的操作；权　利　要　求　书 1/4 页 2 CN 115239761 A 2然后， 利用TAD T算法中的方法计算出浅层卷积特征中每个通道特征的重要 性Δl和深层 卷积特征中每个通道特征的重要性Δd， 然后根据该重要性权重生成目标模板图像的浅层 卷积特征的卷积特 征子空间和深层卷积特 征的卷积特 征子空间： 其中， 是利用每个通道特征的重要性筛选出特征子空间的函数， fl(Z)是目标模板 图像的浅层卷积特征fl′(Z)的卷积特征子空间， fd(Z)是目标模板图像的深层卷积特征fd′ (Z)的卷积特征子空 间， 获得的卷积特征fl(Z)和fd(Z)就是最终目标模 板图像的分层卷积特 征； 同样的方式， 将第t帧搜索区域图像 Xt输入到VGG ‑16网络中， 提取conv3 ‑3层特征作为搜 索区域图像的浅层卷积特征fl′(Xt)， 提取conv4 ‑3层特征作为搜索区域图像的深层卷积特 征； 然后根据重要性权重生成搜索区域图像的浅层卷积特征的卷积特征子空间和深层卷 积特征的卷积特 征子空间： 其中， fl(Xt)是搜索区域图像的浅层卷积特征fl′(Xt)的卷积特征子 空间， fd(Xt)是搜索 区域图像的深层卷积特征fd′(Xt)的卷积特征子空间， 获得的卷积特征fl(Xt)和fd(Xt)就是 最终搜索区域图像的分层卷积特 征。 5.根据权利要求3所述的基于视觉跟踪技术的虚拟现实游戏系统， 其特征在于， 所述利 用设计的速度指导的分层特征融合方法将分层响应图进行融合获得最终响应图的过程如 下： 首先利用目标模板图像的分层卷积特征和搜索区域图像的分层卷积特征进行互相关 获得分层响应图： 其中， *表示互相关操作， nor( ·)是一个把响应图中所有的响应值归一化在0到1之间 的一个函数， i 通道索引， n响应图通道的个数， Sl是浅层响应图， Sd是深层卷积特 征图； 然后将分层响应图进行加权融合获得最终的响应图S： S＝βl·Sl+βd·Sd 其中， βl是控制浅层响应图重要性的参数， βd控制深层响应图重要 性的参数； βl和βd是由 目标运动的速度决定：权　利　要　求　书 2/4 页 3 CN 115239761 A 3