(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211026267.9 (22)申请日 2022.08.25 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 杨明浩　胡钧伟　 (74)专利代理 机构 北京市恒有知识产权代理事 务所(普通 合伙) 11576 专利代理师 郭文浩　尹文会 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) (54)发明名称 基于融合孪生网络与卡尔曼滤波的目标跟 踪方法及系统 (57)摘要 本发明属于目标跟踪技术领域， 具体涉及了 一种基于融合孪生网络与卡尔曼滤波的目标跟 踪方法及系统， 旨在解决现有技术仅采用卡尔曼 滤波技术在复杂场景下的跟踪任务， 跟踪正确率 及目标形变适应性低的问题。 本发明包括： 给定 初始帧中目标的位置和大小； 以目标模板和搜索 区域作为图像对进行特征提取， 并确定搜索区 域； 候选区域生成网络生成多尺度候选框、 特征 得分图和回归参数响应图； 在搜索区域中进行边 缘惩罚； 边缘惩罚 后若存在置信度大于阈值的候 选框， 则作为预测结果输出； 反之， 修正目标运动 状态和预测目标位置； 更新目标运动信息和位置 信息。 本发 明以有效降低在跟踪过程中出现错误 更新目标运动信息和位置信息的概率， 提升复杂 背景下跟踪成功率。 权利要求书4页 说明书10页 附图4页 CN 115471525 A 2022.12.13 CN 115471525 A 1.一种基于融合孪生网络与卡尔曼滤波的目标跟踪方法， 其特征在于， 所述目标跟踪 方法包括： 步骤S10， 将包含目标的视频帧中第k ‑1帧的目标作 为目标模板进行第k帧的目标追踪， 基于第k‑1帧的目标位置和大小 进行卡尔曼 滤波器初始化； 步骤S20， 根据第k ‑1帧的目标在第k帧中采用候选区域生成网络生成搜索候选框， 以目 标模板和搜索区域作为图像对， 通过SiamFC 孪生网络进行跟踪特 征提取并生成搜索区域； 步骤S30， 在所述搜索区域中生成多尺度候选框、 特征得分图和回归参数响应图， 并基 于所述搜索区域中的目标中心位置进行边 缘惩罚， 获得 各候选框的置信度； 步骤S40， 若存在置信度大于设定阈值的候选框， 则将该候选框作为预测结果输出， 并 更新目标运动信息和位置信息； 否则使用多渐消因子的容积卡尔曼滤波 预测和修正目标运 动状态， 以及预测目标位置， 并更新目标运动信息和位置信息； 步骤S50， 令k＝k+1， 并跳转步骤S20持续进行目标跟踪直至k为视频最后一帧， 完成视 频帧的目标跟踪。 2.根据权利要求1所述的基于融合孪生网络与卡尔曼滤波的目标跟踪方法， 其特征在 于， 所述卡尔曼滤波器初始化， 包括： 初始化目标状态初始值为X0， 初始化协方差矩阵为Q0， 初始化量测噪声协方差矩阵为 R0， 初始化预测误差协方差矩阵为P0。 3.根据权利要求1所述的基于融合孪生网络与卡尔曼滤波的目标跟踪方法， 其特征在 于， 步骤S20包括： 步骤S21， 以第k ‑1帧的目标为中心， 目标大小wk‑1×hk‑1在第k‑1帧中裁剪目标模板， wk‑1 和hk‑1分别为目标在第k ‑1帧的宽和高； 步骤S22， 在第k帧中， 以目标为中心， 目标 大小wk‑1×hk‑1在第k帧中裁 剪搜索区域； 步骤S23， 将所述目标模板和所述搜索区域归一化为wsm×hsm大小的图像对， 并通过 SiamFC孪生网络提取目标和待搜索区域的跟踪特征； 所述SiamFC孪生网络包括两个结构相 同且共享权重的神经网络 。 4.根据权利要求1所述的基于融合孪生网络与卡尔曼滤波的目标跟踪方法， 其特征在 于， 所述多尺度候选框包括s种变化； 所述特征得分图对于s种变化中的每一种变化的模板 都产生一个特征， 得分大于设定阈值的特征对应的候选框为 目标； 所述回归参数响应图对 于s种变化中的每一种变化的模板都产生一组 回归参数， 回归参数得分越高， 则对应候选框 的尺度准确性越高。 5.根据权利要求4所述的基于融合孪生网络与卡尔曼滤波的目标跟踪方法， 其特征在 于， 所述一组回归参数包括第k 帧候选框中心相 对于k‑1帧候选框中心的x方向偏移量、 y方 向偏移量以及第k帧候选 框宽度和高度。 6.根据权利要求2所述的基于融合孪生网络与卡尔曼滤波的目标跟踪方法， 其特征在 于， 步骤S40中使用多渐消因子的容积卡尔曼 滤波预测 和修正目标运动状态， 包括： 步骤S411， 预测目标运动状态： 进行第k‑1帧的修正阶段容积点计算， 其中， 第i个修 正阶段容积点 为： 权　利　要　求　书 1/4 页 2 CN 115471525 A 2其中， 为第k‑1帧的第i个修正阶段容积点， sk‑1|k‑1为k‑1帧的权重函数， 为k‑1帧的修正状态预测估计值， 为容积点集， m为代表容 积点集中容积点的数量的正偶数， 为第i个容积点； 步骤S412， 修 正目标运动状态： 进行第k帧的修 正阶段容积点计算， 其中， 第i个修 正阶段容积点 为： 其中， 为第k帧的第i个修正阶段容积点， uk‑1为第k‑1帧的卡尔曼滤波器多渐消 因子； 获取第k帧的修 正状态预测估计值、 预测误差协方差矩阵以及状态预测值： 其中， 为第k帧的修正状态预测估计值； Pk|k‑1为第k帧的预测误差协方差矩阵， T 为需要累积的所有时刻， Qk为第k帧的初始化协方差矩阵； Kk为第k帧的卡尔曼增益， Zk为第k 帧的量测估计值， 为第k帧的量测预测估计值； 表示第k帧的修正阶 段容积点 集与第k帧的卡尔曼 滤波器的多渐消因子乘积； 步骤S413， 更新目标运动 状态参数； 所述目标运动 状态参数包括状态转移矩阵、 协方差 矩阵、 状态预测矩阵以及容积点 集合。 7.根据权利要求1所述的基于融合孪生网络与卡尔曼滤波的目标跟踪方法， 其特征在 于， 所述候选区域 生成网络， 其训练方法为： 获取多个包含目标的视频帧作 为样本集， 并通过步骤S10 ‑步骤S30对应的方法， 分别生 成每个视频帧对应的多尺度候选 框、 特征得分图和回归参数响应图； 设定阈值thpos和threg， 计算多尺度候选框与对应的真实框之间的IoU， 若IoU＞thpos， 则 候选框分类为 正样本； 若I oU＞threg时， 则候选 框分类为负 样本；权　利　要　求　书 2/4 页 3 CN 115471525 A 3